Контроль качества: VCLTesttool
Contents
О VCLTesttool
VCLTesttool - это отдельная программа, которая используется для тестирования OpenOffice.org. VCLTesttool взаимодействует с OpenOffice.org через TCP/IP сокеты и может проверить каждую установку OpenOffice.org на ПК. На текущий момент доступны версии VCLTesttool для нескольких версий, от OpenOffice.org 1.1beta и выше. Крайне желательно следить за выходом новых версий VCLTestTool, чтобы исключить ошибки из-за несовместимости утилиты и OpenOffice.org
Быстрый старт
Если вы хотите помочь в автоматизированном тестировании и начать немедленно, то данное руководство является вашим правильным выбором. Здесь представлено пошаговое руководство для начала тестирования OpenOffice.org-версий 3.x. Однако, это руководство будет полезно также и для начинающих, и для опытных тестеров.
Подготовка
Если все изложенные далее условия выполняются, то вы можете приступить к тестированию.
CVS/SVN
Вы должны иметь рабочую CVS или SVN (мигрировать на SubVersion для запуска милстоуна DEV300_m32) в своей системе. Прочтите про клиента CVS [en] и его настройку для использования с OpenOffice.org. Прочтите про использование SubVersion [en] с OpenOffice.org.
По окончании автоматического тестирования необходимо извлечь его результаты и заархивировать их [en].
OpenOffice.org
У вас должен быть установлен OpenOffice.org, при этом чрезвычайно знать его точную версию перед началом тестирования.
Если вы не уверены, какая версия установлена в вашей системе, то это можно проверить.
Для этого нужно открыть файл
 |
.versionrc (UNIX-Systems) |
или
 |
version.ini (Windows-Systems) |
в каталоге установки
(смотрите в <INSTALLDIR>/OpenOffice.org 3/program)
Откройте этот файл и просмотрите раздел [Version]:
Например:
ProductMajor=300 ProductMinor=29 ProductSource=DEV300
Система VCLTesttool (автоматизированное тестирование
Рамках VCLTesttool имеются все сценарии для тестирования милстоуна на основе текущих ответвлений и находящихся в CVS/SVN модулей автоматических тестов. Вы можете найти все эти файлы в OpenOffice.org CVS/SVN и легко загрузить их на вашей локальной файловой системе с помощью отладчика CVS/SVN.
Допустим, вы собираетесь протестировать версию на основе 'DEV300' c милстоуна 'm29'.
Помните, все DEV300 до милстоуна m32 находятся в CVS и все милстоуны от m32 на находятся в SVN.
Используйте следующую команду, чтобы получить исходники:
cvs checkout -r DEV300_m29 -d testautomation_m29 testautomation
(опциональный параметр -d используется для проверки в указанном каталоге, чтобы иметь возможность провести несколько версий параллельно.)
Проверка через SubVersion:
svn checkout svn://svn.services.openoffice.org/ooo/tags/DEV300_m32/testautomation testautomation_m32
Если вы не хотите использовать CVS или SVN, то вы можете скачать архив автоматических тестов, созданный Наката Махо из Good Day server. Просто архив для прохождения тестирования вашей версии OpenOffice.org.
VCLTestTool
Для того, чтобы начать автоматическое тестирование OpenOffice.org вы должны иметь локальную копию VCLTesttool, установленную в вашей системе. Скачать текущую версию VCLTesttool соответствующую вашей ОС на ваш локальный компьютер, и распакуйте архив в вашей локальной системе. После извлечения файлов запустите в первый раз файл
|
testtool.bin |
|
testtool.exe |
После запуска VCLTesttool перейдите в меню Tools → Options.
(Все надписи на скриншотах приведены только как примеры. Адаптируйте их под свою ситуацию.)
- Вкладка "Profile"
Необходимо создать профиль для автоматических тестов. Для этого введите:
- Profile: DEV300m29
- Log base directory: (Все результитующие файлы выполненных тестов будут сохраняться здесь.)
- Base directory: Каталог извлечённых скриптов автоматического тестирования.
- Default HID directory устанавливается автоматически и, в большинстве случаев, не должен изменяться.
- Вкладка "Crashreport"
Щёлкните "Allow contact" для установки флажка "Разрешить контакт" и введите действующий адрес электропочты OpenOffice.org в поле "EMail". Этот адрес будет использоваться VCLTesttool для отсылки креш-репортов. Позже, когда вы ознакомитесь с автоматическими тестами, вы сможете добавлять результаты в QUASTe (Quality Assurance Statuspage), для чего действующий адрес электропочты имеет важное значение.
- Вкладка "Misc"
На этой вкладке вы можете установить параметры связи VCLTesttool с OpenOffice.org. В большинстве случаев эти параметры оставляются по умолчанию. Если VCLTesttool не может запустить установленный OpenOffice.org, значит, что "Testtool Port" или "Remote UNO Port" заблокированы или защищены в вашей системе. "OOo Program Dir" может быть указан каталог установки вашего OpenOffice.org. В большинстве случаев это поле должно оставаться пустым, так как VCLTesttool должен быть в состоянии найти установленный OpenOffice.org. Если нет, то вы можете указать здесь путь установки. Например:
<INSTALLDIR>/OpenOffice.org 3/program
Все ваши настройки VCLTestTool сохраняет в:
|
${HOME}/.testtoolrc (UNIX-Systems) |
или
|
%APPDATA%\testtool.ini (Windows-Systems) |
или
 |
$HOME/Library/Application Support/.testtoolrc (Mac OS X) |
Щёлкните кнопку [OK] для сохранения настроек и выхода из VCLTestTool.
Теперь вся подготовка завершена.
Запуск отдельного автоматического теста
Запустить отдельный автоматический тест легко после того, как загружен сценарий на локальную машину и все необходимые настройки из раздела "Быстрый старт" выполнены.
Вся необходимая дополнительная информация о том, как должны завершаться автоматические тесты, находится в QUASTe.
- Запустите VCLTesttool и выбирете из меню File → Open;
- выберите файл с расширением *.bas;
- выберите каталог со скриптами тестов;
- выберите *.bas-файл для запуска следующего;
- нажмите [OK] в диалоге выбора файлов;
- нажмите [F5] или выберите из меню 'Program → start' для запуска автоматического теста.
Теперь остаётся только ждать завершения теста, и по его окончании проанализировать *.res-файл.
Как скормить QUASTу результаты тестов
Чтобы скормить QUASTу результаты, вы должны добавить две строки в файл
|
~/.testtoolrc |
[Others] PCname=<Name of the maschine>
Вопросы, касающихся автоматических тестов
Во всех вопросах по автоматическим тестам, чтобы их могла обработать Группа Автоматического тестирования, необходимо указывать:
- Component: qa
- Subcomponent: testscripts
- assigned to: automat@openoffice.org
- Резюме должно начинаться со слова [Automation] в квадратных скобках, и следом, так же в квадратных скобках, имя скрипта теста (например [w_updt.bas])
Кроме того, если вы знаете ответственного за автоматический тест (автора), то адресоваться можно напрямую к нему. Список автоматических тестов и их ответственных в QUASTe.
Известные проблемы, связанные со сценариями автоматизированных тестов
- Переключение документа для редактирования в режиме (слот: "EditDoc", StandardBar кнопка "Bearbeiten"): Когда документ загружается только для чтения у нас нет возможности для определения, активирована ли кнопка "Редактировать документ" и работает, или она в режиме "не используется". Некоторые странности обхода в реализации t_doc2.inc::sMakeReadOnlyDocumentEditable(), которые не всегда работают. В графических модулей другие методы реализованы, но они не являются общими и не всегда обрабатывают возможные окна сообщений (messagebox).
Дополнительные ссылки
