Difference between revisions of "RU/development/qa/automatic testing"
| Line 31: | Line 31: | ||
[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: | [[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: | ||
| − | {{ | + | {{DocLinux|'''testtool.bin'''}} |
или | или | ||
{{DocWindows|'''testtool.exe'''}} | {{DocWindows|'''testtool.exe'''}} | ||
| Line 46: | Line 46: | ||
:{{Path|/home/user/DEV300_m75/testautomation}} | :{{Path|/home/user/DEV300_m75/testautomation}} | ||
| − | {{ | + | {{DocLinux|'''Для *nix платформ необходимо вручную указать имя машины.''' |
* Открываем файл настроек текстовым редактором, обычно расположен {{Path|${HOME}/.testtoolrc}}, | * Открываем файл настроек текстовым редактором, обычно расположен {{Path|${HOME}/.testtoolrc}}, | ||
| Line 55: | Line 55: | ||
==== Настройка скрипта пакетного запуска ==== | ==== Настройка скрипта пакетного запуска ==== | ||
В каталоге {{Path|./testautomation/tools/run_tests/}} находятся скрипты пакетного запуска тестов. Файл | В каталоге {{Path|./testautomation/tools/run_tests/}} находятся скрипты пакетного запуска тестов. Файл | ||
| − | {{ | + | {{DocLinux|'''run_tests.sh''' применяется для UNIX платформ,}} |
{{DocWindows|'''run_tests.vbs''' используется для Windows.}} | {{DocWindows|'''run_tests.vbs''' используется для Windows.}} | ||
| Line 94: | Line 94: | ||
* Открываем консоль и переходим в каталог со скриптом. Затем запускаем | * Открываем консоль и переходим в каталог со скриптом. Затем запускаем | ||
| − | {{ | + | {{DocLinux|'''run_tests.sh'''}} |
{{DocWindows|'''run_tests.vbs''' для Windows}} | {{DocWindows|'''run_tests.vbs''' для Windows}} | ||
| Line 100: | Line 100: | ||
* Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов. | * Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов. | ||
Например: | Например: | ||
| − | {{ | + | {{DocLinux|{{Path|./run_tests.sh < /home/user/DEV300_m75/tests.txt}}}} |
{{DocWindows|{{Path|cscript run_tests.vbs < C:\DEV300_m75\tests.txt}} для Windows}} | {{DocWindows|{{Path|cscript run_tests.vbs < C:\DEV300_m75\tests.txt}} для Windows}} | ||
Latest revision as of 17:47, 18 September 2011
Инструменты
Утилита автоматического тестирования VCLTestTool
VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.
Утилита доступна для различных платформ.
Наборы программ-сценариев автоматических тестов (testautomation)
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом Mercurial.
Помимо репозитария, набор тестов можно скачать в виде готового пакета, которые достаточно распаковать.
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320m17 или DEV300m78.
Тестовые сборки OpenOffice.org
Скачать тестовые сборки OpenOffice.org.
Тестирование
Подготовка тестовой среды
- Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs).
- Скачать и распаковать набор тестов Например: OOo_DEV300_m75_testautomation.tar.bz2
- Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt со страницы QUASTe (ссылка на загрузку в самом низу страницы).
- Скачать и распаковать VCLTestTool
- Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
Настройка инструментов
Настройка VCLTestTool
Исполняемый файл приложения:
 |
testtool.bin |
или
 |
testtool.exe |
После распаковки VCLTestTool необходимо указать несколько параметров:
Меню «Дополнительно — Настройки», далее по вкладкам
- Вкладка «Обычный» - Директория program текущей установки OpenOffice.org
- /opt/ooo-dev3/program/
- Вкладка «Профиль» - Директория журналирования - каталог для результатов тестирования
- /home/user/DEV300_m75/work-dev300_m75-linux-x32/
- Базовая директория - каталог с набором автоматических тестов
- /home/user/DEV300_m75/testautomation
|
Для *nix платформ необходимо вручную указать имя машины.
[Others] PCname=<имя машины> |
Настройка скрипта пакетного запуска
В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл
|
run_tests.sh применяется для UNIX платформ, |
|
run_tests.vbs используется для Windows. |
Перед запуском скрипта требуется указать настройки — отредактировав его.
- Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/)
- Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin)
Hid.lst
Файл hid.lst должен размещаться в каталоге
./testautomation/global/hid/
После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.
 |
ВАЖНО!: Для каждой сборки файл hid.lst уникален. |
Скачать hid.lst и перечень тестов можно на странице QUASTe, перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.
Перечень тестов
Скачанный перечень тестов из странице QUASTe необходимо привести в пригодное для run_test состояние. Для этого необходимо открыть его обычным тестовым редактором (например gedit):
- Удалить пробел в каждой строке после .bas. Проще всего это сделать заменой ".bas " на ".bas"
- Удалить служебную информацию, такую как информацию о релизе и категории тестов.
В результате файл должен содержать только список тестов с путями к ним.
Проведение автоматических тестов
Беглая проверка перед началом тестирования:
- Установлен OpenOffice.org и удалён профиль OpenOffice.org (в этом случае каталог Профиля будет иметь то же имя, что и каталог установки OpenOffice.org).
- Настроено средство тестирования VCLTestTool.
- Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/.
- Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
- Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.
Пакетное тестирование
Наиболее простой способ проведения тестов.
- Открываем консоль и переходим в каталог со скриптом. Затем запускаем
|
run_tests.sh |
|
run_tests.vbs для Windows |
Например: /home/user/DEV300_m75/testautomation/tools/run_tests/
- Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.
Например:
|
./run_tests.sh < /home/user/DEV300_m75/tests.txt |
|
cscript run_tests.vbs < C:\DEV300_m75\tests.txt для Windows |
- Ждём завершения тестирования.
Крайне желательно иногда следить за тем, как проходит тестирование.
Запуск единичного теста
Иногда требуется запустить конкретный тест.
- Запускаем VCLTestTool
- Открываем файл теста. Например ./testautomation/writer/required/w_updt.bas
- Запускаем тест по [F5] или из меню Программа → Запустить.
Обработка результатов
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на www.openoffice.org
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl
Для запуска требуется Perl.
Запускается командой:
perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.resВ консоль выводится итоговая таблица.
Можно перенаправить в файл:
perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txtСсылки и дополнительная информация
| http://qa.openoffice.org | Страница проекта контроля качества |
| http://quaste.services.openoffice.org | QUASTe — Страница состояния контроля качества |
| http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance
|
Страница Wiki Контроль Качества. |
| http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html | Страница с бинарными файлами VCLTestTool |
| http://download.openoffice.org/next/ | Тестовые сборки OpenOffice.org и наборы автоматических тестов.
|
| http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ | Наборы автоматических тестов. Тоже самое, что расположено в |
| http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=DEV300&milestone=m77&download=2 | Файл hid.lst для помещения в папку testautomation/global/hid |
