RU/development/qa/automatic testing

Инструменты

Утилита автоматического тестирования VCLTestTool

VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.

Утилита доступна для различных платформ.

Наборы программ-сценариев автоматических тестов (testautomation)

Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.

Помимо репозитария, набор тестов можно скачать в виде готового пакета, которые достаточно распаковать.

При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320_m12 или DEV300_m75.

Тестовые сборки OpenOffice.org

Скачать тестовые сборки OpenOffice.org

Тестирование

Подготовка тестовой среды

• Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs).
• Скачать и распаковать набор тестов Например: OOo_DEV300_m75_testautomation.tar.bz2
• Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt со страницы QUASTe (ссылка на загрузку в самом низу страницы).
• Скачать и распаковать VCLTestTool
• Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).

Настройка инструментов

Настройка VCLTestTool

Окно настройки VCLTestTool

Исполняемый файл приложения:

testtool.bin

или

testtool.exe

После распаковки VCLTestTool необходимо указать несколько параметров:

Окно настройки VCLTestTool

Меню «Дополнительно — Настройки», далее по вкладкам

• Вкладка «Обычный» - Директория program текущей установки OpenOffice.org

/opt/ooo-dev3/program/

• Вкладка «Профиль» - Директория журналирования - каталог для результатов тестирования

/home/user/DEV300_m75/work-dev300_m75-linux-x32/

• Базовая директория - каталог с набором автоматических тестов

/home/user/DEV300_m75/testautomation

Для *nix платформ необходимо вручную указать имя машины. Открываем файл настроек текстовым редактором, обычно расположен ${HOME}/.testtoolrc, Добавляем в конец следующие строки: [Others] PCname=<имя машины>

Настройка скрипта пакетного запуска

В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл

run_tests.sh применяется для UNIX платформ,

run_tests.vbs используется для Windows.

Перед запуском скрипта требуется указать настройки — отредактировав его.

• Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/ )
• Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin )

Hid.lst

Файл hid.lst должен размещаться в каталоге
./testautomation/global/hid/
После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.

ВАЖНО!: Для каждой сборки файл hid.lst уникален.

Скачать hid.lst и перечень тестов можно на странице QUASTE, перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.

Проведение автоматических тестов

Беглая проверка перед началом тестирования:

• Установлен OpenOffice.org и удалён профиль пользователя.
• Настроено средство тестирования VCLTestTool.
• Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/ .
• Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
• Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.

Пакетное тестирование

Наиболее простой способ проведения тестов.

• Открываем консоль и переходим в каталог со скриптом. Затем запускаем

run_tests.sh

run_tests.vbs для Windows

Например: /home/user/DEV300_m75/testautomation/tools/run_tests/

• Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.

Например:

./run_tests.sh < /home/user/DEV300_m75/tests.txt

cscript run_tests.vbs < C:\DEV300_m75/tests.txt для Windows

• Ждём завершения тестирования.
  Крайне желательно иногда следить за тем, как проходит тестирование.

Запуск единичного теста

Иногда требуется запустить конкретный тест.

1. Запускаем VCLTestTool
2. Открываем файл теста. Например ./testautomation/writer/required/w_updt.bas
3. Запускаем тест по [F5] или из меню «Программа - Запустить»

Обработка результатов

Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на openoffice.org

Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl

Для запуска требуется Perl.

Запускается командой: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res В консоль выводится итоговая таблица.

Можно перенаправить в файл: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt

Ссылки и дополнительная информация

Ссылка	Описание
http://qa.openoffice.org	Страница проекта контроля качества
http://quaste.services.openoffice.org	QUASTe — Страница состояния контроля качества
http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance	Страница Wiki Контроль Качества.
http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html	Страница с бинарными файлами VCLTestTool
http://download.openoffice.org/next/	Тестовые сборки OpenOffice.org и наборы автоматических тестов.
http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/	Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN http://download.services.openoffice.org/files/extended/, но уже содержит внутри файл hid.lst .
http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=DEV300&milestone=m77&download=2	Файл hid.lst для помещения в папку testautomation/global/hid

---