Difference between revisions of "RU/development/qa/automatic testing"
(new wiki page) |
(nowiki) |
||
| Line 1: | Line 1: | ||
| − | + | {{DISPLAYTITLE:Контроль качества: Инструкция "Автоматическое тестирование OpenOffice.org"}} | |
| − | |||
__TOC__ | __TOC__ | ||
| Line 67: | Line 66: | ||
# Открываем консоль и переходим в каталог со скриптом '''run_tests.sh''' ( '''run_tests.vbs для Windows) '''Например: ''/home/user/DEV300_m75/testautomation/tools/run_tests/'' | # Открываем консоль и переходим в каталог со скриптом '''run_tests.sh''' ( '''run_tests.vbs для Windows) '''Например: ''/home/user/DEV300_m75/testautomation/tools/run_tests/'' | ||
| − | # Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.Например: ''''' | + | # Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.Например: '''''./run_test.sh < /home/user/DEV300_m75/tests.txt'''''Для Windows: '''''cscript run_test.vbs < C:\DEV300_m75/tests.txt''''' |
# Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование. | # Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование. | ||
| Line 75: | Line 74: | ||
# Запускаем VCLTestTool | # Запускаем VCLTestTool | ||
# Открываем файл теста.Например ./''testautomation/writer/required/''w_updt.bas | # Открываем файл теста.Например ./''testautomation/writer/required/''w_updt.bas | ||
| − | # | + | # Запускаем тест по [F5] или из меню «Программа - Запустить» |
== Обработка результатов == | == Обработка результатов == | ||
| Line 88: | Line 87: | ||
В консоль выводится итоговая таблица. | В консоль выводится итоговая таблица. | ||
| − | Можно перенаправить в файл:'''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt''''' | + | Можно перенаправить в файл: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt''''' |
= Ссылки и дополнительная информация = | = Ссылки и дополнительная информация = | ||
| Line 128: | Line 127: | ||
|} | |} | ||
| + | |||
| + | ---- | ||
| + | <p align=right>[[User:Aeroshin|А. Ерошин]]<br> | ||
| + | 2010</p> | ||
| + | |||
| + | {{QaВottom}} | ||
Revision as of 14:31, 2 April 2010
Инструменты
Утилита автоматического тестирования VCL TestTool
VCL TestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.
Скачать утилиту для различных платформ: http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html
Наборы программ-сценариев автоматических тестов (testautomation)
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.
Помимо репозитария, набор тестов можно скачть в виде готового пакета, которые достаточно распаковать. http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320_m12 или DEV300_m75.
Тестовые сборки OpenOffice.org
Тестовые сборки находятся по адресу: http://download.openoffice.org/next/other.html
Тестирование
Подготовка тестовой среды
- Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs). http://download.openoffice.org/next/other.html
- Скачать и распаковать набор тестов OOo_DEV300_m75_testautomation.tar.bz2 (http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2
- Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt (ссылки находятся внизу страницы http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 )
- Скачать и распаковать VCLTestTool http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html
- Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
Настройка инструментов
Настройка VCL TestTool
Исполняемый файл приложения: testtool.bin или testtool.exe (для Windows)
[[Image:]]После распаковки VCLTestTool необходимо указать несколько параметров:
Меню «Дополнительно — Настройки», далее по вкладкам
- Вкладка «Обычный» - Директория program текущей установки OpenOffice.org/opt/ooo-dev3/program/
- Вкладка «Профиль» - Каталог для результатов тестирования/home/user/DEV300_m75/work-dev300_m75-linux-x32/
- [[Image:]]Каталог с набором автоматических тестов/home/user/DEV300_m75/ testautomation
Настройка скрипта пакетного запуска
В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл run_tests.sh применяется для UNIX платформ, run_tests.vbs используется для Windows.
Перед запуском скрипта требуется указать настройки — отредактировав его.
- Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/ )
- Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin )
Hid.lst
Файл hid.lst должен размещаться в каталоге ./testautomation/global/hid/. После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.
ВАЖНО!: Для каждой сборки файл hid.lst уникален.
Скачать hid.lst и перечень тестов можно на странице QUASTE http://quaste.services.openoffice.org/ перейдя в раздел «View Autotests» и выбрав соответствующую сборку и платформу.
Проведение автоматических тестов
Беглая проверка перед началом тестирования:
- Установлен OpenOffice.org и удалён профиль пользователя.
- Настроено средство тестирования VCLTestTool.
- Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/.
- Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
- Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.
Пакетное тестирование
Наиболее простой способ проведения тестов.
- Открываем консоль и переходим в каталог со скриптом run_tests.sh ( run_tests.vbs для Windows) Например: /home/user/DEV300_m75/testautomation/tools/run_tests/
- Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.Например: ./run_test.sh < /home/user/DEV300_m75/tests.txtДля Windows: cscript run_test.vbs < C:\DEV300_m75/tests.txt
- Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование.
Запуск единичного теста
Иногда требуется запустить конкретный тест.
- Запускаем VCLTestTool
- Открываем файл теста.Например ./testautomation/writer/required/w_updt.bas
- Запускаем тест по [F5] или из меню «Программа - Запустить»
Обработка результатов
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на http://openoffice.org.
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl
Для запуска требуется Perl.
Запускается командой: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res
В консоль выводится итоговая таблица.
Можно перенаправить в файл: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt
Ссылки и дополнительная информация
| http://qa.openoffice.org | Страница проекта контроля качества |
| http://quaste.services.openoffice.org | QUASTe — Страница состояния контроля качества |
| http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance
|
Страница Wiki Контроль Качества. |
| http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html | Страница с бинарными файлами VCLTestTool |
| http://download.openoffice.org/next/ | Тестовые сборки OpenOffice.org |
| http://community.i-rs.ru/index.php/board,19.0.html | Раздел на форуме: Контроль качества |
| http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ | Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN. |
А. Ерошин
2010
