Difference between revisions of "RU/development/qa/automatic testing"
From Wiki
Jump to navigationJump to searchm (added images) |
m (fixed link views, few text edits) |
||
| Line 3: | Line 3: | ||
= Инструменты = | = Инструменты = | ||
| − | == Утилита автоматического тестирования | + | == Утилита автоматического тестирования VCLTestTool == |
| − | + | VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP. | |
| − | + | [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Утилита доступна] для различных платформ. | |
== Наборы программ-сценариев автоматических тестов (testautomation) == | == Наборы программ-сценариев автоматических тестов (testautomation) == | ||
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN. | Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN. | ||
| − | Помимо репозитария, набор тестов можно | + | Помимо репозитария, набор тестов можно [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ скачать в виде готового пакета], которые достаточно распаковать. |
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: '''OOO320_m12''' или '''DEV300_m75'''. | При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: '''OOO320_m12''' или '''DEV300_m75'''. | ||
== Тестовые сборки OpenOffice.org == | == Тестовые сборки OpenOffice.org == | ||
| − | + | [http://download.openoffice.org/next/other.html Скачать] тестовые сборки OpenOffice.org | |
= Тестирование = | = Тестирование = | ||
== Подготовка тестовой среды == | == Подготовка тестовой среды == | ||
| − | * Скачать и установить тестируемую сборку (''Full install English (US)'') OpenOffice.org, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs''). | + | * [http://download.openoffice.org/next/other.html Скачать] и установить тестируемую сборку (''Full install English (US)'') OpenOffice.org, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs''). |
| − | * Скачать и распаковать набор тестов ''' | + | * Скачать и распаковать набор тестов Например: '''[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 OOo_DEV300_m75_testautomation.tar.bz2] ''' |
| − | * Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' | + | * Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 со страницы QUASTe] |
| − | * | + | * [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Скачать] и распаковать '''VCLTestTool''' |
* Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее). | * Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее). | ||
== Настройка инструментов == | == Настройка инструментов == | ||
| − | === Настройка | + | === Настройка VCLTestTool === |
[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: '''testtool.bin''' или '''testtool.exe''' (для Windows) | [[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: '''testtool.bin''' или '''testtool.exe''' (для Windows) | ||
| Line 34: | Line 34: | ||
''Меню «Дополнительно — Настройки», далее по вкладкам'' | ''Меню «Дополнительно — Настройки», далее по вкладкам'' | ||
| − | * Вкладка «Обычный» - Директория program текущей установки OpenOffice.org''/opt/ooo-dev3/program/'' | + | * Вкладка «Обычный» - Директория program текущей установки OpenOffice.org |
| − | * Вкладка «Профиль» - Каталог для результатов тестирования''/home/user/DEV300_m75/work-dev300_m75-linux-x32/'' | + | ''/opt/ooo-dev3/program/'' |
| − | * Каталог с набором автоматических тестов''/home/user/DEV300_m75/ testautomation'' | + | * Вкладка «Профиль» - Каталог для результатов тестирования |
| + | ''/home/user/DEV300_m75/work-dev300_m75-linux-x32/'' | ||
| + | * Каталог с набором автоматических тестов | ||
| + | ''/home/user/DEV300_m75/testautomation'' | ||
=== Настройка скрипта пакетного запуска === | === Настройка скрипта пакетного запуска === | ||
| Line 51: | Line 54: | ||
'''ВАЖНО!: Для каждой сборки файл hid.lst уникален.''' | '''ВАЖНО!: Для каждой сборки файл hid.lst уникален.''' | ||
| − | Скачать '''hid.lst''' и перечень тестов можно на | + | Скачать '''hid.lst''' и перечень тестов можно на [http://quaste.services.openoffice.org/ странице QUASTE] перейдя в раздел «View Autotests» и выбрав соответствующую сборку и платформу. |
== Проведение автоматических тестов == | == Проведение автоматических тестов == | ||
| Line 58: | Line 61: | ||
* Установлен OpenOffice.org и удалён профиль пользователя. | * Установлен OpenOffice.org и удалён профиль пользователя. | ||
* Настроено средство тестирования VCLTestTool. | * Настроено средство тестирования VCLTestTool. | ||
| − | * Распакованы тесты и файл hid.lst находится в | + | * Распакованы тесты и файл hid.lst находится в ''./testautomation/global/hid/'' . |
| − | * Составлен перечень тестов из '''DEV300_m75.txt''', | + | * Составлен перечень тестов из '''DEV300_m75.txt''', если требуется пакетный запуск тестов. |
* Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''. | * Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''. | ||
| Line 65: | Line 68: | ||
Наиболее простой способ проведения тестов. | Наиболее простой способ проведения тестов. | ||
| − | + | * Открываем консоль и переходим в каталог со скриптом '''run_tests.sh''' ( '''run_tests.vbs для Windows''') | |
| − | + | Например: ''/home/user/DEV300_m75/testautomation/tools/run_tests/'' | |
| − | + | * Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов. | |
| + | Например: '''''./run_test.sh < /home/user/DEV300_m75/tests.txt''''' | ||
| + | Для Windows: '''''cscript run_test.vbs < C:\DEV300_m75/tests.txt''''' | ||
| + | * Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование. | ||
=== Запуск единичного теста === | === Запуск единичного теста === | ||
| Line 73: | Line 79: | ||
# Запускаем VCLTestTool | # Запускаем VCLTestTool | ||
| − | # Открываем файл теста.Например ./ | + | # Открываем файл теста. Например ''./testautomation/writer/required/w_updt.bas'' |
# Запускаем тест по [F5] или из меню «Программа - Запустить» | # Запускаем тест по [F5] или из меню «Программа - Запустить» | ||
== Обработка результатов == | == Обработка результатов == | ||
| − | Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на | + | Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на openoffice.org |
| − | Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт | + | Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ''./testautomation/tools/analyze/make_summary.pl'' |
'''Для запуска требуется Perl.''' | '''Для запуска требуется Perl.''' | ||
Запускается командой: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res''''' | Запускается командой: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res''''' | ||
| − | |||
В консоль выводится итоговая таблица. | В консоль выводится итоговая таблица. | ||
Revision as of 15:06, 2 April 2010
Инструменты
Утилита автоматического тестирования VCLTestTool
VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.
Утилита доступна для различных платформ.
Наборы программ-сценариев автоматических тестов (testautomation)
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.
Помимо репозитария, набор тестов можно скачать в виде готового пакета, которые достаточно распаковать.
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320_m12 или DEV300_m75.
Тестовые сборки OpenOffice.org
Скачать тестовые сборки OpenOffice.org
Тестирование
Подготовка тестовой среды
- Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs).
- Скачать и распаковать набор тестов Например: OOo_DEV300_m75_testautomation.tar.bz2
- Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt со страницы QUASTe
- Скачать и распаковать VCLTestTool
- Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
Настройка инструментов
Настройка VCLTestTool
Исполняемый файл приложения: testtool.bin или testtool.exe (для Windows)
После распаковки VCLTestTool необходимо указать несколько параметров:
Меню «Дополнительно — Настройки», далее по вкладкам
- Вкладка «Обычный» - Директория program текущей установки OpenOffice.org
/opt/ooo-dev3/program/
- Вкладка «Профиль» - Каталог для результатов тестирования
/home/user/DEV300_m75/work-dev300_m75-linux-x32/
- Каталог с набором автоматических тестов
/home/user/DEV300_m75/testautomation
Настройка скрипта пакетного запуска
В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл run_tests.sh применяется для UNIX платформ, run_tests.vbs используется для Windows.
Перед запуском скрипта требуется указать настройки — отредактировав его.
- Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/ )
- Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin )
Hid.lst
Файл hid.lst должен размещаться в каталоге ./testautomation/global/hid/. После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.
ВАЖНО!: Для каждой сборки файл hid.lst уникален.
Скачать hid.lst и перечень тестов можно на странице QUASTE перейдя в раздел «View Autotests» и выбрав соответствующую сборку и платформу.
Проведение автоматических тестов
Беглая проверка перед началом тестирования:
- Установлен OpenOffice.org и удалён профиль пользователя.
- Настроено средство тестирования VCLTestTool.
- Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/ .
- Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
- Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.
Пакетное тестирование
Наиболее простой способ проведения тестов.
- Открываем консоль и переходим в каталог со скриптом run_tests.sh ( run_tests.vbs для Windows)
Например: /home/user/DEV300_m75/testautomation/tools/run_tests/
- Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.
Например: ./run_test.sh < /home/user/DEV300_m75/tests.txt Для Windows: cscript run_test.vbs < C:\DEV300_m75/tests.txt
- Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование.
Запуск единичного теста
Иногда требуется запустить конкретный тест.
- Запускаем VCLTestTool
- Открываем файл теста. Например ./testautomation/writer/required/w_updt.bas
- Запускаем тест по [F5] или из меню «Программа - Запустить»
Обработка результатов
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на openoffice.org
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl
Для запуска требуется Perl.
Запускается командой: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res В консоль выводится итоговая таблица.
Можно перенаправить в файл: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt
Ссылки и дополнительная информация
| http://qa.openoffice.org | Страница проекта контроля качества |
| http://quaste.services.openoffice.org | QUASTe — Страница состояния контроля качества |
| http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance
|
Страница Wiki Контроль Качества. |
| http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html | Страница с бинарными файлами VCLTestTool |
| http://download.openoffice.org/next/ | Тестовые сборки OpenOffice.org
|
| http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ | Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN. |
А. Ерошин
2010
