Difference between revisions of "RU/development/qa/automatic testing"
(исправлена опечатка) |
|||
(22 intermediate revisions by 3 users not shown) | |||
Line 1: | Line 1: | ||
− | {{DISPLAYTITLE:Контроль качества: Инструкция | + | <section begin=title /><noinclude>{{DISPLAYTITLE:Контроль качества: </noinclude>Инструкция «Автоматическое тестирование {{OOo}}»<noinclude>}}</noinclude><section end=title />{{BreadCrumbL10n}} |
+ | |||
__TOC__ | __TOC__ | ||
− | = Инструменты = | + | == Инструменты == |
− | == Утилита автоматического тестирования VCLTestTool == | + | === Утилита автоматического тестирования VCLTestTool === |
− | VCLTestTool — это самостоятельное приложение, которое взаимодействует с | + | VCLTestTool — это самостоятельное приложение, которое взаимодействует с {{OOo}} через протокол TCP/IP. |
[http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Утилита доступна] для различных платформ. | [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Утилита доступна] для различных платформ. | ||
− | == Наборы программ-сценариев автоматических тестов (testautomation) == | + | === Наборы программ-сценариев автоматических тестов (testautomation) === |
− | Каждой сборке | + | Каждой сборке {{OOo}} соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из [http://hg.services.openoffice.org/ репозитария с исходным кодом Mercurial]. |
Помимо репозитария, набор тестов можно [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ скачать в виде готового пакета], которые достаточно распаковать. | Помимо репозитария, набор тестов можно [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ скачать в виде готового пакета], которые достаточно распаковать. | ||
− | При скачивании пакета необходимо знать номер сборки | + | При скачивании пакета необходимо знать номер сборки {{OOo}}. Например: '''OOO320m17''' или '''DEV300m78'''. |
− | == Тестовые сборки | + | === Тестовые сборки {{OOo}} === |
− | [http://download.openoffice.org/next/other.html Скачать] тестовые сборки | + | [http://download.openoffice.org/next/other.html Скачать] тестовые сборки {{OOo}}. |
− | = Тестирование = | + | == Тестирование == |
− | == Подготовка тестовой среды == | + | === Подготовка тестовой среды === |
− | * [http://download.openoffice.org/next/other.html Скачать] и установить тестируемую сборку (''Full install English (US)'') | + | * [http://download.openoffice.org/next/other.html Скачать] и установить тестируемую сборку (''Full install English (US)'') {{OOo}}, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs''). |
* Скачать и распаковать набор тестов Например: '''[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 OOo_DEV300_m75_testautomation.tar.bz2] ''' | * Скачать и распаковать набор тестов Например: '''[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 OOo_DEV300_m75_testautomation.tar.bz2] ''' | ||
* Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 со страницы QUASTe] (ссылка на загрузку в самом низу страницы). | * Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 со страницы QUASTe] (ссылка на загрузку в самом низу страницы). | ||
Line 26: | Line 27: | ||
* Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее). | * Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее). | ||
− | == Настройка инструментов == | + | === Настройка инструментов === |
− | === Настройка VCLTestTool === | + | ==== Настройка VCLTestTool ==== |
[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: | [[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: | ||
− | {{ | + | {{DocLinux|'''testtool.bin'''}} |
или | или | ||
− | {{ | + | {{DocWindows|'''testtool.exe'''}} |
После распаковки VCLTestTool необходимо указать несколько параметров: | После распаковки VCLTestTool необходимо указать несколько параметров: | ||
Line 38: | Line 39: | ||
''Меню «Дополнительно — Настройки», далее по вкладкам'' | ''Меню «Дополнительно — Настройки», далее по вкладкам'' | ||
− | * Вкладка «Обычный» - Директория program текущей установки | + | * Вкладка «Обычный» - Директория '''program''' текущей установки {{OOo}} |
− | : | + | :{{Path|/opt/ooo-dev3/program/}} |
* Вкладка «Профиль» - '''Директория журналирования''' - каталог для результатов тестирования | * Вкладка «Профиль» - '''Директория журналирования''' - каталог для результатов тестирования | ||
− | : | + | :{{Path|/home/user/DEV300_m75/work-dev300_m75-linux-x32/}} |
* '''Базовая директория''' - каталог с набором автоматических тестов | * '''Базовая директория''' - каталог с набором автоматических тестов | ||
− | : | + | :{{Path|/home/user/DEV300_m75/testautomation}} |
− | === Настройка скрипта пакетного запуска === | + | {{DocLinux|'''Для *nix платформ необходимо вручную указать имя машины.''' |
− | В каталоге | + | |
− | {{ | + | * Открываем файл настроек текстовым редактором, обычно расположен {{Path|${HOME}/.testtoolrc}}, |
− | {{ | + | * Добавляем в конец следующие строки: |
+ | [Others] | ||
+ | <nowiki>PCname=<имя машины></nowiki>}} | ||
+ | |||
+ | ==== Настройка скрипта пакетного запуска ==== | ||
+ | В каталоге {{Path|./testautomation/tools/run_tests/}} находятся скрипты пакетного запуска тестов. Файл | ||
+ | {{DocLinux|'''run_tests.sh''' применяется для UNIX платформ,}} | ||
+ | {{DocWindows|'''run_tests.vbs''' используется для Windows.}} | ||
Перед запуском скрипта требуется указать настройки — отредактировав его. | Перед запуском скрипта требуется указать настройки — отредактировав его. | ||
− | * Переменная '''sLocation''' указывает на каталог со сценариями тестирования (например: | + | * Переменная '''sLocation''' указывает на каталог со сценариями тестирования (например: {{Path|/home/user/DEV300_m75/testautomation/}}) |
− | * Переменная '''sTestTool '''должна содержать путь к testtool.bin / testtool.exe (например: | + | * Переменная '''sTestTool '''должна содержать путь к '''testtool.bin''' / '''testtool.exe''' (например: {{Path|/home/user/DEV300_m75/VCLTestTool/testtool.bin}}) |
− | === Hid.lst === | + | ==== Hid.lst ==== |
Файл '''hid.lst '''должен размещаться в каталоге<br> | Файл '''hid.lst '''должен размещаться в каталоге<br> | ||
− | + | {{Path|./testautomation/global/hid/}}<br> | |
− | После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки | + | После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки {{OOo}}. |
− | {{ | + | {{Note|ВАЖНО!: Для каждой сборки файл '''hid.lst''' уникален.}} |
− | Скачать '''hid.lst''' и перечень тестов можно на [http://quaste.services.openoffice.org/ странице | + | Скачать '''hid.lst''' и перечень тестов можно на [http://quaste.services.openoffice.org/ странице QUASTe], перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу. |
− | == Проведение автоматических тестов == | + | ==== Перечень тестов ==== |
+ | Скачанный перечень тестов из [http://quaste.services.openoffice.org/ странице QUASTe] необходимо привести в пригодное для ''run_test'' состояние. | ||
+ | Для этого необходимо открыть его обычным тестовым редактором (например gedit): | ||
+ | * Удалить пробел в каждой строке после ''.bas''. Проще всего это сделать заменой ".bas " на ".bas" | ||
+ | * Удалить служебную информацию, такую как информацию о релизе и категории тестов. | ||
+ | |||
+ | В результате файл должен содержать только список тестов с путями к ним. | ||
+ | |||
+ | |||
+ | === Проведение автоматических тестов === | ||
Беглая проверка перед началом тестирования: | Беглая проверка перед началом тестирования: | ||
− | * Установлен | + | * Установлен {{OOo}} и удалён [[RU/kb/70000005|профиль {{OOo}}]] (в этом случае каталог Профиля будет иметь то же имя, что и каталог установки {{OOo}}). |
* Настроено средство тестирования VCLTestTool. | * Настроено средство тестирования VCLTestTool. | ||
− | * Распакованы тесты и файл hid.lst находится в | + | * Распакованы тесты и файл hid.lst находится в {{Path|./testautomation/global/hid/}}. |
* Составлен перечень тестов из '''DEV300_m75.txt''', если требуется пакетный запуск тестов. | * Составлен перечень тестов из '''DEV300_m75.txt''', если требуется пакетный запуск тестов. | ||
* Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''. | * Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''. | ||
− | === Пакетное тестирование === | + | ==== Пакетное тестирование ==== |
Наиболее простой способ проведения тестов. | Наиболее простой способ проведения тестов. | ||
* Открываем консоль и переходим в каталог со скриптом. Затем запускаем | * Открываем консоль и переходим в каталог со скриптом. Затем запускаем | ||
− | {{ | + | {{DocLinux|'''run_tests.sh'''}} |
− | {{ | + | {{DocWindows|'''run_tests.vbs''' для Windows}} |
− | Например: | + | Например: {{Path|/home/user/DEV300_m75/testautomation/tools/run_tests/}} |
* Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов. | * Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов. | ||
Например: | Например: | ||
− | {{ | + | {{DocLinux|{{Path|./run_tests.sh < /home/user/DEV300_m75/tests.txt}}}} |
− | {{ | + | {{DocWindows|{{Path|cscript run_tests.vbs < C:\DEV300_m75\tests.txt}} для Windows}} |
* Ждём завершения тестирования.<br>Крайне желательно иногда следить за тем, как проходит тестирование. | * Ждём завершения тестирования.<br>Крайне желательно иногда следить за тем, как проходит тестирование. | ||
− | === Запуск единичного теста === | + | ==== Запуск единичного теста ==== |
Иногда требуется запустить конкретный тест. | Иногда требуется запустить конкретный тест. | ||
# Запускаем VCLTestTool | # Запускаем VCLTestTool | ||
− | # Открываем файл теста. Например | + | # Открываем файл теста. Например {{Path|./testautomation/writer/required/w_updt.bas}} |
− | # Запускаем тест по [F5] или из меню | + | # Запускаем тест по [F5] или из меню {{Menu|Программа|Запустить}}. |
− | == Обработка результатов == | + | === Обработка результатов === |
− | Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на openoffice.org | + | Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на www.openoffice.org |
− | Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт | + | Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт {{Path|./testautomation/tools/analyze/make_summary.pl}} |
'''Для запуска требуется Perl.''' | '''Для запуска требуется Perl.''' | ||
− | Запускается командой: | + | Запускается командой: <source lang="bash">perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res</source> |
В консоль выводится итоговая таблица. | В консоль выводится итоговая таблица. | ||
− | Можно перенаправить в файл: | + | Можно перенаправить в файл: <source lang="bash">perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt</source> |
− | = Ссылки и дополнительная информация = | + | == Ссылки и дополнительная информация == |
{| class="prettytable" | {| class="prettytable" | ||
Line 134: | Line 151: | ||
|- | |- | ||
| [http://download.openoffice.org/next/ http://download.openoffice.org/next/] | | [http://download.openoffice.org/next/ http://download.openoffice.org/next/] | ||
− | | Тестовые сборки | + | | Тестовые сборки {{OOo}} и наборы автоматических тестов. |
<!-- |- | <!-- |- | ||
Line 143: | Line 160: | ||
|- | |- | ||
| [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/] | | [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/] | ||
− | | Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN. | + | | Наборы автоматических тестов. Тоже самое, что расположено в <del>CVS/SVN</del> [http://download.services.openoffice.org/files/extended/ http://download.services.openoffice.org/files/extended/], но уже содержит внутри файл hid.lst . |
+ | |||
+ | |- | ||
+ | | <nowiki>http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=</nowiki><span style="background:#FFB6C1">DEV300&milestone=m77</span>&download=2 | ||
+ | | Файл hid.lst для помещения в папку testautomation/global/hid | ||
|} | |} | ||
− | |||
− | |||
− | {{ | + | {{SignYear|Aeroshin|А. В. Ерошин|2010}} |
+ | |||
+ | {{RUqaBottom}} |
Latest revision as of 17:47, 18 September 2011
Инструменты
Утилита автоматического тестирования VCLTestTool
VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.
Утилита доступна для различных платформ.
Наборы программ-сценариев автоматических тестов (testautomation)
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом Mercurial.
Помимо репозитария, набор тестов можно скачать в виде готового пакета, которые достаточно распаковать.
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320m17 или DEV300m78.
Тестовые сборки OpenOffice.org
Скачать тестовые сборки OpenOffice.org.
Тестирование
Подготовка тестовой среды
- Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs).
- Скачать и распаковать набор тестов Например: OOo_DEV300_m75_testautomation.tar.bz2
- Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt со страницы QUASTe (ссылка на загрузку в самом низу страницы).
- Скачать и распаковать VCLTestTool
- Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
Настройка инструментов
Настройка VCLTestTool
Исполняемый файл приложения:
или
После распаковки VCLTestTool необходимо указать несколько параметров:
Меню «Дополнительно — Настройки», далее по вкладкам
- Вкладка «Обычный» - Директория program текущей установки OpenOffice.org
- /opt/ooo-dev3/program/
- Вкладка «Профиль» - Директория журналирования - каталог для результатов тестирования
- /home/user/DEV300_m75/work-dev300_m75-linux-x32/
- Базовая директория - каталог с набором автоматических тестов
- /home/user/DEV300_m75/testautomation
Настройка скрипта пакетного запуска
В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл
Перед запуском скрипта требуется указать настройки — отредактировав его.
- Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/)
- Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin)
Hid.lst
Файл hid.lst должен размещаться в каталоге
./testautomation/global/hid/
После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.
Скачать hid.lst и перечень тестов можно на странице QUASTe, перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.
Перечень тестов
Скачанный перечень тестов из странице QUASTe необходимо привести в пригодное для run_test состояние. Для этого необходимо открыть его обычным тестовым редактором (например gedit):
- Удалить пробел в каждой строке после .bas. Проще всего это сделать заменой ".bas " на ".bas"
- Удалить служебную информацию, такую как информацию о релизе и категории тестов.
В результате файл должен содержать только список тестов с путями к ним.
Проведение автоматических тестов
Беглая проверка перед началом тестирования:
- Установлен OpenOffice.org и удалён профиль OpenOffice.org (в этом случае каталог Профиля будет иметь то же имя, что и каталог установки OpenOffice.org).
- Настроено средство тестирования VCLTestTool.
- Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/.
- Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
- Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.
Пакетное тестирование
Наиболее простой способ проведения тестов.
- Открываем консоль и переходим в каталог со скриптом. Затем запускаем
Например: /home/user/DEV300_m75/testautomation/tools/run_tests/
- Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.
Например:
- Ждём завершения тестирования.
Крайне желательно иногда следить за тем, как проходит тестирование.
Запуск единичного теста
Иногда требуется запустить конкретный тест.
- Запускаем VCLTestTool
- Открываем файл теста. Например ./testautomation/writer/required/w_updt.bas
- Запускаем тест по [F5] или из меню Программа → Запустить.
Обработка результатов
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на www.openoffice.org
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl
Для запуска требуется Perl.
Запускается командой:
perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res
В консоль выводится итоговая таблица.
Можно перенаправить в файл:
perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt
Ссылки и дополнительная информация
http://qa.openoffice.org | Страница проекта контроля качества |
http://quaste.services.openoffice.org | QUASTe — Страница состояния контроля качества |
http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance
|
Страница Wiki Контроль Качества. |
http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html | Страница с бинарными файлами VCLTestTool |
http://download.openoffice.org/next/ | Тестовые сборки OpenOffice.org и наборы автоматических тестов.
|
http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ | Наборы автоматических тестов. Тоже самое, что расположено в |
http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=DEV300&milestone=m77&download=2 | Файл hid.lst для помещения в папку testautomation/global/hid |