Difference between revisions of "RU/development/qa/automatic testing"

Latest revision as of 17:47, 18 September 2011

< Энциклопедия | Разработка приложений, расширений и хакинг | «Контроль качества»

Инструменты

Утилита автоматического тестирования VCLTestTool

VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.

Утилита доступна для различных платформ.

Наборы программ-сценариев автоматических тестов (testautomation)

Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом Mercurial.

Помимо репозитария, набор тестов можно скачать в виде готового пакета, которые достаточно распаковать.

При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320m17 или DEV300m78.

Тестовые сборки OpenOffice.org

Скачать тестовые сборки OpenOffice.org.

Тестирование

Подготовка тестовой среды

Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs).
Скачать и распаковать набор тестов Например: OOo_DEV300_m75_testautomation.tar.bz2
Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt со страницы QUASTe (ссылка на загрузку в самом низу страницы).
Скачать и распаковать VCLTestTool
Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).

Настройка инструментов

Настройка VCLTestTool

Окно настройки VCLTestTool

Исполняемый файл приложения:

testtool.bin

или

testtool.exe

После распаковки VCLTestTool необходимо указать несколько параметров:

Окно настройки VCLTestTool

Меню «Дополнительно — Настройки», далее по вкладкам

Вкладка «Обычный» - Директория program текущей установки OpenOffice.org

/opt/ooo-dev3/program/

Вкладка «Профиль» - Директория журналирования - каталог для результатов тестирования

/home/user/DEV300_m75/work-dev300_m75-linux-x32/

Базовая директория - каталог с набором автоматических тестов

/home/user/DEV300_m75/testautomation

Для *nix платформ необходимо вручную указать имя машины.

Открываем файл настроек текстовым редактором, обычно расположен ${HOME}/.testtoolrc,
Добавляем в конец следующие строки:

[Others]
PCname=<имя машины>

Настройка скрипта пакетного запуска

В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл

run_tests.sh применяется для UNIX платформ,

run_tests.vbs используется для Windows.

Перед запуском скрипта требуется указать настройки — отредактировав его.

Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/)
Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin)

Hid.lst

Файл hid.lst должен размещаться в каталоге
./testautomation/global/hid/
После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.

ВАЖНО!: Для каждой сборки файл hid.lst уникален.

Скачать hid.lst и перечень тестов можно на странице QUASTe, перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.

Перечень тестов

Скачанный перечень тестов из странице QUASTe необходимо привести в пригодное для run_test состояние. Для этого необходимо открыть его обычным тестовым редактором (например gedit):

Удалить пробел в каждой строке после .bas. Проще всего это сделать заменой ".bas " на ".bas"
Удалить служебную информацию, такую как информацию о релизе и категории тестов.

В результате файл должен содержать только список тестов с путями к ним.

Проведение автоматических тестов

Беглая проверка перед началом тестирования:

Установлен OpenOffice.org и удалён профиль OpenOffice.org (в этом случае каталог Профиля будет иметь то же имя, что и каталог установки OpenOffice.org).
Настроено средство тестирования VCLTestTool.
Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/.
Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.

Пакетное тестирование

Наиболее простой способ проведения тестов.

Открываем консоль и переходим в каталог со скриптом. Затем запускаем

run_tests.sh

run_tests.vbs для Windows

Например: /home/user/DEV300_m75/testautomation/tools/run_tests/

Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.

Например:

./run_tests.sh < /home/user/DEV300_m75/tests.txt

cscript run_tests.vbs < C:\DEV300_m75\tests.txt для Windows

Ждём завершения тестирования.
Крайне желательно иногда следить за тем, как проходит тестирование.

Запуск единичного теста

Иногда требуется запустить конкретный тест.

Запускаем VCLTestTool
Открываем файл теста. Например ./testautomation/writer/required/w_updt.bas
Запускаем тест по [F5] или из меню Программа → Запустить.

Обработка результатов

Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на www.openoffice.org

Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl

Для запуска требуется Perl.

Запускается командой:

perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res

В консоль выводится итоговая таблица.

Можно перенаправить в файл:

perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt

Ссылки и дополнительная информация

Ссылка	Описание
http://qa.openoffice.org	Страница проекта контроля качества
http://quaste.services.openoffice.org	QUASTe — Страница состояния контроля качества
http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance	Страница Wiki Контроль Качества.
http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html	Страница с бинарными файлами VCLTestTool
http://download.openoffice.org/next/	Тестовые сборки OpenOffice.org и наборы автоматических тестов.
http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/	Наборы автоматических тестов. Тоже самое, что расположено в ~~CVS/SVN~~ http://download.services.openoffice.org/files/extended/, но уже содержит внутри файл hid.lst .
http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=DEV300&milestone=m77&download=2	Файл hid.lst для помещения в папку testautomation/global/hid

А. В. Ерошин; 2010

К началу страницы

@@ Line 1: / Line 1: @@
-== '''Автоматическое тестирование OpenOffice.org''' ==
+<section begin=title /><noinclude>{{DISPLAYTITLE:Контроль качества: </noinclude>Инструкция «Автоматическое тестирование {{OOo}}»<noinclude>}}</noinclude><section end=title />{{BreadCrumbL10n}}
 __TOC__
-= Инструменты =
+== Инструменты ==
-== Утилита автоматического тестирования VCL TestTool ==
+=== Утилита автоматического тестирования VCLTestTool ===
-VCL TestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.
+VCLTestTool — это самостоятельное приложение, которое взаимодействует с {{OOo}} через протокол TCP/IP.
-Скачать утилиту для различных платформ: [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html]
+[http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Утилита доступна] для различных платформ.
-== Наборы программ-сценариев автоматических тестов (testautomation) ==
+=== Наборы программ-сценариев автоматических тестов (testautomation) ===
-Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.
+Каждой сборке {{OOo}} соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из  [http://hg.services.openoffice.org/ репозитария с исходным кодом Mercurial].
-Помимо репозитария, набор тестов можно скачть в виде готового пакета, которые достаточно распаковать. [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/]
+Помимо репозитария, набор тестов можно [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ скачать в виде готового пакета], которые достаточно распаковать.
-При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: '''OOO320_m12''' или '''DEV300_m75'''.
+При скачивании пакета необходимо знать номер сборки {{OOo}}. Например: '''OOO320m17''' или '''DEV300m78'''.
-== Тестовые сборки OpenOffice.org ==
+=== Тестовые сборки {{OOo}} ===
-Тестовые сборки находятся по адресу: [http://download.openoffice.org/next/other.html http://download.openoffice.org/next/other.html]
+[http://download.openoffice.org/next/other.html Скачать] тестовые сборки {{OOo}}.
-= Тестирование =
+== Тестирование ==
-== Подготовка тестовой среды ==
+=== Подготовка тестовой среды ===
-* Скачать и установить тестируемую сборку (''Full install English (US)'') OpenOffice.org, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs''). [http://download.openoffice.org/next/other.html http://download.openoffice.org/next/other.html]
+* [http://download.openoffice.org/next/other.html Скачать] и установить тестируемую сборку (''Full install English (US)'') {{OOo}}, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs'').
-* Скачать и распаковать набор тестов '''OOo_DEV300_m75_testautomation.tar.bz2'' '''''([http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2]
+* Скачать и распаковать набор тестов Например: '''[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 OOo_DEV300_m75_testautomation.tar.bz2] '''
-* Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt '''(ссылки находятся внизу страницы [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11] )
+* Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 со страницы QUASTe] (ссылка на загрузку в самом низу страницы).
-* Скачать и распаковать '''VCLTestTool''' [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html]
+* [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html  Скачать] и распаковать '''VCLTestTool'''
 * Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
-== Настройка инструментов ==
+=== Настройка инструментов ===
-=== Настройка VCL TestTool ===
+==== Настройка VCLTestTool ====
-Исполняемый файл приложения: '''testtool.bin''' или '''testtool.exe''' (для Windows)
+[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения:
-[[Image:]]После распаковки VCLTestTool необходимо указать несколько параметров:
+{{DocLinux|'''testtool.bin'''}}
+или
+{{DocWindows|'''testtool.exe'''}}
-''Меню «Дополнительно — Настройки», далее по вкладкам''
+После распаковки VCLTestTool необходимо указать несколько параметров:
+[[File:Qa_automatic_testing_img02.png|200px|thumb|right|Окно настройки VCLTestTool]]
+''Меню «Дополнительно — Настройки», далее по вкладкам''
-* Вкладка «Обычный» - Директория program текущей установки OpenOffice.org''/opt/ooo-dev3/program/''
+* Вкладка «Обычный» - Директория '''program''' текущей установки {{OOo}}
-* Вкладка «Профиль» - Каталог для результатов тестирования''/home/user/DEV300_m75/work-dev300_m75-linux-x32/''
+:{{Path|/opt/ooo-dev3/program/}}
-* [[Image:]]Каталог с набором автоматических тестов''/home/user/DEV300_m75/ testautomation''
+* Вкладка «Профиль» - '''Директория журналирования''' - каталог для результатов тестирования
+:{{Path|/home/user/DEV300_m75/work-dev300_m75-linux-x32/}}
+* '''Базовая директория''' - каталог с набором автоматических тестов
+:{{Path|/home/user/DEV300_m75/testautomation}}
-=== Настройка скрипта пакетного запуска ===
+{{DocLinux|'''Для *nix платформ необходимо вручную указать имя машины.'''
-В каталоге ''./testautomation/tools/run_tests/'' находятся скрипты пакетного запуска тестов. Файл '''run_tests.sh''' применяется для UNIX платформ, '''run_tests.vbs''' используется для Windows.
+* Открываем файл настроек текстовым редактором, обычно расположен {{Path|${HOME}/.testtoolrc}},
+* Добавляем в конец следующие строки:
+ [Others]
+ <nowiki>PCname=<имя машины></nowiki>}}
+==== Настройка скрипта пакетного запуска ====
+В каталоге {{Path|./testautomation/tools/run_tests/}} находятся скрипты пакетного запуска тестов. Файл
+{{DocLinux|'''run_tests.sh''' применяется для UNIX платформ,}}
+{{DocWindows|'''run_tests.vbs''' используется для Windows.}}
 Перед запуском скрипта требуется указать настройки — отредактировав его.
-* Переменная '''sLocation''' указывает на каталог со сценариями тестирования (например: ''/home/user/DEV300_m75/testautomation/'' )
+* Переменная '''sLocation''' указывает на каталог со сценариями тестирования (например: {{Path|/home/user/DEV300_m75/testautomation/}})
-* Переменная '''sTestTool '''должна содержать путь к testtool.bin / testtool.exe (например: ''/home/user/DEV300_m75/VCLTestTool/testtool.bin'' )
+* Переменная '''sTestTool '''должна содержать путь к '''testtool.bin''' / '''testtool.exe''' (например: {{Path|/home/user/DEV300_m75/VCLTestTool/testtool.bin}})
+==== Hid.lst ====
+Файл '''hid.lst '''должен размещаться в каталоге<br>
+{{Path|./testautomation/global/hid/}}<br>
+После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки {{OOo}}.
-=== Hid.lst ===
+{{Note|ВАЖНО!: Для каждой сборки файл '''hid.lst''' уникален.}}
-Файл '''hid.lst '''должен размещаться в каталоге ''./testautomation/global/hid/''. После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.
-'''ВАЖНО!: Для каждой сборки файл hid.lst уникален.'''
+Скачать '''hid.lst''' и перечень тестов можно на [http://quaste.services.openoffice.org/ странице QUASTe], перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.
-Скачать '''hid.lst''' и перечень тестов можно на странице QUASTE [http://quaste.services.openoffice.org/ http://quaste.services.openoffice.org/] перейдя в раздел «View Autotests» и выбрав соответствующую сборку и платформу.
+==== Перечень тестов ====
+Скачанный перечень тестов из [http://quaste.services.openoffice.org/ странице QUASTe] необходимо привести в пригодное для ''run_test'' состояние.
+Для этого необходимо открыть его обычным тестовым редактором (например gedit):
+* Удалить пробел в каждой строке после ''.bas''. Проще всего это сделать заменой ".bas " на ".bas"
+* Удалить служебную информацию, такую как информацию о релизе и категории тестов.
-== Проведение автоматических тестов ==
+В результате файл должен содержать только список тестов с путями к ним.
+=== Проведение автоматических тестов ===
 Беглая проверка перед началом тестирования:
-* Установлен OpenOffice.org и удалён профиль пользователя.
+* Установлен {{OOo}} и удалён [[RU/kb/70000005|профиль {{OOo}}]] (в этом случае каталог Профиля будет иметь то же имя, что и каталог установки {{OOo}}).
 * Настроено средство тестирования VCLTestTool.
-* Распакованы тесты и файл hid.lst находится в .''/testautomation/global/hid/.''
+* Распакованы тесты и файл hid.lst находится в {{Path|./testautomation/global/hid/}}.
-* Составлен перечень тестов из '''DEV300_m75.txt''',''' '''если требуется пакетный запуск тестов.
+* Составлен перечень тестов из '''DEV300_m75.txt''', если требуется пакетный запуск тестов.
 * Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''.
-=== Пакетное тестирование ===
+==== Пакетное тестирование ====
 Наиболее простой способ проведения тестов.
-# Открываем консоль и переходим в каталог со скриптом '''run_tests.sh''' ( '''run_tests.vbs для Windows) '''Например: ''/home/user/DEV300_m75/testautomation/tools/run_tests/''
+* Открываем консоль и переходим в каталог со скриптом. Затем запускаем
-# Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.Например: '''''<nowiki>./run_test.sh < /home/user/DEV300_m75/tests.txt</nowiki>'''''Для Windows: '''''<nowiki>cscript run_test.vbs < C:\DEV300_m75/tests.txt</nowiki>'''''
+{{DocLinux|'''run_tests.sh'''}}
-# Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование.
+{{DocWindows|'''run_tests.vbs''' для Windows}}
+Например: {{Path|/home/user/DEV300_m75/testautomation/tools/run_tests/}}
+* Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.
+Например:
+{{DocLinux|{{Path|./run_tests.sh < /home/user/DEV300_m75/tests.txt}}}}
+{{DocWindows|{{Path|cscript run_tests.vbs < C:\DEV300_m75\tests.txt}} для Windows}}
+* Ждём завершения тестирования.<br>Крайне желательно иногда следить за тем, как проходит тестирование.
-=== Запуск единичного теста ===
+==== Запуск единичного теста ====
 Иногда требуется запустить конкретный тест.
 # Запускаем VCLTestTool
-# Открываем файл теста.Например ./''testautomation/writer/required/''w_updt.bas
+# Открываем файл теста.  Например {{Path|./testautomation/writer/required/w_updt.bas}}
-# <nowiki>Запускаем тест по [F5] или из меню «Программа - Запустить»</nowiki>
+# Запускаем тест по [F5] или из меню {{Menu|Программа|Запустить}}.
-== Обработка результатов ==
+=== Обработка результатов ===
-Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на [http://openoffice.org/ http://openoffice.org].
+Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на www.openoffice.org
-Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт .''/testautomation/tools/analyze/make_summary.pl''
+Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт {{Path|./testautomation/tools/analyze/make_summary.pl}}
 '''Для запуска требуется Perl.'''
-Запускается командой: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res'''''
+Запускается командой: <source lang="bash">perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res</source>
 В консоль выводится итоговая таблица.
-Можно перенаправить в файл:'''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt'''''
+Можно перенаправить в файл: <source lang="bash">perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt</source>
-= Ссылки и дополнительная информация =
+== Ссылки и дополнительная информация ==
 {| class="prettytable"
@@ Line 117: / Line 151: @@
 |-
 | [http://download.openoffice.org/next/ http://download.openoffice.org/next/]
-| Тестовые сборки OpenOffice.org
+| Тестовые сборки {{OOo}} и наборы автоматических тестов.
-|-
+<!-- |-
 | [http://community.i-rs.ru/index.php/board,19.0.html http://community.i-rs.ru/index.php/board,19.0.html]
 | Раздел на форуме: Контроль качества
+-->
 |-
 | [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/]
-| Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN.
+| Наборы автоматических тестов. Тоже самое, что расположено в <del>CVS/SVN</del> [http://download.services.openoffice.org/files/extended/ http://download.services.openoffice.org/files/extended/], но уже содержит внутри файл hid.lst .
+|-
+| <nowiki>http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=</nowiki><span style="background:#FFB6C1">DEV300&milestone=m77</span>&download=2
+| Файл hid.lst для помещения в папку testautomation/global/hid
 |}
+{{SignYear|Aeroshin|А.&nbsp;В.&nbsp;Ерошин|2010}}
+{{RUqaBottom}}