Difference between revisions of "RU/development/qa/automatic testing"

From Wiki
Jump to navigationJump to search
m (added images)
m (fixed link views, few text edits)
Line 3: Line 3:
  
 
= Инструменты =
 
= Инструменты =
−
== Утилита автоматического тестирования VCL TestTool ==
+
== Утилита автоматического тестирования VCLTestTool ==
−
VCL TestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.  
+
VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.  
  
−
Скачать утилиту для различных платформ: [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html]
+
[http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Утилита доступна] для различных платформ.
  
 
== Наборы программ-сценариев автоматических тестов (testautomation) ==
 
== Наборы программ-сценариев автоматических тестов (testautomation) ==
 
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.
 
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.
  
−
Помимо репозитария, набор тестов можно скачть в виде готового пакета, которые достаточно распаковать. [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/]
+
Помимо репозитария, набор тестов можно [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ скачать в виде готового пакета], которые достаточно распаковать.
  
 
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: '''OOO320_m12''' или '''DEV300_m75'''.  
 
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: '''OOO320_m12''' или '''DEV300_m75'''.  
  
 
== Тестовые сборки OpenOffice.org ==
 
== Тестовые сборки OpenOffice.org ==
−
Тестовые сборки находятся по адресу: [http://download.openoffice.org/next/other.html http://download.openoffice.org/next/other.html]
+
[http://download.openoffice.org/next/other.html Скачать] тестовые сборки OpenOffice.org
  
 
= Тестирование =
 
= Тестирование =
 
== Подготовка тестовой среды ==
 
== Подготовка тестовой среды ==
−
* Скачать и установить тестируемую сборку (''Full install English (US)'') OpenOffice.org, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs''). [http://download.openoffice.org/next/other.html http://download.openoffice.org/next/other.html]
+
* [http://download.openoffice.org/next/other.html Скачать] и установить тестируемую сборку (''Full install English (US)'') OpenOffice.org, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs'').
−
* Скачать и распаковать набор тестов '''OOo_DEV300_m75_testautomation.tar.bz2'' '''''([http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2]  
+
* Скачать и распаковать набор тестов Например: '''[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 OOo_DEV300_m75_testautomation.tar.bz2] '''
−
* Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt '''(ссылки находятся внизу страницы [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11] )
+
* Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 со страницы QUASTe]
−
* Скачать и распаковать '''VCLTestTool''' [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html]
+
* [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Скачать] и распаковать '''VCLTestTool'''
 
* Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
 
* Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
  
 
== Настройка инструментов ==
 
== Настройка инструментов ==
−
=== Настройка VCL TestTool ===
+
=== Настройка VCLTestTool ===
 
[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: '''testtool.bin''' или '''testtool.exe''' (для Windows)  
 
[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения: '''testtool.bin''' или '''testtool.exe''' (для Windows)  
  
Line 34: Line 34:
 
''Меню «Дополнительно — Настройки», далее по вкладкам''  
 
''Меню «Дополнительно — Настройки», далее по вкладкам''  
  
−
* Вкладка «Обычный» - Директория program текущей установки OpenOffice.org''/opt/ooo-dev3/program/''  
+
* Вкладка «Обычный» - Директория program текущей установки OpenOffice.org
−
* Вкладка «Профиль» - Каталог для результатов тестирования''/home/user/DEV300_m75/work-dev300_m75-linux-x32/''
+
''/opt/ooo-dev3/program/''  
−
* Каталог с набором автоматических тестов''/home/user/DEV300_m75/ testautomation''  
+
* Вкладка «Профиль» - Каталог для результатов тестирования
 +
''/home/user/DEV300_m75/work-dev300_m75-linux-x32/''
 +
* Каталог с набором автоматических тестов
 +
''/home/user/DEV300_m75/testautomation''  
  
 
=== Настройка скрипта пакетного запуска ===
 
=== Настройка скрипта пакетного запуска ===
Line 51: Line 54:
 
'''ВАЖНО!: Для каждой сборки файл hid.lst уникален.'''
 
'''ВАЖНО!: Для каждой сборки файл hid.lst уникален.'''
  
−
Скачать '''hid.lst''' и перечень тестов можно на странице QUASTE [http://quaste.services.openoffice.org/ http://quaste.services.openoffice.org/] перейдя в раздел «View Autotests» и выбрав соответствующую сборку и платформу.
+
Скачать '''hid.lst''' и перечень тестов можно на [http://quaste.services.openoffice.org/ странице QUASTE] перейдя в раздел «View Autotests» и выбрав соответствующую сборку и платформу.
  
 
== Проведение автоматических тестов ==
 
== Проведение автоматических тестов ==
Line 58: Line 61:
 
* Установлен OpenOffice.org и удалён профиль пользователя.
 
* Установлен OpenOffice.org и удалён профиль пользователя.
 
* Настроено средство тестирования VCLTestTool.
 
* Настроено средство тестирования VCLTestTool.
−
* Распакованы тесты и файл hid.lst находится в .''/testautomation/global/hid/.''
+
* Распакованы тесты и файл hid.lst находится в ''./testautomation/global/hid/'' .
−
* Составлен перечень тестов из '''DEV300_m75.txt''',''' '''если требуется пакетный запуск тестов.
+
* Составлен перечень тестов из '''DEV300_m75.txt''', если требуется пакетный запуск тестов.
 
* Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''.
 
* Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''.
  
Line 65: Line 68:
 
Наиболее простой способ проведения тестов.
 
Наиболее простой способ проведения тестов.
  
−
# Открываем консоль и переходим в каталог со скриптом '''run_tests.sh''' ( '''run_tests.vbs для Windows) '''Например: ''/home/user/DEV300_m75/testautomation/tools/run_tests/''
+
* Открываем консоль и переходим в каталог со скриптом '''run_tests.sh''' ( '''run_tests.vbs для Windows''')
−
# Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.Например: '''''./run_test.sh < /home/user/DEV300_m75/tests.txt'''''Для Windows: '''''cscript run_test.vbs < C:\DEV300_m75/tests.txt'''''
+
Например: ''/home/user/DEV300_m75/testautomation/tools/run_tests/''
−
# Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование.
+
* Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.
 +
Например: '''''./run_test.sh < /home/user/DEV300_m75/tests.txt'''''
 +
Для Windows: '''''cscript run_test.vbs < C:\DEV300_m75/tests.txt'''''
 +
* Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование.
  
 
=== Запуск единичного теста ===
 
=== Запуск единичного теста ===
Line 73: Line 79:
  
 
# Запускаем VCLTestTool
 
# Запускаем VCLTestTool
−
# Открываем файл теста.Например ./''testautomation/writer/required/''w_updt.bas
+
# Открываем файл теста. Например ''./testautomation/writer/required/w_updt.bas''
 
# Запускаем тест по [F5] или из меню «Программа - Запустить»
 
# Запускаем тест по [F5] или из меню «Программа - Запустить»
  
 
== Обработка результатов ==
 
== Обработка результатов ==
−
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на [http://openoffice.org/ http://openoffice.org].
+
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на openoffice.org
  
−
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт .''/testautomation/tools/analyze/make_summary.pl''
+
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ''./testautomation/tools/analyze/make_summary.pl''
  
 
'''Для запуска требуется Perl.'''
 
'''Для запуска требуется Perl.'''
  
 
Запускается командой: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res'''''
 
Запускается командой: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res'''''
−
 
 
В консоль выводится итоговая таблица.  
 
В консоль выводится итоговая таблица.  
  

Revision as of 15:06, 2 April 2010

Инструменты

Утилита автоматического тестирования VCLTestTool

VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.

Утилита доступна для различных платформ.

Наборы программ-сценариев автоматических тестов (testautomation)

Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.

Помимо репозитария, набор тестов можно скачать в виде готового пакета, которые достаточно распаковать.

При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320_m12 или DEV300_m75.

Тестовые сборки OpenOffice.org

Скачать тестовые сборки OpenOffice.org

Тестирование

Подготовка тестовой среды

  • Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs).
  • Скачать и распаковать набор тестов Например: OOo_DEV300_m75_testautomation.tar.bz2
  • Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt со страницы QUASTe
  • Скачать и распаковать VCLTestTool
  • Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).

Настройка инструментов

Настройка VCLTestTool

Окно настройки VCLTestTool

Исполняемый файл приложения: testtool.bin или testtool.exe (для Windows)

После распаковки VCLTestTool необходимо указать несколько параметров:

Окно настройки VCLTestTool

Меню «Дополнительно — Настройки», далее по вкладкам

  • Вкладка «Обычный» - Директория program текущей установки OpenOffice.org

/opt/ooo-dev3/program/

  • Вкладка «Профиль» - Каталог для результатов тестирования

/home/user/DEV300_m75/work-dev300_m75-linux-x32/

  • Каталог с набором автоматических тестов

/home/user/DEV300_m75/testautomation

Настройка скрипта пакетного запуска

В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл run_tests.sh применяется для UNIX платформ, run_tests.vbs используется для Windows.

Перед запуском скрипта требуется указать настройки — отредактировав его.

  • Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/ )
  • Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin )

Hid.lst

Файл hid.lst должен размещаться в каталоге ./testautomation/global/hid/. После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.

ВАЖНО!: Для каждой сборки файл hid.lst уникален.

Скачать hid.lst и перечень тестов можно на странице QUASTE перейдя в раздел «View Autotests» и выбрав соответствующую сборку и платформу.

Проведение автоматических тестов

Беглая проверка перед началом тестирования:

  • Установлен OpenOffice.org и удалён профиль пользователя.
  • Настроено средство тестирования VCLTestTool.
  • Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/ .
  • Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
  • Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.

Пакетное тестирование

Наиболее простой способ проведения тестов.

  • Открываем консоль и переходим в каталог со скриптом run_tests.sh ( run_tests.vbs для Windows)

Например: /home/user/DEV300_m75/testautomation/tools/run_tests/

  • Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.

Например: ./run_test.sh < /home/user/DEV300_m75/tests.txt Для Windows: cscript run_test.vbs < C:\DEV300_m75/tests.txt

  • Ждём завершения тестирования. Крайне желательно иногда следить за тем, как проходит тестирование.

Запуск единичного теста

Иногда требуется запустить конкретный тест.

  1. Запускаем VCLTestTool
  2. Открываем файл теста. Например ./testautomation/writer/required/w_updt.bas
  3. Запускаем тест по [F5] или из меню «Программа - Запустить»

Обработка результатов

Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на openoffice.org

Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl

Для запуска требуется Perl.

Запускается командой: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res В консоль выводится итоговая таблица.

Можно перенаправить в файл: perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt

Ссылки и дополнительная информация

Ссылка
Описание
http://qa.openoffice.org Страница проекта контроля качества
http://quaste.services.openoffice.org QUASTe — Страница состояния контроля качества
http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance


Страница Wiki Контроль Качества.
http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Страница с бинарными файлами VCLTestTool
http://download.openoffice.org/next/ Тестовые сборки OpenOffice.org


http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN.

А. Ерошин
2010

Template:QaВottom

Retrieved from "https://wiki.harlamenkov.ru/index.php?title=RU/development/qa/automatic_testing&oldid=5253"