Difference between revisions of "RU/development/qa/automatic testing"

From Wiki
Jump to navigationJump to search
m (added DocNote)
 
(26 intermediate revisions by 3 users not shown)
Line 1: Line 1:
{{DISPLAYTITLE:Контроль качества: Инструкция "Автоматическое тестирование OpenOffice.org"}}
+
<section begin=title /><noinclude>{{DISPLAYTITLE:Контроль качества: </noinclude>Инструкция «Автоматическое тестирование {{OOo}}»<noinclude>}}</noinclude><section end=title />{{BreadCrumbL10n}}
{{Documentation/Note|This is Kb/99999999!}}  
+
 
 
__TOC__
 
__TOC__
  
= Инструменты =
+
== Инструменты ==
== Утилита автоматического тестирования VCLTestTool ==
+
=== Утилита автоматического тестирования VCLTestTool ===
VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.  
+
VCLTestTool — это самостоятельное приложение, которое взаимодействует с {{OOo}} через протокол TCP/IP.  
  
 
[http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Утилита доступна] для различных платформ.
 
[http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Утилита доступна] для различных платформ.
  
== Наборы программ-сценариев автоматических тестов (testautomation) ==
+
=== Наборы программ-сценариев автоматических тестов (testautomation) ===
Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом CVS или SVN.
+
Каждой сборке {{OOo}} соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из [http://hg.services.openoffice.org/ репозитария с исходным кодом Mercurial].
  
 
Помимо репозитария, набор тестов можно [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ скачать в виде готового пакета], которые достаточно распаковать.
 
Помимо репозитария, набор тестов можно [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ скачать в виде готового пакета], которые достаточно распаковать.
  
При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: '''OOO320_m12''' или '''DEV300_m75'''.  
+
При скачивании пакета необходимо знать номер сборки {{OOo}}. Например: '''OOO320m17''' или '''DEV300m78'''.
  
== Тестовые сборки OpenOffice.org ==
+
=== Тестовые сборки {{OOo}} ===
[http://download.openoffice.org/next/other.html Скачать] тестовые сборки OpenOffice.org
+
[http://download.openoffice.org/next/other.html Скачать] тестовые сборки {{OOo}}.
  
= Тестирование =
+
== Тестирование ==
== Подготовка тестовой среды ==
+
=== Подготовка тестовой среды ===
* [http://download.openoffice.org/next/other.html Скачать] и установить тестируемую сборку (''Full install English (US)'') OpenOffice.org, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs'').
+
* [http://download.openoffice.org/next/other.html Скачать] и установить тестируемую сборку (''Full install English (US)'') {{OOo}}, например '''DEV300_m75''', и русский языковой пакет (''Russian language packs'').
 
* Скачать и распаковать набор тестов Например: '''[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 OOo_DEV300_m75_testautomation.tar.bz2] '''  
 
* Скачать и распаковать набор тестов Например: '''[http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/OOo_DEV300_m75_testautomation.tar.bz2 OOo_DEV300_m75_testautomation.tar.bz2] '''  
* Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 со страницы QUASTe]
+
* Скачать файл '''hid.lst''' и файл-перечень тестов '''DEV300_m75.txt ''' [http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&Itemid=11 со страницы QUASTe] (ссылка на загрузку в самом низу страницы).
 
* [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html  Скачать] и распаковать '''VCLTestTool'''
 
* [http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html  Скачать] и распаковать '''VCLTestTool'''
 
* Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
 
* Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).
  
== Настройка инструментов ==
+
=== Настройка инструментов ===
=== Настройка VCLTestTool ===
+
==== Настройка VCLTestTool ====
 
[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения:
 
[[File:Qa_automatic_testing_img01.png|200px|thumb|right|Окно настройки VCLTestTool]] Исполняемый файл приложения:
  
{{Documentation/Linux|'''testtool.bin'''}}  
+
{{DocLinux|'''testtool.bin'''}}  
 
или
 
или
{{Documentation/Windows|'''testtool.exe'''}}  
+
{{DocWindows|'''testtool.exe'''}}  
  
 
После распаковки VCLTestTool необходимо указать несколько параметров:
 
После распаковки VCLTestTool необходимо указать несколько параметров:
Line 39: Line 39:
 
''Меню «Дополнительно — Настройки», далее по вкладкам''  
 
''Меню «Дополнительно — Настройки», далее по вкладкам''  
  
* Вкладка «Обычный» - Директория program текущей установки OpenOffice.org
+
* Вкладка «Обычный» - Директория '''program''' текущей установки {{OOo}}
:''/opt/ooo-dev3/program/''
+
:{{Path|/opt/ooo-dev3/program/}}
* Вкладка «Профиль» - Каталог для результатов тестирования
+
* Вкладка «Профиль» - '''Директория журналирования''' - каталог для результатов тестирования
:''/home/user/DEV300_m75/work-dev300_m75-linux-x32/''
+
:{{Path|/home/user/DEV300_m75/work-dev300_m75-linux-x32/}}
* Каталог с набором автоматических тестов
+
* '''Базовая директория''' - каталог с набором автоматических тестов
:''/home/user/DEV300_m75/testautomation''
+
:{{Path|/home/user/DEV300_m75/testautomation}}
  
=== Настройка скрипта пакетного запуска ===
+
{{DocLinux|'''Для *nix платформ необходимо вручную указать имя машины.'''
В каталоге ''./testautomation/tools/run_tests/'' находятся скрипты пакетного запуска тестов. Файл
+
 
{{Documentation/Linux|'''run_tests.sh''' применяется для UNIX платформ,}}  
+
* Открываем файл настроек текстовым редактором, обычно расположен {{Path|${HOME}/.testtoolrc}},
{{Documentation/Windows|'''run_tests.vbs''' используется для Windows.}}  
+
* Добавляем в конец следующие строки:
 +
[Others]
 +
<nowiki>PCname=<имя машины></nowiki>}}
 +
 
 +
==== Настройка скрипта пакетного запуска ====
 +
В каталоге {{Path|./testautomation/tools/run_tests/}} находятся скрипты пакетного запуска тестов. Файл
 +
{{DocLinux|'''run_tests.sh''' применяется для UNIX платформ,}}  
 +
{{DocWindows|'''run_tests.vbs''' используется для Windows.}}  
  
 
Перед запуском скрипта требуется указать настройки — отредактировав его.
 
Перед запуском скрипта требуется указать настройки — отредактировав его.
  
* Переменная '''sLocation''' указывает на каталог со сценариями тестирования (например: ''/home/user/DEV300_m75/testautomation/'' )
+
* Переменная '''sLocation''' указывает на каталог со сценариями тестирования (например: {{Path|/home/user/DEV300_m75/testautomation/}})
* Переменная '''sTestTool '''должна содержать путь к testtool.bin / testtool.exe (например: ''/home/user/DEV300_m75/VCLTestTool/testtool.bin'' )
+
* Переменная '''sTestTool '''должна содержать путь к '''testtool.bin''' / '''testtool.exe''' (например: {{Path|/home/user/DEV300_m75/VCLTestTool/testtool.bin}})
  
=== Hid.lst ===
+
==== Hid.lst ====
 
Файл '''hid.lst '''должен размещаться в каталоге<br>
 
Файл '''hid.lst '''должен размещаться в каталоге<br>
''./testautomation/global/hid/''<br>
+
{{Path|./testautomation/global/hid/}}<br>
После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.
+
После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки {{OOo}}.
  
{{Documentation/Note|ВАЖНО!: Для каждой сборки файл hid.lst уникален.}}
+
{{Note|ВАЖНО!: Для каждой сборки файл '''hid.lst''' уникален.}}
  
Скачать '''hid.lst''' и перечень тестов можно на [http://quaste.services.openoffice.org/ странице QUASTE], перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.
+
Скачать '''hid.lst''' и перечень тестов можно на [http://quaste.services.openoffice.org/ странице QUASTe], перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.
  
== Проведение автоматических тестов ==
+
==== Перечень тестов ====
 +
Скачанный перечень тестов из [http://quaste.services.openoffice.org/ странице QUASTe] необходимо привести в пригодное для ''run_test'' состояние.
 +
Для этого необходимо открыть его обычным тестовым редактором (например gedit):
 +
* Удалить пробел в каждой строке после ''.bas''. Проще всего это сделать заменой ".bas " на ".bas"
 +
* Удалить служебную информацию, такую как информацию о релизе и категории тестов.
 +
 
 +
В результате файл должен содержать только список тестов с путями к ним.
 +
 
 +
 
 +
=== Проведение автоматических тестов ===
 
Беглая проверка перед началом тестирования:
 
Беглая проверка перед началом тестирования:
  
* Установлен OpenOffice.org и удалён профиль пользователя.
+
* Установлен {{OOo}} и удалён [[RU/kb/70000005|профиль {{OOo}}]] (в этом случае каталог Профиля будет иметь то же имя, что и каталог установки {{OOo}}).
 
* Настроено средство тестирования VCLTestTool.
 
* Настроено средство тестирования VCLTestTool.
* Распакованы тесты и файл hid.lst находится в ''./testautomation/global/hid/'' .
+
* Распакованы тесты и файл hid.lst находится в {{Path|./testautomation/global/hid/}}.
 
* Составлен перечень тестов из '''DEV300_m75.txt''', если требуется пакетный запуск тестов.
 
* Составлен перечень тестов из '''DEV300_m75.txt''', если требуется пакетный запуск тестов.
 
* Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''.
 
* Пуст рабочий каталог для результатов '''work-dev300_m75-linux-x32'''.
  
=== Пакетное тестирование ===
+
==== Пакетное тестирование ====
 
Наиболее простой способ проведения тестов.
 
Наиболее простой способ проведения тестов.
  
 
* Открываем консоль и переходим в каталог со скриптом. Затем запускаем
 
* Открываем консоль и переходим в каталог со скриптом. Затем запускаем
{{Documentation/Linux|'''run_tests.sh'''}}  
+
{{DocLinux|'''run_tests.sh'''}}  
{{Documentation/Windows|'''run_tests.vbs''' для Windows}}  
+
{{DocWindows|'''run_tests.vbs''' для Windows}}  
  
Например: ''/home/user/DEV300_m75/testautomation/tools/run_tests/''
+
Например: {{Path|/home/user/DEV300_m75/testautomation/tools/run_tests/}}
 
* Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.
 
* Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.
 
Например:
 
Например:
{{Documentation/Linux|'''''./run_test.sh < /home/user/DEV300_m75/tests.txt'''''}}
+
{{DocLinux|{{Path|./run_tests.sh < /home/user/DEV300_m75/tests.txt}}}}
{{Documentation/Windows|'''''cscript run_test.vbs < C:\DEV300_m75/tests.txt''''' для Windows}}
+
{{DocWindows|{{Path|cscript run_tests.vbs < C:\DEV300_m75\tests.txt}} для Windows}}
  
 
* Ждём завершения тестирования.<br>Крайне желательно иногда следить за тем, как проходит тестирование.
 
* Ждём завершения тестирования.<br>Крайне желательно иногда следить за тем, как проходит тестирование.
  
=== Запуск единичного теста ===
+
==== Запуск единичного теста ====
 
Иногда требуется запустить конкретный тест.
 
Иногда требуется запустить конкретный тест.
  
 
# Запускаем VCLTestTool
 
# Запускаем VCLTestTool
# Открываем файл теста.  Например ''./testautomation/writer/required/w_updt.bas''
+
# Открываем файл теста.  Например {{Path|./testautomation/writer/required/w_updt.bas}}
# Запускаем тест по [F5] или из меню «Программа - Запустить»
+
# Запускаем тест по [F5] или из меню {{Menu|Программа|Запустить}}.
  
== Обработка результатов ==
+
=== Обработка результатов ===
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на openoffice.org
+
Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на www.openoffice.org
  
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ''./testautomation/tools/analyze/make_summary.pl''
+
Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт {{Path|./testautomation/tools/analyze/make_summary.pl}}
  
 
'''Для запуска требуется Perl.'''
 
'''Для запуска требуется Perl.'''
  
Запускается командой: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res'''''
+
Запускается командой: <source lang="bash">perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res</source>
 
В консоль выводится итоговая таблица.  
 
В консоль выводится итоговая таблица.  
  
Можно перенаправить в файл: '''''perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt'''''
+
Можно перенаправить в файл: <source lang="bash">perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt</source>
  
= Ссылки и дополнительная информация =
+
== Ссылки и дополнительная информация ==
  
 
{| class="prettytable"
 
{| class="prettytable"
Line 135: Line 151:
 
|-
 
|-
 
| [http://download.openoffice.org/next/ http://download.openoffice.org/next/]
 
| [http://download.openoffice.org/next/ http://download.openoffice.org/next/]
| Тестовые сборки OpenOffice.org
+
| Тестовые сборки {{OOo}} и наборы автоматических тестов.
  
 
<!-- |-
 
<!-- |-
Line 144: Line 160:
 
|-
 
|-
 
| [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/]
 
| [http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/]
| Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN.
+
| Наборы автоматических тестов. Тоже самое, что расположено в <del>CVS/SVN</del> [http://download.services.openoffice.org/files/extended/ http://download.services.openoffice.org/files/extended/], но уже содержит внутри файл hid.lst .
 +
 
 +
|-
 +
| <nowiki>http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=</nowiki><span style="background:#FFB6C1">DEV300&milestone=m77</span>&download=2
 +
| Файл hid.lst для помещения в папку testautomation/global/hid
  
 
|}
 
|}
  
----
 
{{RU/documentation/signyear|Aeroshin|А.&nbsp;В.&nbsp;Ерошин|2010}}
 
  
{{QaВottom}}
+
{{SignYear|Aeroshin|А.&nbsp;В.&nbsp;Ерошин|2010}}
 +
 
 +
{{RUqaBottom}}

Latest revision as of 17:47, 18 September 2011

Инструменты

Утилита автоматического тестирования VCLTestTool

VCLTestTool — это самостоятельное приложение, которое взаимодействует с OpenOffice.org через протокол TCP/IP.

Утилита доступна для различных платформ.

Наборы программ-сценариев автоматических тестов (testautomation)

Каждой сборке OpenOffice.org соответствует уникальный набор программ-сценариев для автоматического тестирования. По умолчанию, его можно получить из репозитария с исходным кодом Mercurial.

Помимо репозитария, набор тестов можно скачать в виде готового пакета, которые достаточно распаковать.

При скачивании пакета необходимо знать номер сборки OpenOffice.org. Например: OOO320m17 или DEV300m78.

Тестовые сборки OpenOffice.org

Скачать тестовые сборки OpenOffice.org.

Тестирование

Подготовка тестовой среды

  • Скачать и установить тестируемую сборку (Full install English (US)) OpenOffice.org, например DEV300_m75, и русский языковой пакет (Russian language packs).
  • Скачать и распаковать набор тестов Например: OOo_DEV300_m75_testautomation.tar.bz2
  • Скачать файл hid.lst и файл-перечень тестов DEV300_m75.txt со страницы QUASTe (ссылка на загрузку в самом низу страницы).
  • Скачать и распаковать VCLTestTool
  • Настроить VCLTestTool и скрипт для пакетного запуска тестов (описано далее).

Настройка инструментов

Настройка VCLTestTool

Окно настройки VCLTestTool

Исполняемый файл приложения:

Documentation linux.png testtool.bin

или

Documentation windows.png testtool.exe

После распаковки VCLTestTool необходимо указать несколько параметров:

Окно настройки VCLTestTool

Меню «Дополнительно — Настройки», далее по вкладкам

  • Вкладка «Обычный» - Директория program текущей установки OpenOffice.org
/opt/ooo-dev3/program/
  • Вкладка «Профиль» - Директория журналирования - каталог для результатов тестирования
/home/user/DEV300_m75/work-dev300_m75-linux-x32/
  • Базовая директория - каталог с набором автоматических тестов
/home/user/DEV300_m75/testautomation
Documentation linux.png Для *nix платформ необходимо вручную указать имя машины.
  • Открываем файл настроек текстовым редактором, обычно расположен ${HOME}/.testtoolrc,
  • Добавляем в конец следующие строки:
[Others]
PCname=<имя машины>

Настройка скрипта пакетного запуска

В каталоге ./testautomation/tools/run_tests/ находятся скрипты пакетного запуска тестов. Файл

Documentation linux.png run_tests.sh применяется для UNIX платформ,
Documentation windows.png run_tests.vbs используется для Windows.

Перед запуском скрипта требуется указать настройки — отредактировав его.

  • Переменная sLocation указывает на каталог со сценариями тестирования (например: /home/user/DEV300_m75/testautomation/)
  • Переменная sTestTool должна содержать путь к testtool.bin / testtool.exe (например: /home/user/DEV300_m75/VCLTestTool/testtool.bin)

Hid.lst

Файл hid.lst должен размещаться в каталоге
./testautomation/global/hid/
После распаковки набора тестов необходимо проверить его наличие в этом каталоге. Если нет, то скачать, в соответствии с версией сборки OpenOffice.org.

Documentation note.png ВАЖНО!: Для каждой сборки файл hid.lst уникален.

Скачать hid.lst и перечень тестов можно на странице QUASTe, перейдя в раздел «View Autotests», и выбрав соответствующую сборку и платформу.

Перечень тестов

Скачанный перечень тестов из странице QUASTe необходимо привести в пригодное для run_test состояние. Для этого необходимо открыть его обычным тестовым редактором (например gedit):

  • Удалить пробел в каждой строке после .bas. Проще всего это сделать заменой ".bas " на ".bas"
  • Удалить служебную информацию, такую как информацию о релизе и категории тестов.

В результате файл должен содержать только список тестов с путями к ним.


Проведение автоматических тестов

Беглая проверка перед началом тестирования:

  • Установлен OpenOffice.org и удалён профиль OpenOffice.org (в этом случае каталог Профиля будет иметь то же имя, что и каталог установки OpenOffice.org).
  • Настроено средство тестирования VCLTestTool.
  • Распакованы тесты и файл hid.lst находится в ./testautomation/global/hid/.
  • Составлен перечень тестов из DEV300_m75.txt, если требуется пакетный запуск тестов.
  • Пуст рабочий каталог для результатов work-dev300_m75-linux-x32.

Пакетное тестирование

Наиболее простой способ проведения тестов.

  • Открываем консоль и переходим в каталог со скриптом. Затем запускаем
Documentation linux.png run_tests.sh
Documentation windows.png run_tests.vbs для Windows

Например: /home/user/DEV300_m75/testautomation/tools/run_tests/

  • Запускаем скрипт на выполнение с передачей ему на стандартный ввод содержимого файла-списка тестов.

Например:

Documentation linux.png ./run_tests.sh < /home/user/DEV300_m75/tests.txt
Documentation windows.png cscript run_tests.vbs < C:\DEV300_m75\tests.txt для Windows
  • Ждём завершения тестирования.
    Крайне желательно иногда следить за тем, как проходит тестирование.

Запуск единичного теста

Иногда требуется запустить конкретный тест.

  1. Запускаем VCLTestTool
  2. Открываем файл теста. Например ./testautomation/writer/required/w_updt.bas
  3. Запускаем тест по [F5] или из меню Программа → Запустить.

Обработка результатов

Результаты тестирования могут быть загружены в QUASTe (Quality Assurance Statuspage), для этого необходимо иметь учётную запись на www.openoffice.org

Помимо загрузки в QUASTe можно получить общую таблицу с результатами. Для этого существует скрипт ./testautomation/tools/analyze/make_summary.pl

Для запуска требуется Perl.

Запускается командой:

perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res

В консоль выводится итоговая таблица.

Можно перенаправить в файл:

perl ./make_summary.pl /home/user/DEV300_m75/work-dev300_m75-linux-x32/*.res > /home/user/DEV300_m75/work-dev300_m75-linux-x32/summary.txt

Ссылки и дополнительная информация

Ссылка
Описание
http://qa.openoffice.org Страница проекта контроля качества
http://quaste.services.openoffice.org QUASTe — Страница состояния контроля качества
http://wiki.services.openoffice.org/wiki/Category:Quality_Assurance


Страница Wiki Контроль Качества.
http://qa.openoffice.org/ooQAReloaded/AutomationTeamsite/ooQA-TeamAutomationBin.html Страница с бинарными файлами VCLTestTool
http://download.openoffice.org/next/ Тестовые сборки OpenOffice.org и наборы автоматических тестов.


http://ooopackages.good-day.net/pub/OpenOffice.org/qa/testautomation/ Наборы автоматических тестов. Тоже самое, что расположено в CVS/SVN http://download.services.openoffice.org/files/extended/, но уже содержит внутри файл hid.lst .
http://quaste.services.openoffice.org/index.php?option=com_quaste&task=tests_overview&workspace=DEV300&milestone=m77&download=2 Файл hid.lst для помещения в папку testautomation/global/hid










К началу страницы