Обзор Testrail: инструмент для автоматизации тестирования программ

22 ноября 2023

TestRail— это эффективный инструмент для управления тестовыми случаями. Разработчики, тестировщики, менеджеры проектов его используют для управления, отслеживания и организации работ по тестированию программного обеспечения. TestRail позволяет разрабатывать тестовые сценарии, организовывать тестовые наборы, выполнять прогоны и мониторить их результаты.

Управление тестовыми случаями, наборами, запусками

Если вы обрабатываете тестовые кейсы только в стандартных программах мониторинга ошибок, то скорее всего знаете, что они не всегда эффективны. Тестовые случаи в TestRail можно классифицировать, расставлять по приоритетам и связывать с требованиями или конкретными функциями.

Повышенная эффективность тестирования

Списки дел, фильтры TestRail помогают координировать выполнение тестов и увеличивают продуктивность и ответственность тестировщиков. Цель состоит в том, чтобы все участники команды всегда знали о своих задачах, а руководители могли назначать тестировщикам новые задачи в зависимости от их рабочей нагрузки.

Сведения о процессе тестирования в реальном времени

Чтобы принять решение по проекту, крайне важно владеть подробной информацией о всем ходе тестов, их результатах. Такие вопросы, как «Какой процент тестового прогона мы успешно завершили?», «Как мы продвигаемся на предстоящем этапе?» или «Какие тесты были выполнены за последние 24 часа?» На эти вопросы можно эффективно ответить только с помощью комплексного программного обеспечения для управления тестовыми примерами, такого как TestRail.

Планирование тестирования

Пользователи могут создавать планы тестирования, определять контрольные точки и планировать выполнение тестов. Это помогает организовать действия по тестированию в соответствии со сроками и целями проекта.

Отчетность и метрики

Программа генерирует различные отчеты и метрики, которые дают представление о ходе тестирования, мониторинге дефектов и общем состоянии проекта. Настраиваемые отчеты позволяют командам анализировать данные разными способами.

Интеграция и совместная работа

TestRail интегрируется с различными инструментами, обычно используемыми в рабочих процессах разработки и тестирования программного обеспечения. Например, с такими системами отслеживания проблем, как Jira, инструментами непрерывной интеграции и средами автоматизации тестирования. Эта интеграция упрощает коммуникацию и сотрудничество между членами команды.

Безопасность и разрешения

Программное решение TestRail предоставляет возможности для настройки ролей пользователей, разрешений и контроля доступа. Это гарантирует, что конфиденциальные данные тестирования будут доступны только авторизованным пользователям.

Как работать в программе TestRail?

1. Экран, который вы видите ниже, — это панель управления TestRail. На панели отображается обзор ваших проектов, недавних действий и всех назначенных вам задач. Обратите внимание на уведомление «Добро пожаловать в TestRail» в нижней части экрана с предлагаемыми шагами для начала работы.




2. Перейдите на вкладку «Администрирование». Здесь вы сможете добавить пользователей, назначить роли, интеграции и пр. Нажмите «Пользователи и роли», и вы увидите, что вы добавлены в качестве администратора. На вкладке «Роли» находятся предопределенные роли, например «Только для чтения», «Тестер», «Дизайнер» и «Руководитель». Нажмите на значок карандаша, чтобы просмотреть права, назначенные каждой роли. Можно легко изменить описания по умолчанию, создать дополнительные роли, добавить одного или нескольких пользователей, назначить им функции, организовать их в группы и т. д.




3. На «Панели управления» вы будете управлять и отслеживать свои проекты тестирования.




4. Начнем с создания проекта. Для этого нажмите кнопку «Добавить project». Назовите свой проект, затем выберите вариант хранения (как ниже на скрине). Для большей гибкости следует выбрать третий вариант: использовать несколько тестовых наборов для управления кейсами. Это позволяет вам сначала применить один тестовый набор, а потом при необходимости добавлять дополнительные комплекты тестов в будущем.




5. Нажмите «Добавить проект». Появится панель мониторинга с вашим созданным проектом. При желании вы можете поменять имя проекта. Как вы видите на панели мониторинга для примера показаны проекты с несколькими тестовыми наборами и с одним репозиторием. Обратите внимание, как доступные параметры меняются, исходя из того, какой тип проекта.




6. Нажмите ссылку «Тестовые наборы» под вашим новым проектом. Если это ваш первый проект, то в представлении «Наборы тестов» появится один набор по умолчанию, который называется «Мастер». Кликните по наименованию пакета, чтобы редактировать его части и тест-кейсы. Или кликните «Добавить тестовый набор», чтобы добавить его в созданный проект (показано на рисунке ниже).




7. Теперь добавьте ваш первый тест-кейс. Когда появится следующее сообщение, нажмите «Добавить тестовый пример».




8. Появится подробное отображение тестового случая. Давайте добавим обычный тест и назовем его «Login».




9. Поля Разделы, Шаблоны, Типы и Приоритет являются обязательными и применяются для классификации тестовых примеров. Необязательное поле «Тип автоматизации» предназначено для объединения с решением автоматизации тестирования.
   1. Раздел предназначен для тест-кейсов, он создается автоматически для каждого нового проекта.
   2. TestRail содержит три шаблона тестовых кейсов:
      • тестовый случай (текст) содержит текстовые ячейки для pre-condition;
      • тестовый случай (шаги): совокупность определенных действий в процессе тестирования;
      • сессия в рамках исследовательского тестирования: содержит текстовые ячейки для задач и целей исследовательских тестов.
   3. Укажите тип тестов «Регрессионный», «Функциональный», «Производительный» или «Автоматический».
   4. Определите приоритет - «Критический», «Высокий», «Средний» или «Низкий».
10. Сейчас вы можете завершить тестовый случай с промежуточными условиями, действиями, ожидаемыми итогами. Закончив определение теста, нажмите «Добавить тестовый пример». Появится сводка тестового кейса:




11. Давайте добавим еще тест кейсы. Нажмите ссылку «Тестовые случаи», чтобы отобразить меню тестовых примеров (см. скрин ниже). Все, что необходимо, — это заголовок для каждого тест-кейса, для этого используйте меню «Тестовый набор». Просто нажмите ссылку «Добавить кейс» внизу списка тестовых кейсов, чтобы добавить заголовок. Нажмите зеленую галочку или нажмите Enter, чтобы сохранить изменения и перейти к следующему действию. (Обратите внимание, что также можно загружать тест-кейсы из CSV/ XML файла).




12. После того, как тест-кейсы созданы необходимо создать тестовый прогон. Это тестовый набор, предназначенный для определенной цели, например, для выполнения регрессионного, дымового тестирования, на основе рисков, или приемочного тестирования. Каждому запуску теста вы можете создать имя и описание, связать его с контрольной точкой, определить, какие Test case включить, и назначить выполнение конкретному юзеру/группе. Перейдите на вкладку «Тестовые запуски и результаты», потом кликните на кнопку «Добавить тестовый запуск». Если будет предложено выбрать тестовый набор, нажмите «Основной» и «ОК».




13. Появится экран «Добавить тестовый прогон». Поскольку ранее мы выбрали вариант с несколькими тестовыми наборами, по умолчанию используется имя набора тестов. В противном случае по умолчанию используется «Тестовый запуск<дата>». У вас также есть возможность назначить этапу тестовый прогон. Используйте поле «Назначить», чтобы назначить пользователю тестовый запуск. Выберите вариант «Включить все тестовые кейсы», а затем нажмите «Добавить тестовый запуск».




14. Теперь появится экран «Тестовые прогоны и результаты». Если вы будете следовать этому пошаговому руководству, вы увидите один тестовый запуск «Master», завершенный на ноль процентов (0%). На приведенном ниже примере экрана показан проект с четырьмя выполняемыми и несколькими завершенными запусками. Чтобы просмотреть или обновить ход выполнения теста, просто нажмите на его название.




15. На снимке экрана ниже показано состояние выполнения теста. После выполнения каждого теста тестер может обновить его статус: пройден, не пройден и т. д. Также можно установить статус нескольких тестов одновременно. Используйте раскрывающийся список, чтобы установить для статуса вашего тестового примера входа в систему значение Пройдено.




16. Появится окно «Добавить результаты», где вы сможете добавить комментарии к тесту, назначить его другому члену команды, прикрепить снимок экрана и даже отправить дефект во встроенный трекер проблем. Например, предположим, что вы используете Jira для отслеживания задач. После того как вы отправите результаты, тестовый пример будет обновлен идентификатором дефекта в Jira, и задача Jira останется связанной с тестовым примером через TestRail API. Любые обновления по issue в Jira также будут обновлять TestRail. После устранения дефекта вы можете использовать функцию повторного запуска TestRail, чтобы повторно выполнить тест и ввести новые результаты.




17. Нажмите «Добавить результаты», чтобы закрыть окно и вернуться к текущему тестированию. Обратите внимание, что круговая диаграмма была обновлена, чтобы отразить изменение статуса.
18. Получив результат теста, вы можете изучить множество настраиваемых отчетов в TestRail. На скриншоте ниже показаны отчеты, доступные во время тестового запуска. Данные вспомогательных отчетов вы сможете посмотреть на вкладке «Отчеты».

Заключение. Автоматизированное управление итогами тестирования с использованием TestRail позволяет вам значительно улучшить качественные показатели. Благодаря TestRail ваша команда сократит время, ресурсы, затрачиваемые на запуски тестов. Отслеживайте свои результаты, эффективно управляйте тестированием и более продуктивно обрабатывайте неудачные тесты и ошибки.