Как улучшить процессы тестирования ПО. TMS как неотъемлемая часть современной разработки

В России огромное количество компаний занимаются разработкой собственных ИТ-продуктов, задача которых - повысить эффективность бизнеса. В некоторых компаниях, особенно банковского сектора, количество внутренних продуктов уже давно перевалило за сотню, а количество специалистов задействованных в развитие этих продуктов исчисляется тысячами.

Имея в своем арсенале мощные ИТ-системы, которые постоянно изменяются и развиваются, необходимо внимательно контролировать их качество. Порой цена ошибки или недоступности системы для клиентов, может вылиться в очень значительные финансовые потери для компании.

Сегодня мы поговорим о TMS-системах, с помощью которых организуют весь процесс тестирования ПО и сводят к минимуму простои в работе ПО.

Мы в FIRECODE занимаемся разработкой уже 15+ лет, и в то время тестированию сайтов или мобильных приложений не уделяли должного внимания, это и понятно, ведь прадеды современных приложений и сайтов имели очень скудный функционал. Сейчас системы огромны, и порой бизнес настолько связан с каким-то ИТ-продуктом, что его недоступность может нанести непоправимый вред компании.

У нас работают порядка 250 специалистов, который связаны с разработкой веб и мобильных приложений, и десктопных решений. Зачастую мы подключаемся к уже существующим командам клиента, чтобы усилить их или дополнить экспертизой.

Тестированием мы занимаемся достаточно давно, подключаясь к проектам наших клиентов мы участвуем в тестировании крупных продуктов, в командах работают от 10 до 150 инженеров по тестированию. Правильно организовать работу по тестированию жизненно необходимо для современного ИТ-продукта, поэтому команды используют в своей работе различные TMS (Test Manager System). До введения санкций на российском рынке было большое количество зарубежных решений, таких как TestRail и других. Это хорошие продукты, которые закрывали множество потребностей современной разработки. Но текущие время внесло свои коррективы, часть продуктов ушло из РФ, другую часть стало невозможно оплатить.

Когда наши заказчики начали испытывать сложности с оплатой и использованием зарубежных TMS, то мы на себе испытали эти проблемы, так как заказчик начал снижать объемы работы и ситуация начала находится в подвешенном состоянии.

В какой-то момент мы решили погрузиться в изучение рынка и решений TMS российского рынка, достаточно много времени ушло на детальное изучение продуктов и их тестирование. В ряде компаний клиентов мы сразу начинали использовать несколько продуктов, чтобы потом выбрать лучший.

При всем при этом, мы не можем рекомендовать лучший продукт, который закрывает все потребности клиента. Каждый из продуктов (TMS) лучший в чем-то своем. Кто-то начал активно использовать решение от Ланита, кто-то FireTMS, кто-то другие продукты.

Поскольку универсальной формулы, которая будет работать в любой ситуации, не существует, одной из самых больших проблем при организации эффективного процесса обеспечения качества является разработка самого процесса. Вам нужно подумать об окружающей среде в целом и принять во внимание множество факторов:

1. Процедуры тестирования QA в вашей компании

2. Цели вашей команды

3. Используемые инструменты и стек технологий

4. Сложность проекта

5. Процесс выпуска обновлений

6. Состав команды

Понимание этих аспектов может помочь вам обойти любые ограничения и максимально использовать возможности вашей команды. Это позволит вам согласовать ваш процесс с потребностями и требованиями проекта и эффективно расставить приоритеты в усилиях по контролю качества.

Чтобы тестирование проходило максимально эффективно, оно должно идти по четкому плану, который должен быть зафиксирован в TMS. Исходя из плана тестирования создаются тест-кейсы, формируются команды, запускаются тест-раны и собирается аналитика.

Даже небольшие процессы, которые можно автоматизировать, позволят значительно повысить эффективность разработки. Например, в TMS часто используют ключи доступа, это могут быть логин и пароль доступа, которые выдаются группе специалистов или командам. Ключи могут быть связаны с десятками тест-кейсов, и когда вам потребуется изменить ключ, он автоматически изменится во всех тест-кейсах.

Успех тестирования программного обеспечения обеспечивается за счет настройки надлежащей среды тестирования (TMS). Любые ошибки в этой части процесса могут привести к дополнительным расходам и задержке по выходу обностейний продукта.

Очень важно правильно настроить среду тестирования и полноценно внедрить её, чтобы все участники команды могли пользоваться всем функционалом системы.

Разработчики и специалисты по контролю качества работают вместе как часть проектной группы и поэтому должны нести ответственность за достижение определенных KPI.

Дополнительные возможности TMS:

- Совместное использование документации — общие файлы и отчеты должны быть доступны для разработчиков и QA.

- Прозрачные метрики - документы о областях разработчиков программного обеспечения для улучшения, содержащие основанные на данных и легко измеримые ключевые показатели эффективности.

- Совместные встречи — QA и команды разработчиков должны собираться не реже одного раза в неделю.

Очень сложно описать все возможности современной TMS, но и переоценить пользу от их использования ещё сложнее. Еще остались некоторые компании, которые используют в своей работе эксель и гугл док, и когда подобные компании переходят на современные TMS, то они сильно увеличивают скорость разработки и качество своих продуктов.

На большинстве проектов мы используем FireTMS, но а также несколько других систем от известных компаний, например QASE и TestRail.