Минус 90% времени на рутину: как мы внедрили ИИ в работу QA-отдела

С ИИ наша команда начала знакомиться в 2023-м. И тогда он казался чем-то вроде темной комнаты: куда идти и что делать, непонятно. В отделе QA Kokoc Tech мнения разделились: кто-то относился со скептицизмом, кто-то с любопытством. Конечно, опасались, что в комнате скрываются машины, которые заменят инженеров. Но время расставило все по местам. Мы научились не просто ориентироваться в этой комнате, но и использовать ИИ как надежного партнера.

В статье я, Денис Тимошин, руководитель отдела QA компании Kokoc Tech, поделюсь опытом своей команды: как и с какими задачами помогает ИИ, и покажу, насколько это ускоряет работу.

Сначала GPT-3.5 мы использовали как альтернативу поисковым системам и для личных задач. Составляли список дел, писали поздравления. Запрос за запросом лед недоверия таял. Нейросети становились умнее, а мы – опытнее. Но на этом этапе мы экспериментировали без системной работы.

Прорыв случился, когда команда готовилась к внутренней аттестации QA-инженеров — «Скиллфесту». Тогда решили использовать ИИ как тренера: задавали темы, например, «Тестирование API» или «Работа с Jira», и нейросеть генерировала вопросы, имитирующие реальные задачи.

Инженеры давали ответы, а ИИ анализировал их на полноту, указывал на ошибки и предлагал рекомендации. Например, добавить проверку статус-кодов в API-тестах или уточнить критерии приоритизации багов.

Подготовка к аттестации с ИИ дала результат: команда показала высокие баллы, а главное — освоила новые подходы к тестированию. Это убедило всех, что ИИ может быть не просто помощником в рутине, но и инструментом для роста экспертизы. После «Скиллфеста» мы начали внедрять его в ежедневную работу.

Ниже — конкретные задачи, в которых нам помогает ИИ. Заранее отмечу: нужно на практике подобрать нейросеть под цель. Мы для себя выбрали GPT-4, Claude, Grok и Gemini.

Для начала решили отдать ИИ составление чек-листов, потому что эта задача отнимает много времени. Без нейросети путь у специалиста следующий:

Временные затраты специалиста и ИИ мы сравним дальше в статье. А здесь покажем результат. Чтобы получить чек-лист по вёрстке, мы задаём точный запрос

ИИ способен создавать почти все чек-листы сайтов, если в промпте четко описать требования. Например: «Составь чек-лист проверки формы регистрации на сайте. Учти: валидацию полей, обработку ошибок, отображение уведомлений, интеграцию с CRM».

Это работает, потому что нейросеть добавляет сценарии, которые человек может пропустить:

— граничные значения (ввод 50 символов в поле «Имя»),

— редкие кейсы (отправка формы при отключенном JavaScript),

— стандарты вроде GDPR (защита данных пользователей) или WCAG (доступность для людей с ограниченными возможностями).

Мы всегда дополняем генерацию ИИ нашими рабочими шаблонами. Конечно, бывают задачи, где без человека не обойтись — например, с уникальными сайтами с нетипичной логикой.

Другая задача, с которой справляется ИИ, — написание тест-кейсов. Раньше это занимало много времени. Теперь мы описываем функцию в запросе, и нейросеть сразу предлагает основу: шаги проверки и ожидаемые результаты.

Ответ хороший, но все равно внесли корректировки. Тестировщик добавил один шаг — «Выбрать размер». Это заняло не больше минуты.

На практике выяснилось, что ИИ хорошо справляется с большинством типов багов. Опять же, если тестировщик четко описывает проблему.

В целом нейросеть хорошо подходит:

— для UI/UX-багов вроде нерабочих кнопок, смещенных элементов, проблем с адаптивностью;

— ошибок валидации — некорректной обработкой пустых полей, спецсимволов;

— стандартных функциональных багов — например, неправильного расчета суммы в корзине;

— проблем с интеграциями — ошибками API, отсутствием ответа от сервера.

С ИИ больше нет неполных баг-репортов, которые приходится уточнять много раз.

Но при сложных сценариях иногда требуется доработка. Например, если баг появляется только после пяти и более действий с определёнными входными данными. Сложнее всего ИИ обрабатывать ошибки, связанные с бизнес-логикой — они зависят от уникальных правил проекта, которые нельзя вывести из запроса. Также нейросеть не всегда справляется с субъективными проблемами — например, с оценкой некорректной анимации, которую сложно формализовать.

Данные — основа любого тестирования. Здесь ИИ тоже полезен: чтобы протестировать работу с большим объемом статей, достаточно сделать пару кликов и задать параметры: количество, размер, тематика.

Мы провели эксперимент. Один тестировщик писал документацию вручную, а другой использовал ИИ. Результаты наглядные.

Несмотря на впечатляющие результаты, ИИ — не волшебная палочка. Делюсь одной из галлюцинаций. Я проверял локализацию сайта и отправил ИИ скриншот интерфейса с просьбой проанализировать, есть ли на нем русские слова.

Галлюцинации ИИ можно победить с помощью хороших промптов. Мы не используем готовую базу, потому что каждый запрос уникален и зависит от задачи. Но есть правила, которые помогают избежать фантазий ИИ:

Над некоторыми задачами после ИИ все-таки придется посидеть, какими бы удачными промпты ни были. Сгенерированные тест-кейсы и баг-репорты требуют доработки, как я говорил выше. ИИ может упустить нюансы бизнес-логики или предложить шаблонные решения, которые не подходят для сложных сценариев. Кроме того, остаются вопросы конфиденциальности — использование ИИ требует осторожного подхода к обработке и хранению информации, особенно в проектах с чувствительными данными. ИИ — наш помощник, но без экспертизы QA-инженеров не обойтись.

ИИ интегрирован в некоторые инструменты QA. Мы в команде используем:

Эти инструменты помогают автоматизировать рутинные задачи и освободить время для более сложных сценариев и аналитической работы. И вот наглядный пример.

ИИ не замена тестировщикам. Это инструмент, который делает нашу работу быстрее. Главное — задавать правильные вопросы и помнить, что без экспертизы человека даже самая умная нейросеть остается просто строкой кода.

Это только часть того, что мы обсуждаем в Kokoc Tech. Заглядывайте в канал — там интересно.