Мобильные тесты за пару кликов с помощью Maestro?

Итак, автоматизация тестирования мобильных приложений — это тема, которая остается актуальной и востребованной. За последние годы наблюдается тенденция к упрощению разработки и снижению объема написания кода.

Более того, технологии искусственного интеллекта (ИИ) все чаще применяются для создания тестов, что значительно ускоряет процессы. Например, Testim или Applitools Eyeys.

Прежде чем мы перейдем к обсуждению Maestro, давайте рассмотрим основные фреймворки для тестирования мобильных приложений и их особенности.

Кстати, про основы веб-автоматизации я рассказал в этом видео. Если вы новичок в деле автоматизации - думаю вам будет полезно посмотреть этот урок.

Видео-версию сегодняшнего урока по Maestro можно посмотреть здесь.

Универсальное решение для тестирования iOS и Android. Основное преимущество — возможность работы без доступа к исходному коду приложения. Интуитивно понятный Selenium-синтаксис, позволяет разработчикам писать тесты на множестве языков программирования: Java, Python, JavaScript, C#, Ruby и других.

Несмотря на популярность, Appium часто критикуют за нестабильность и сложность в настройке, особенно при работе с большими и сложными проектами. Не все так гладко как кажется, но инструмент является очень популярным. Пожалуй, наибольшее количество документации именно под Appium.

Стандартный инструмент для тестирования приложений на iOS, интегрированный в Xcode. Поддерживает только языки Objective-C и Swift, что ограничивает его использование.

Подходит для разработки быстрых и надежных тестов, но работает исключительно с экосистемой Apple.

Новый фреймворк Jetpack Compose позволяет тестировать приложения, которые разработаны с декларативным подходом.

У меня есть видео про автоматизацию с помощью этого инструмента, включая описание работы приложения ToDoSlav, которое мы будем рассматривать далее в статье.

Инструмент от Google для тестирования Android-приложений. Отличается простотой использования, высокой стабильностью и встроенной поддержкой Java и Kotlin. Espresso идеально подходит для написания тестов, интегрированных в процессы разработки.

У меня есть видео по тестированию с использованием Espresso, в котором я достаточно информативно рассказываю примеры использования этого фреймворка.

Также можно упомянуть KIF, Robotium и другие инструменты для мобильного тестирования. Однако, на мой взгляд Appium является основным инструментом в индустрии мобильного тестирования.

Maestro — это инструмент, который можно назвать "автоматизация тестов без кода". Этот фреймворк фокусируется на удобстве использования и снижении порога входа для начинающих тестировщиков.

Что еще интересно: судя по поддерживаемым платформам, возможно также и веб-тестирование.

Не будем слишком долго фокусироваться на установке, так как есть довольно обширный документ об этом на официальном сайте. Для Windows необходима установка WSL компонента в систему.

Далее Maestro можно установить на любой системе с помощью команды:

Либо (если у вас установлен пакетный менеджер HomeBrew), то можно использовать команду:

Все довольно просто. В основном вы будете использовать следующие команды:

Мы будем тестировать простое приложение для создания списка задач "ToDoSlav". Его я написал как шаблон для тестирования с использованием различных фреймворков. У меня есть видео-урок по автоматизации этого приложения с использованием Jetpack Compose.

Репозиторий с приложением есть здесь. Можно собрать готовый APK файл с помощью Android Studio, а можно использовать готовый файл здесь.

После того как APK файл скачан или собран вами самостоятельно - можно приступать к созданию и настройке эмулятора, либо использованием вашего физического Android устройства. Видео-инструкцию по тому как это сделать в Android Studio я создал здесь.

Напишем простой Android тест для нашего приложения ToDoSlav с использованием следующих команд и назовем его main_activity_test.yml:

Разберем каждую команду:

1) appId: У каждого установленного приложения на Android есть определенный идентификатор. В нашем случае это "com.deemoun.todoapp".

2) Команда "launchApp". Запускаем приложение по этому идентификатору. Если указан неверно - приложение не запустится.

3) Указываем комментарий, что это первый тест "Test 01" и пишем шаги.

4) Первый шаг: Установить фокус на элементе "EnterTaskField" - это поле ввода в нашей программе. Используется команда "tapOn"

5) Далее пишем, что мы производим ввод в поле с названием "EnterTaskField" с содержанием "TestTask1". Используется команда "inputText" с параметрами "text" и "id" нужного элемента.

6) Далее мы нажимаем кнопку "Add" с помощью уже известной нам команды "tapOn".

7) С помощью команды "assertVisible" проверяем, что такой элемент имеется на экране.

8) Удаляем добавленное задание с помощью команды "tapOn" по названию элемента: "Delete".

Запуск тестов осуществляем с помощью команды "maestro test main_activity_test.yml" в терминале вашей операционной системы.

Как мы видим на скриншоте выше - все тесты здесь прошли успешно, но так бывает не всегда. В случае когда тест "провалился" - формируется скриншот с окном эмулятора в момент проваленного теста.

Возникает вопрос. Каким же образом находить элементы на экране и взаимодействовать с ними? Так вот, Maestro Studio — это инструмент с графическим интерфейсом, который упрощает создание тестов.

Можно записать готовый сценарий и потом просто вставить его в YAML файл, а можно найти локаторы и использовать их в нужных случаях.

Утилита запускается с помощью команды "maestro studio" и открывается в вашем веб-браузере. Важно, чтобы был запущен эмулятор, так как утилита подключается к эмулятору.

Appium это инструмент с большой историей разработки и применения. В больших компания уже выработалась культура вокруг Selenium-подобного синтаксиса и это не так быстро изменить.

Несмотря на проблемы в Appium (например, самая очевидная - управление ожиданиями элементов) - Appium активно развивающийся инструмент, который себя уже зарекомендовал на рынке.

Но это не значит, что его позиции нельзя потеснить. Более того, это уже происходит.

Maestro — это интересное решение для тех, кто ищет простоту и доступность в автоматизации тестирования мобильных приложений.

Оно снижает порог входа для начинающих тестировщиков, упрощает работу с локаторами и обеспечивает стабильное выполнение тестов.

Я не вижу ничего плохого в снижении порога входа в автоматизацию тестирования. Тестирование не для избранных, а ИИ позволяет быстро поправлять тесты, в том числе и для этого фреймворка.

Однако, несмотря на все преимущества, есть и места, где еще стоит поработать создателям этого фреймворка, а именно:

Я бы не рекомендовал это решение для тех, кто использует уже настроенный фреймворк автоматизации и готовые, написанные тесты.

Все таки, это новое решение и имеет вышеперечисленные недостатки. C другой стороны, если приложение простое и имеет всего 2-3 страницы, то имеет смысл рассмотреть Maestro (можно в течение пары часов написать необходимые тесты).

В дальнейшем развитие Maestro покажет сможет ли этот фреймворк пройти проверку временем. А чтобы поспевать за событиями в мире тестирования - подписывайтесь на мой ламповый Телеграм-канал о QA.