QA MeetupBest practices тестирования API

Гупаленко Антон

DreamPayments.com Мы тестируем back end:

● управление пользователями● проведение платежей● взаимодействие с банками● финансовые операции● активация и управление терминалом● каталог продуктов● отчеты и статистика

Стек технологий

взаимодействие с front end через SOAP и REST

Принципы при проверки API:● API поддерживает требуемые сценарии● запрос API удовлетворяет спецификации● валидация ответа на полноту данных ● валидация корректности данных в ответе

Принципы при проверки API:● валидация изменений в DB● проверка работы внешних сервисов● это не unit тесты

● используем groovy для автоматизации заполнения запросов и проверки ответов

● используем groovy и db2 jdbc для написания проверок в базе

● механизм переиспользования кейсов● взаимодействие с внешними системами (e-mail, sftp)

Плюсы:

● простота разработки тест кейсов● наглядность при работе в запросами и ответами● возможность быстро использовать созданные кейсы● возможность использовать groovy и сторонние

библиотеки● возможность проверки без написания теста

Минусы: ● скорость работы и потребление ресурсов● сложность подготовки проверок● переиспользование возможно, но требует больших

усилий● отсутствие удобного IDE

Проблемы, с которыми мы столкнулись:

● переиспользование flow целиком● механизмы для проверок находились в разных местах,

их трудно структурировать● при запуске тестов трудно понять, что конкретно

поломано API или сам тест

Проблемы, с которыми мы столкнулись:

● поддержка тестов командой становиться все труднее● не возможно работать над одним кейсом совместно● трудно собирать статистику по прогону теста

Количество тестов: 5000, время полного прогона 18 часов

Решения проблем:● создали DataGenerator и постарались максимально

отойти от переиспользования flow● все имеющие проверки базы данных перенесли в

groovy библиотеку● создали новый фреймворк с использованием JAVA +

jUnit

Java фреймворк

Что есть в фреймворке:● Java и jUnit● объекты реквестов и реплаев из кода● валидатор проверяет весь ответ● DataGenerator, пул различных данных● шаблоны тестов для типичных проверок● e-mail валидатор● Allure, как средство построения отчетов

Плюсы:● гибкость при разработке тестов● понятная структура тестов и вспомогательных

методов● возможность параллельного запуска тестов● возможность категоризировать тесты● помощь DEV команды, как при разработке

фреймворка, так и при написании тестов

Количество тестов: 4000, время полного прогона 4 часа

Минусы:● выше порог вхождения● наглядность тестов падает● нет возможности вручную проверить API● контроль за кодом тестов

Best practice:

● проверять все поля полученные в ответе● не переиспользовать flow● генерировать данные● разбивать тесты по категориям и

критичности● проверять внешние сервисы● следить за состоянием тестов

Контакты:

email: anton.gupalenko@donriver.com

skype: anton_gup

Email: resume_rus@donriver.com