Сергей Семашко "End to end test: cheap and effective"

Excellence inSoftware Engineering

Альтернативный подход к тестированию web-приложений

End to end тесты - дешево и сердито

Confidential

Excellence in Software Engineering Confidential 2

UNIT-ТЕСТЫ

Excellence in Software Engineering

• Идея состоит в том, чтобы писать тесты для каждой нетривиальной функции или метода

Немного о Unit-тестах

Confidential



• Цель - изолировать отдельные части программы и показать, что по отдельности эти части работоспособны


Confidential



• Цель - изолировать отдельные части программы и показать, что по отдельности эти части работоспособны

• Служат своеобразной документацией к модулю


Confidential


• Экстремальное программирование

(Test driven development)

Где используются Unit-тесты

Confidential




• Автоматизированное тестирование

(Continuous integration)


Confidential




• Автоматизированное тестирование

(Continuous integration)

• Полезны при рефакторинге


Confidential


• Jenkins

• CruiseControl

Утилиты автоматической сборки проектов


• Повышают надежность кода

Особенности Unit-тестов

Confidential



• Поощряют программистов к изменениям кода


Confidential




• Упрощают интеграцию модулей


Confidential




• Упрощают интеграцию модулей

• Тестируют внутреннюю логику модулей


Confidential


• Временные затраты часто >= реализации самого модуля

Проблемы Unit-тестов

Confidential



• Поддержка уже написанных тестов


Confidential




• Необходима модульная архитектура


Confidential




• Необходима модульная архитектура

• Для ощутимого результата необходимо достаточное покрытие тестами (Code Coverage)


Confidential


А что если у нас нет таких ресурсов, но нам нужно тестировать продукт?

Confidential


END TO END ТЕСТЫ


• Тестирование сценариев (User test-cases)

Что такое End to end тесты?



• Относятся к методам тестирования серого ящика, т.е. когда мы имеем некое представление о внутреннем устройстве системы





• Цель - определение системы зависимостей и подтверждения того, чтобы нужная информация передается между различными компонентами системы





• Цель - определение системы зависимостей и подтверждения того, чтобы нужная информация передается между различными компонентами системы

• Если не работает хоть один под-компонент, то не работает вся система(страница)



• Проверяют доступность страниц

End to end тесты на GameTrailers.com



• Проверяют выходные данные





• Могут отлавливать серверные ошибки






• Система тестов проста в реализации






• Система тестов проста в реализации

• Добавить новый тест в систему может любой разработчик в команде




Старт теста

Выкачиваем страницу по определенному адресу

Проверяем серверные ошибки

Проверяем наличие параметров для теста в

выходных данных



Параметры end to end теста

Адрес проверяемой страницы или

фрагмента

Набор проверяемых данных

(для проверки их наличия на странице)

Пример:

• Ожидаемая строка: collection-player

• URL страницы: http://www.example.com/page1



С помощью End to end тестов удалось решить следующие

задачи


С помощью End to end тестов удалось решить следующие задачи

– покрытие тестами всех страниц

Особенность End to end тестов на GT.com


С помощью End to end тестов удалось решить следующие задачи

– покрытие тестами всех страниц

– мониторинг серверных ресурсов (Profiling)




Система тестирования

Unit-тесты для жизненно важных модулей

End to end тесты для проверки доступности системы в целом


• Не тестирует JavaScript

• Нет пользовательских Test-cases

Минусы данного подхода

Confidential 37


Selenium позволяет это реализовать

Минусы данного подхода

Confidential 38


Any questions?

Confidential 39


Спасибо за внимание

Confidential 40

Сергей Семашко "End to end test: cheap and effective"

Documents

Transcript of Сергей Семашко "End to end test: cheap and effective"