Интеллектуальная система автоматизации тестирования...

1© Copyright 2013 EMC Corporation. All rights reserved.

Интеллектуальная система автоматизации тестирования на базе Groovy

Аксененко СергейПахомов Андрей

Санкт-Петербургский центр разработок ЕМС


О чем мы будем говорить:

Зачем «изобретать велосипед»

Как спроектировать систему тестирования

И как ее реализовать

И о чем не будем:

Универсальные решения на все случаи жизни

Процессы тестирования

Как мы все здорово протестировали


Зачем «изобретать велосипед»


Тестируемые продукты

VPLEX

ACCESS

ANYWHERE

RECOVERPOINT

PROTECTEVERYWHERE

VM

AX


Тестовый стенд

Application

Data Center A Data Center B

Data Center CTest engine


Элементы идеальной тестовой системы

Структура• Иерархия• Параметризация

Сценарии• Простота и гибкость• Универсальность

Структура• Иерархия• Параметризация

Сценарии • Простота и гибкость• Универсальность

Модель• Уровень абстракции• Адаптеры

Конфигурация


Структура сценариев

Структура

Сценарии

Модель


• Иерархия• Параметризация

• Простота и гибкость• Универсальность

• Уровень абстракции• Адаптеры


Структура блоков скриптового сценария

Suite

ScenarioTest Case

Test Step

Verification

Action


Проектирования языка сценариев

Структура

Сценарии

Модель






Предметно-ориентированный язык (DSL)

+ Разделение логики сценариев и среды для их запуска+ Создание и изменение сценариев силами QA

- Дополнительная затрата ресурсов на разработку скриптового языка


Groovy как основа для создания DSL

Интерпретация вместо компиляции

Полная интеграция с JAVA

Возможность перегрузки стандартных конструкций языка

Лаконичность

Поддержка со стороны основных IDE


Предметно-ориентированный язык

Компоненты предметно-ориентированного языка

groovy.lang.Script

BaseSript

Script Engine

Filters

Blocks

Verifications

• Бесконтекстные операции• Операторы • Структура блоков


DSL как средство агрегации знаний

Знания

DSL

Model

Groovy

Библиотеказнаний


Концепция фильтров

Декларативно описывает свойства объекта

Во время прогона теста выделяет коллекцию объектов модели

Возможность комбинировать вместе несколько фильтров


Операции над множествами

+

*-

Доменная область

Примеры кода:

• Figure.RED * Figure.Star

• ((Figure.CIRCLE + Figure.TRIANGLE)

* Figure.GREEN)


expected events in 1.min { every Host.PRODUCTION => Event.10203}

Логика проверок

Expected

Темпоральный оператор Время Квантор Фильтр Событие/

состояние


Проверки (expected блок)

Темпоральные операторы– States (n1, n2 => s1 , Δt)

– Events (n1, n2=>e1 || e2 , Δt)

– Stability (n1,n2 => s1, Δt)

n1 s0 s1n2 s2 s1

n1n2

Satisfied

Satisfied

n1 e1n2 e2

Satisfied


Модель тестового стенда

Структура

Сценарии

Модель






Пример

h1 h2 h3 h4 h5

SW1 SW2

Test enginePRODUCTION REPLICA

Зап

ись

Чте

ни

е

Репликация


Пример скрипта

scenario("WriteAndCheck") {

Timeout writeTime = userVariable("writeTime", Timeout)

Host.PRODUCTION.startWrites() //h1,h2,h3 start writing

writeTime.sleep()

testStep(“switchDisaster”) {

Switch.byHost(Host.PRODUCTION).disableLink() //SW1

expected events in 15.seconds {

Storage.PRODUCTION => Event.REPLICATION_FAILED

}

}


Пример скрипта (продолжение)

testStep(“Disaster recovery”) {

Switch.byHost(Host.PRODUCTION).enableLink()

expected events in 1.min {

Storage.PRODUCTION => Event.REPLICATION_RESTORED

}

expected states in 10.min {

Storage.REPLICA => SyncState.SYNCHRONIZED

}

}

Host.PRODUCTION.stopWrites()

(Host.PRODUCTION + Host.REPLICA).checkConsistency()

}


Конфигурация системы

Структура

• Иерархия

• Параметризация

Сценарии

• Простота и гибкость

• Универсальность

Модель

• Уровень абстракции

• Адаптеры



КонфигурацияКонфигурационный файл: Минимальный набор данных об оборудовании

Построение топологии FC сети


Что дальше...

ITE (Integrated Testing Environment)

Непрерывная интеграция

Виртуальная/облачная тестовая среда


Итоги

Составляющие эффективной тестовой системы

Библиотека знаний

Гибкое конфигурирование

Интеллектуальная система автоматизации тестирования...

Education

Transcript of Интеллектуальная система автоматизации тестирования...