20151013 - Réduire les coûts des tests de performance ?
-
Upload
leclubqualitelogicielle -
Category
Software
-
view
35 -
download
2
Transcript of 20151013 - Réduire les coûts des tests de performance ?
Réduire les coûts des tests de performance ?
La validation continue de la performance !
Hervé SERVY, spécialiste du test de performance
Test et monitoring de perf.
Test de performance des applications et monitoring en production
Les composantes du coûtCoût de l’outillage et environnement
Coût du test : coût d’exploitation de la plateforme de tests.
Coûts de correction : coût des actions correctrices sur le logiciel ou le hardware suite aux tests.
Test de performance des applications et monitoring en production
Détecter un problème tôt = Réduire les coûts de correction
Discovery Design Development Testing Production
Co
ût
de
la c
orr
ecti
on
Temps
Trop tard pour découvrir un problème de perf majeur
Test de performance des applications et monitoring en production
Validez la performance en continu pour identifier un problème tôt
Développement Pré-production/QA Production
Test de composants etintégration continue
Test d’une appassemblée
Monitoringproactif
Test de performance des applications et monitoring en production
En Dev : commencez à tester pour détecter les problèmes plus tôt
o Tester les composants/micro-services pour voir s’ils passent les SLAs
o N’attendez pas d’avoir une interface avant de tester la perf. Testez des API
o Détectez les problèmes de perf plus tôt
o Utilisez les informations de la QA et de la Prodpour corriger les problèmes identifiés
DATA
SERVICES
UI
1
Test de performance des applications et monitoring en production
Associer le test de perf à l’ intégration continueL’automatisation des tests est une tendance de fond …Mais les tests de perf automatisés restent à la pointe
Comment procéder ?
Test de performance des applications et monitoring en production
Intégrez la perf dans les spécifications
o Quantifiez les SLAs
o Définissez des SLAs pour le cas général (une page doit se charger en moins d’une seconde) et pour des cas d’usages spécifiques (les résultats de la recherche doivent s’afficher en moins de 2 secondes)
Test de performance des applications et monitoring en production
Travaillez avec les développeurs pour anticiper les changements
o Communiquez avec les Dev.
o Tenez vous au courant des modifications dans le code
Test de performance des applications et monitoring en production
Intégrez les tests de perf avec votre serveur de build
o Intégrez la perf comme les autres tests
o Définissez des tests pour chaque phase : smoke tests, unit test, test de régression, test d’intégration
Test de performance des applications et monitoring en production
Intégration continue + build de nuit + test en charge en fin de cycle
o La nature/complexité des tests évolue
o Commencez avec des tests simples automatisés. En fin de cycle réalisez des tests de charge complets
Test de performance des applications et monitoring en production
Architecture : Performance tests et Intégration Continue
Le process de build déclenche un test
Build et résultats des tests
Pass / Fail
Commit Changes
Démarrage automatique
de votre build
Développeur
Testeur
SVN
Serveur
D’intégration
continue
Outil de test
Test de performance des applications et monitoring en production
En phase de Pré-production/QA
o Pourquoi ne pas réutiliser les designs de test de composants réalisés en phase de Dev ?
o L’application va changer plus fréquemment que promis : organisez-vous pour être en mesure de créer facilement et rapidement des scénarios de tests réalistes
o Vous allez découvrir des bugs : comment en rendre compte de manière efficace ? Donnez des information vraiment opérationnelles à vos équipes de Dev.
o Considérez le test en production comme une option « pas si terrifiante » en deuxième étape
APP
2
Test de performance des applications et monitoring en production
Validez la perf en production
o Maintenir des profils de monitoring à un coût : récupérez les scénarios créés par les équipes de QA.
o Bâtissez une approche durable pour résoudre les problèmes de perf : donnez au Dev et à la QA des informations opérationnelles sur les mesures réalisées en prod.
o Définissez un processus clair pour gérer les problèmes de perf détectés : qui a reçu l’email ?
o Chaque mesure réalisée peu vous épargner un retour de flamme très coûteux.
3
Test de performance des applications et monitoring en production
Valider la performance en continu n’est-ce pas plus de tests et plus de coûts ?
Test de performance des applications et monitoring en production
Le type et la complexité des tests évolueCertains tests sont automatisés/automatisables
Automatisation des test
Productivité des outils de test
Test de performance des applications et monitoring en production
La bataille des coûts se gagne sur la productivités des ressources
56%
34%
coût du test de performance
ressources logiciel
Test de performance des applications et monitoring en production
Pour gagner cette bataille il faut …
• Pour designer les scénarios rapidement
• Pour maintenir les scénarios de test rapidement
• Pour analyser les résultats rapidement
Des outils rapides
• Qui opèrent nativement avec les serveurs d’intégration continue
• Qui automatisent aux maximum les tâches du design des tests
Des outils agile et
automatisés
Test de performance des applications et monitoring en production
TCO Métrologie
Sur une organisation qui teste 20 applications/releases par an
Un logiciel pro et productif permet un TCO plus bas qu’un outil open source
Coût du software(licence +maintenance)
Réduire les coûts des tests de performance ?
Q & A
Hervé SERVY, spécialiste du test de performance
Test et monitoring de perf.