À quel moment l'automatisation des tests devient-elle intéressante ?
Facteurs d'évaluation du rapport coût-efficacité de l'automatisation des tests
Bien que de nombreux projets soient répétitifs ou similaires, leur contenu est généralement différent – notamment en raison des technologies ou des produits utilisés.
Si vous recherchez cette question sur Google et tentez de trouver une réponse en ligne, vous constaterez souvent que l'investissement doit être rentable. Autrement dit, l'investissement dans l'automatisation des tests doit générer un retour sur investissement positif. Ce calcul peut prendre en compte des facteurs tels que le coût total de la main-d'œuvre, le nombre d'étapes de test (par exemple, développement, intégration système, recette utilisateur), le nombre d'applications ou de technologies concernées, le nombre de cas de test redondants, le temps consacré à l'exécution manuelle des tests, le nombre de mises en production par an, et bien d'autres. Calculer ces facteurs peut s'avérer très complexe et représenter un défi de taille. Certaines données sont difficiles à obtenir, et recueillir les informations nécessaires – pour certains facteurs – afin d'effectuer un calcul précis peut être long et fastidieux, voire, dans le pire des cas, impossible.
Un trop grand nombre d'indicateurs clés de performance (KPI) accroît la complexité
Comment déterminer précisément si l'automatisation des tests est pertinente ?
Tout d'abord, examinons les facteurs logiques :
En général, l'automatisation des tests est avantageuse pour les tests fréquents. Répéter ces tests manuellement peut devenir fastidieux et la capacité de concentration diminue considérablement avec le temps. Cela augmente le risque d'erreurs d'inattention, ce qui réduit significativement la qualité des tests et accroît le risque de passer à côté de bogues. Un robot d'automatisation, en revanche, n'est pas affecté par la fatigue et peut répéter un test un nombre incalculable de fois. Le niveau de qualité reste constant, même après un million d'exécutions.
Le temps est un facteur crucial dans les tests. Les testeurs manuels (humains) effectuent les tests pendant les heures de bureau, ce qui entraîne des interruptions durant la phase de test. Les robots, en revanche, n'ont pas besoin de pauses, pas de fin de journée, pas d'interactions sociales, pas de week-ends, pas de pauses café, et certainement pas de pauses cigarette (en supposant qu'il s'agisse d'un modèle diesel). Bien sûr, des tests 24h/24 et 7j/7 seraient également possibles avec des testeurs manuels. Cela nécessiterait « seulement » des testeurs répartis dans le monde entier pour couvrir tous les fuseaux horaires. L'ensemble du projet n'aurait alors « qu'à » être coordonné par une seule personne, et le problème des tests 24h/24 serait résolu. Il convient de noter, entre autres, que les barrières linguistiques, les différences culturelles et de méthodes de travail, ainsi que les horaires de travail, doivent être prises en compte lors de cette coordination. Un autre défi peut être la distribution et l'exploitation mondiales du logiciel, ainsi que l'établissement d'une norme mondiale uniforme.
Un robot ne se lasse pas d'effectuer toujours les mêmes tests et ne se fatigue pas
Un facteur important à prendre en compte est le coût d'un testeur manuel. Autrement dit, combien me coûte un testeur manuel et de combien de testeurs ai-je besoin pour réaliser mes tests dans les délais impartis ? Bien sûr, on pourrait détailler ces coûts et, par exemple, analyser le rapport coût-bénéfice. Cependant, cela complexifierait considérablement notre propos.
À l'inverse, quel serait le coût de l'automatisation de cet ensemble de tests ? Cela inclurait les coûts de licence, les honoraires d'un spécialiste ou d'un expert en automatisation, ainsi que les frais de maintenance liés aux ajustements du système.
On peut donc conclure que les coûts initiaux de l'automatisation des tests sont supérieurs à ceux d'une configuration manuelle. Cependant, ces coûts diminuent avec le temps, la maintenance étant moins exigeante que l'exécution manuelle des tests. Le développement d'un système d'automatisation doit être soigneusement planifié et conçu de manière stratégique afin d'anticiper les défis futurs. En d'autres termes, si la méthodologie d'automatisation est bien conçue et évolutive, la maintenance future sera plus simple, plus rapide et plus économique.
Les coûts initiaux d'une mise en place d'un système d'automatisation des tests sont plus élevés, mais diminuent rapidement avec le temps
En collaboration avec notre partenaire, pom+ Consulting AG, nous avons eu l'opportunité d'étudier directement cette question auprès d'un important prestataire de services financiers suisse et avons pu fournir une analyse bien étayée.
En décomposant la complexité, nous avons pu trouver une réponse exhaustive. Notre approche et notre méthodologie étaient simples. Dans un premier temps, nous avons recueilli les informations pertinentes (notamment les technologies du système à tester, les cas de test existants, les environnements de test, les procédures de test actuelles et les mises à jour annuelles) et, en collaboration avec le client, nous avons identifié et défini les critères d'évaluation. Cette définition a servi de base à une analyse indépendante. Dans un second temps, nous avons examiné l'ensemble de tests défini afin de déterminer la pertinence technique de l'automatisation des tests. Enfin, nous avons considéré l'aspect économique pour évaluer les implications financières.
Utilisez un outil de calcul simple pour vous aider et obtenir une vue d'ensemble
Pour vous faire une première idée de l'intérêt de l'automatisation des tests pour votre entreprise, vous pouvez télécharger le calculateur d'automatisation Infometis 2.0 et manipuler les chiffres dans Excel.
Ça a l'air excitant ?
Bien entendu, notre équipe se fera un plaisir de vous fournir une évaluation neutre.
Contactez-nous dès maintenant.
