En nuestro artículo anterior hablamos de lo importante y ventajoso que sería contar con un análisis de retorno de inversión para el proyecto de pruebas automatizadas.
Es hora de que la acción inicie, y para ello partiremos desde una definición básica del Retorno de la Inversión (ROI por sus siglas en inglés):
El ROI se calcula como los ahorros obtenidos al reemplazar las pruebas de regresión manual con pruebas automatizadas dividido por el costo de inversión en la automatización de pruebas
Para el cálculo del Ahorro, consideraremos que los ahorros son la diferencia entre el costo de ejecutar un conjunto de pruebas de forma manual frente a ejecutar las mismas pruebas automáticamente varias veces durante un período.
Ahorros = (tiempo para ejecutar un caso de prueba manual – tiempo para ejecutar un caso de prueba automatizado) * # de pruebas * # de ejecuciones
La inversión es la suma de los costos fijos y continuos de la automatización de pruebas, incluido el tiempo dedicado a construir y configurar las herramientas o el marco de automatización de pruebas, y el tiempo dedicado a codificar o mantener pruebas automatizadas.
Inversión = tiempo para construir el marco + (tiempo para codificar una prueba automatizada * # de pruebas) + costos de mantenimiento
Si hay costos de compras o de licencia, se pueden agregar aquí después de convertir dólares en minutos dividiéndolos por la tarifa de la factura como se mencionó anteriormente.
Finalmente, los costos de mantenimiento son los costos de investigar y corregir pruebas fallidas (tanto falsos positivos como fallas reales). Las pruebas inestables, como los errores de desarrollo, contribuyen al costo de mantenimiento, ya que se requiere investigación para determinar si la función o la prueba tienen fallas. Cuanto más fallan las pruebas, más tiempo se tarda en cubrir el ROI.
Costos de mantenimiento = tiempo de mantenimiento para un caso de prueba fallido *% de casos de prueba fallidos por ejecución * # de casos de prueba * # de ejecuciones
Es importante destacar que el modelo de ROI que planteamos es intencionalmente simple para mantener baja la cantidad de entradas y hacer que sea lo más aplicable posible. Como resultado, hay otros factores que pueden afectar el ROI, pero no se incorporan en el cálculo. Estos abarcan:
- Pruebas unitarias: las pruebas unitarias son una actividad de desarrollo valiosa que mejora la calidad del código. Por naturaleza, están definidos de forma demasiado estricta para reemplazar las pruebas manuales, pero su valor está implícito en el modelo como un número potencialmente menor de fallas para investigar. No se incluyen explícitamente en el cálculo del ROI.
- Aumento de la cobertura de la prueba: tener la capacidad de ejecutar pruebas automatizadas rápidamente o fuera de las horas puede resultar en una mayor cobertura o capacidad de la prueba. Se pueden ejecutar pruebas para las que no habría tiempo suficiente para ejecutarlas manualmente, o se pueden ejecutar pruebas manuales adicionales mientras se ejecutan pruebas automatizadas. Ganancias como estas no se tienen en cuenta en la métrica de ROI.
- Costos de repetición de la prueba: cuando las pruebas inestables deben ejecutarse repetidamente contra la misma compilación, estas repeticiones no cuentan para el ROI.
- Otros costos: Los costos operativos y de infraestructura adicionales no incluidos se pueden convertir en minutos y agregar al total de la inversión.
Finalmente, me resta destacar la importancia de poder contar con una herramienta sistemática que te permitirá demostrar los beneficios de las estrategias de automatización y como ellas apalancan el éxito de tus proyectos.
Si te interesa obviarte estos pasos y formulas, te invito a descargar estas plantillas que he preparado para ti, con las cuales podrás realizar tu cálculo de ROI de una manera sencilla y sistemática. Adicionalmente y como obsequio adicional, te invito a que agendemos una entrevista sin cargo de hasta 45 minutos en donde podré explicarte como usar las plantillas y ayudarte a considerar particularidades de tu caso. Regístrate en goto.argentuminc.com
Leer también:
Retorno de Inversión en la automatización de pruebas (parte 1)