Cutting Latency Tail: Analyzing and Validating Replication without Canceling

La variabilidad del tiempo de respuesta en las aplicaciones de software puede degradar gravemente la calidad de la experiencia del usuario. Para reducir esta variabilidad, la replicación de solicitudes surge como una solución efectiva al generar múltiples copias de cada solicitud y utilizar el resultado de la primera que se complete. La mayoría de los estudios anteriores se han centrado principalmente en la latencia media de los sistemas que implementan la cancelación de réplicas, es decir, todas las réplicas de una solicitud se cancelan una vez que termina la primera. En cambio, desarrollamos modelos para obtener la distribución del tiempo de respuesta para sistemas en los que la cancelación de réplicas puede ser demasiado costosa o inviable de implementar, como en los sistemas "rápidos", como los servicios web, o en los sistemas heredados. Además, introducimos un nuevo modelo de servicio para considerar explícitamente la correlación en los tiempos de procesamiento de las réplicas de las solicitudes, y diseñamos un algoritmo eficiente para parametrizar el modelo a partir de datos reales. Las evaluaciones exhaustivas de un benchmark de MATLAB y una aplicación web de tres niveles (MediaWiki) muestran una precisión notable, por ejemplo, un error medio del 7 (4 por ciento) en el tiempo de respuesta del percentil 99 para el benchmark (respectivamente, MediaWiki), cuyas peticiones se ejecutan en el orden de los segundos (respectivamente, milisegundos). De este modo, se obtiene información sobre los niveles óptimos de replicación a partir de este análisis cuantitativo preciso, bajo una amplia variedad de escenarios de sistema.