On the latency-accuracy tradeoff in approximate MapReduce jobs

Para asegurar la escalabilidad de los grandes análisis de datos, las plataformas MapReduce aproximadas emergen para intercambiar explícitamente la precisión por la latencia. Un paso clave para determinar los niveles óptimos de aproximación es capturar la latencia de los grandes trabajos de datos, que durante mucho tiempo se ha considerado un reto debido a la compleja dependencia entre las entradas de datos y las tareas de mapeo/reducción. En este trabajo, utilizamos métodos analíticos matriciales para derivar modelos estocásticos que pueden predecir un amplio espectro de métricas de latencia, por ejemplo, promedio, colas y distribuciones, para trabajos aproximados de MapReduce que están sujetos a estrategias de muestreo de entrada y reducción de tareas. Además de capturar la dependencia entre las oleadas de tareas de mapas/reducir, nuestros modelos incorporan dos políticas de programación de trabajos, a saber, exclusivas y superpuestas, y dos estrategias de eliminación de tareas, a saber, temprana y rezagada, lo que nos permite evaluar de manera realista las ganancias potenciales de rendimiento de la computación aproximada. Nuestro análisis numérico muestra que los modelos propuestos pueden guiar a las grandes plataformas de datos para determinar las estrategias de aproximación óptimas y los grados de aproximación.