Medida del rendimiento
Benchmarks
V 1.0
José M. Cámara
(
[email protected])
Motivación
El rendimiento debe ser evaluado para:
Valorar el comportamiento del sistema.
Comparar varios sistemas.
Optimizar la utilización.
Eliminar cuellos de botella.
Cuantificar el rendimiento es una tarea
abrumadora:
Los sistemas son distintos entre sí.
Son muy complejos.
Manejan una amplia variedad de aplicaciones y datos.
Métricas
Latencia: tiempo para completar una acción:
enviar un mensaje, ejecutar un programa,
responder a una petición… En función de la
situación se puede expresar también como
tiempo de ejecución o como tiempo de
respuesta.
Throughput: tareas completadas por unidad de
tiempo: instrucciones, mensajes, consultas…
Throughput = 1/ latencia solo cuando no se
produce solapamiento (pipe-line de instrucciones
o de mensajes). Si no throughput > 1/ latencia.
Benchmarks
Concepto: programa de aplicación empleado para
cuantificar el rendimiento de un computador.
Objetivo: los resultados deben ser numéricos,
objetivos y equitativos.
Tipos:
Programas reales.
Sintéticos.
Kernels.
Juguetes.
Suites.
Benchmarks
Los programas reales parecen a priori la opción más
objetiva, pero a menudo sus resultados son difíciles de
interpretar y poco extrapolables ya que muchos
sistemas se ven afectados por ellos de forma incierta y
variable.
Los benchmarks sintéticos se diseñan para reflejar el
rendimiento de ciertos subsistemas.
Para evaluar todos los subsistemas lo adecuado es
emplear una suite de programas sintéticos.
Los kernels son similares a programas reales. Eliminan
lo que no es relevante, como la interfaz de usuario, los
resultados del cálculo, etc.
Los juguetes son programas cortos que producen
resultados ya conocidos por el usuario.
Evaluación de resultados
Las suites de benchmarks están compuestas por programas
diferentes. El rendimiento de los sistemas puede ser diferente bajo
cada uno de ellos.
Una comparación directa no es posible en este caso.
Se utilizan métricas más elaboradas:
están relacionadas. La más larga tiende a marcar la tendencia.
Media aritmética:
Comentarios de: Medida del rendimiento - Benchmarks (0)
No hay comentarios