PDF de programación - Administración de Recursos - Benchmarking

Ref. Examen Final



Administración de Recursos

Fecha: 17/07/2006



Benchmarking



Página 1 de 7



¿QUÉ ES BENCHMARK? ¿PARA QUÉ SIRVE?

Benchmark es un proceso sistemático y continuo que permite evaluar comparativamente los
productos, servicios y procesos de trabajo en organizaciones. Estas mediciones son las que van a
definirnos cuál es el rendimiento de lo que estamos evaluando en comparación con lo que se está
analizando en la medición y así permitir la toma de decisión correspondiente. Podemos medir
cualquiera sea la cualidad de lo que nos encontramos evaluando siempre y cuando comparemos
las mismas características entre todos los postulantes que están siendo sometidos a través de esta
técnica.

El benchmark permite:


• Comparar elementos a través de características claves para la solución: Se estudian
aquellos componentes y/o parámetros que aportan datos relevantes a la decisión que se
debe tomar.

• Obtener resultados objetivos
• Obtener la mejor relación costo/beneficio: toda decisión se basa en gran parte en esta

ecuación que balancea el presupuesto existente vs las exigencias y necesidades.

• Comprobar si los elementos estudiados se adecuan a las necesidades: los resultados de un
benchmark permiten conocer si un elemento estudiado cumple o no con los requerimientos
que se tienen y además permite conocer su comportamiento ante determinadas situaciones
(Simulaciones).



ETAPAS DEL PROCESO

Determinar el elemento de estudio

• Determinar el elemento que se va a someter a estudio
• Elegir los factores y variables claves que se tendrán en cuenta para realizar el benchmark.
• Seleccionar las opciones disponibles en el mercado que se evaluaran en el proceso de

benchmark.

Preparar el entorno de prueba

• Recopilar requerimientos del tipo de Benchmark a realizar.
• Realización de tareas previas a la etapa de ejecución. Preparación del ambiente en donde
se realizara la prueba. Ejemplo: creación de lotes de prueba o carga de prueba (test
workload), creación de tablas, etc.
El armado de de la carga de prueba no es algo trivial. Para que los lotes utilizados sean
representativos debe analizarse la carga real de trabajo a fin de generar un modelo de la
misma que será el input al método de Benchmark elegido (simulaciones, métodos analíticos,
etc.)







Ref. Examen Final



CARGA REAL DE

TRABAJO (Workload)



Página 2 de 7



Fecha: 17/07/2006

MODELO DE LA

CARGA REAL

CARGA DE PRUEBA

(Test Workload)

Realizar benchmark

• Someter el elemento a las pruebas
• Medir las respuestas para cada variable analizada y determinar la diferencia respecto a lo

que se compara.

Analizar resultados

• Descartar elementos estudiados que en base a los resultados, no cumplen con las

necesidades.

• Realizar informes para mostrar los resultados obtenidos.
• Determinar si se requiere recalibrar el benchmark e iniciar un nuevo ciclo de evaluación.
Recalibrar el benchmark puede involucrar la corrección de parámetros de prueba,
modificación de los lotes de prueba utilizados, etc.

• Desarrollar planes de acción en base a los resultados obtenidos.



La importancia del benchmarking no se encuentra en la detallada mecánica de la comparación,
sino en el impacto que pueden tener estas comparaciones sobre los comportamientos. Se puede
considerar como un proceso útil de cara a lograr el impulso necesario para realizar mejoras y
cambios.


Dado que la evaluación es de tipo comparativo y decimos que podemos realizar comparaciones de
cualquier tipo, entonces deberíamos especificar los tipos de Benchmark existentes.
En lo referido a sistemas, los benchmarks suelen realizarse mediante programas que miden
prestaciones del hardware o de parte de él. Algunos indican la velocidad de resolución de
operaciones matemáticas, rendimiento en cuanto a la resolución de gráficos, etc.


TIPOS DE BENCHMARK

 Sintéticos: están especialmente diseñados para medir el rendimiento de un componente
individual del hardware, normalmente llevando el componente escogido a su máxima
capacidad. Tienen la intención de medir uno o
más características de un sistema, procesador, o compilador. Pueden imitar sets de
instrucciones de “aplicaciones reales” o generar sets de instrucciones “artificiales”. Este tipo
de benchmark es útil para el debugging o aislamiento de características en especial.

Ejemplos:







Ref. Examen Final



Página 3 de 7



o Whetstone: Fue el primero de este tipo de Benchmarks. Aún se utiliza ampliamente,
porque provee una medida muy razonable de rendimiento de monoprocesadores de
aritmética flotante. Uno de sus mayores usos actualmente es como parte de otros
benchmarks.

Fecha: 17/07/2006

La unidad de medida es MWIPS: Millones de Instrucciones Whetstone Por Segundo.

Una instrucción Whetstone puede definirse como una instrucción de punto flotante
promedio y se calcula como:

MWIPS = 100 * cant de iteraciones * cant de WIPS por iteración / tiempo de
ejecución.



o Dhrystone: Benchmark sintético para medir la velocidad del sistema en cuanto a
rendimiento no numérico. Mide la capacidad del procesador. Es el sucesor de
Whetstone. La versión original fue realizada en lenguaje ADA aunque actualmente
se utiliza en lenguaje C.

La unidad de medida es DPS: Instrucciones Dhrystones Por Segundo.

El rendimiento de Dhyrstone se calcula a partir de la siguiente fórmula:

DPS = reloj del procesador * cant de iteraciones / tiempo de ejecución.



 Aplicaciones: herramientas basadas en aplicaciones reales, simulan una carga de trabajo
para medir el comportamiento global del equipo. Se emplean en general para la evaluación
de sistemas en forma global por lo que tienen gran cantidad de código y de requerimientos
de almacenamiento de datos.
Responden a cuestiones como ¿Este equipo X es más rápido que el equipo Y? o ¿Puede
mi aplicación ejecutarse más rápidamente en el caso de aumentar la velocidad del
procesador, o está limitada por otros subsistemas.



 Test de Bajo nivel: Miden directamente el rendimiento de los componentes Ejemplo: el reloj
de la CPU, los tiempos de la DRAM y de la caché SRAM, tiempo de acceso medio al disco
duro, latencia, tiempo de cambio de pista, etc.


 Test de Alto nivel: Están más enfocados a medir el rendimiento de la combinación
componente/controlador/SO de un aspecto específico del sistema, como por ejemplo el
rendimiento de E/S con archivos, o el rendimiento de una determinada combinación de
componentes/controlador/SO/aplicación. Ejemplo: Velocidad de compresión zip

OTROS TIPOS DE BENCHMARK

 Consumo de energía
 Cumplimiento con estándares ambientales, contenido de materiales y manejo del final del

ciclo de vida del producto

 Disipación de calor
 Redes
 Reducción de ruido
 Trabajo compartido: mide el rendimiento en las modernas tecnologías de distribución de

procesos

 Servidores
 Soporte técnico







Ref. Examen Final

Página 4 de 7



Fecha: 17/07/2006

 etc.



BENCHMARKS MÁS CONOCIDOS



 HINT - Hierarchical INTegration: A diferencia de los benchmarks tradicionales, HINT no fija
el tamaño del problema ni el tiempo de cálculo sino que en su lugar utiliza una medida
llamada QUIPS - QUality Improvement Per Second. Lo que se hace es resolver un
problema matemático cuya solución se puede ir mejorando paulatinamente permitiendo
explorar los límites computacionales de los computadores así como la calidad del resultado.
Se calculan los límites racionales inferior y superior de:



 Standards Performance Evaluation Corporation

(SPEC):
Organización sin fines de lucro que establece y apoya un set de
benchmarks estandarizados que pueden ser aplicados a la nueva
generación de computadores de alto
rendimiento. SPEC
desarrolla benchmarks y hace públicos sus resultados. Está
compuesto por gran cantidad de empresas: HP, MIPS, Sun,
AT&T, Compaq, IBM, Intel, Motorola, DEC, etc.



 BAPCo - Business Applications Performance Corporation: Organismo integrado por
numerosas empresas de tecnología: AMD, Apple, ARCintuition, Compal, Dell, Hewlett-
Packard, Intel, Lenovo, Microsoft, NVIDIA, Samsung, Seagate, Sony, Toshiba, and VIA
Technologies, que entre otros benchmarks, desarrolla el llamado Sysmark. Este test es de
aplicación y permite analizar el rendimiento de programas relacionados con la creación de
video, modelado 3D, etc. (Macromedia Dreamweaver, Flash, Adobe Photoshop, Premiere,
etc.)



 3DMark: Es un soft que permite realizar

Benchmark sintético para analizar rendimiento 3D sobre tarjetas gráficas y ordenadores.
Hay páginas Web que evalúan la performance de los videojuegos en base a las respuestas
obtenidas por este software.

 Khornerstone: Es un Benchmark multipropósito que versiona las características de

Dhrystone y de Whetstone.


 Linpack: Permite medir la eficiencia de sistemas multiprocesadores. Este benchmark
describe la performance para resolver un problema de matrices generales Ax = b a tres
niveles de tamaño: problemas de 100 x 100, problemas de 1.000 x 1.000 y un problema
paralelo escalable. L