PDF de programación - Benchmark

Benchmarking

Gustavo Vázquez
Centro de Ensayos de Software
Madrid, 29 de Noviembre de 2007

© Copyright 2007 – Gustavo Vazquez

Nº

Competir es humano…

© Copyright 2007 – Gustavo Vazquez

2

Competencias tecnológicas

© Copyright 2007 – Gustavo Vazquez

3

¿Qué se mide?

• Piloto
• Copiloto
• Medio técnico
• Equipo
• Estrategia

• ¿Se puede aislar lo que se quiere medir?

© Copyright 2007 – Gustavo Vazquez

4

Benchmark

• Técnica utilizada para obtener la performance relativa de

un sistema

• Existen reglas que permiten comparar

• Las reglas definen qué es lo que se mide

© Copyright 2007 – Gustavo Vazquez

5

¿Qué se puede medir?

• Hardware

• Software

• Comunicaciones

• …

© Copyright 2007 – Gustavo Vazquez

6

Tipos

• Sintéticos

– Se orientan a piezas muy específicas

• Aplicaciones

– Reproducen aplicaciones reales para medir

© Copyright 2007 – Gustavo Vazquez

7

Otra división…

• Estándares

– Existe una asociación detrás de ellos

• A medida

– Definidos según nuestras necesidades

© Copyright 2007 – Gustavo Vazquez

8

Dificultad

• Complejidad arquitectonica

© Copyright 2007 – Gustavo Vazquez

9

Conceptos

• System Under Test (SUT)

– El sistema que realmente se quiere probar
– No incluye las herramientas

• Cliente

– Software que impone la carga
– Es quien mide los tiempos

• Escenario

– Define las condiciones de ejecución

© Copyright 2007 – Gustavo Vazquez

10

¿Qué debe contener un benchmark?

• Objetivo
• Directivas de configuración
• Utilitarios de ejecución (sistema y prueba)
• Escenario
• Reglas de validez
• Modelo de rendimiento
• Arbitro creíble

© Copyright 2007 – Gustavo Vazquez

11

Ejemplos

APLICACIONES

SOFTWARE BASE

HARDWARE

© Copyright 2007 – Gustavo Vazquez

12

Hardware

• Rendimiento de piezas de componentes

– CPU, Video, Discos duros

• Benchmarks de la industria
– Consorcios industriales
• El hardware no corre solo

– Difícil determinar el SUT

© Copyright 2007 – Gustavo Vazquez

13

Dhrystone

• Famoso en los 80
• Sintético, orientado al procesador
• Referencia clara - VAX 11/780
• No tuvo mucho éxito

– Trataba de medir lo inmedible
– Se encontraron “atajos”

© Copyright 2007 – Gustavo Vazquez

14

SPEC CPU2006

• SUT Procesador
• Dos metricas

– SPECint2005
– SPECfp2006

• No solo el procesador

– Arquitectura
– Acceso a memoria
– Compilador

© Copyright 2007 – Gustavo Vazquez

Adobe Acrobat

Document

Adobe Acrobat

Document

15

SPECviewperf

• SUT procesador gráfico OpenGL
• Seis pruebas Distintos usos
• Otras influencias gráficas

– CPU
– Memoria
– Interface

© Copyright 2007 – Gustavo Vazquez

16

MMB

• SUT Hardware
• Utiliza Exchange para realizar carga

– MMB2: Exchange 2000
– MMB3: Exchange 2003

• Solo utiliza MAPI
• Mide UPS o MMB3s

– Define la “salud” de la infraestructura

• Definido por Microsoft

© Copyright 2007 – Gustavo Vazquez

17

NetMark

• Dos sabores

– IPMark: equipamiento de testing

• Chequeo paquetes
• QoS
• Route looping
• OSPF
• NAT

• TCP Jumbo
• TCP Bulk
• TCP Mixed

– TCPMark: transferencia de datos

© Copyright 2007 – Gustavo Vazquez

18

Software Base

• Rendimiento del software base

– Sistemas Operativos
– Manejador de Base de Datos
– Servidores de aplicaciones

• Software tipo

– Define una realidad

• Esquema Base de datos
• Distribución de datos
• Aplicaciones y transacciones de negocio

© Copyright 2007 – Gustavo Vazquez

19

Estándares industriales

• Aplicación estándar

– El paquete incluye las herramientas
– La definición incluye el qué, porqué y cómo

• Críticas

– Los proveedores conocen la prueba
– Representan un escenario “irreal”
• El software base no puede correr solo

© Copyright 2007 – Gustavo Vazquez

20

SPECjbb 2005

• SUT Java Virtual Machine
• Solución Java

– No base de datos
– Clientes – Threads

• Se miden SPECjbb2005 bops
• Diseñado por BEA, Darmstadt University of Technology,

HP, IBM, Intel, and Sun

© Copyright 2007 – Gustavo Vazquez

21

WebBench

• SUT Servidores Web

– Solo HTML + GIF + CGI

• Mide request per second y throughput
• Se define:

– Porcentajes de carga
– Cantidad de generadoras
– “Forma” de la carga

© Copyright 2007 – Gustavo Vazquez

22

SPEC Virtualization

• SUT Software virtualización + Hardware
• En proceso de definición

– Segunda mitad del 2008

• ¿VMMark?

– Utiliza otros benchmarks
– Mide grupo de máquinas virtuales

• Email
• Java Server
• StandBy Server
• Web Server
• Database Server
• File Server

© Copyright 2007 – Gustavo Vazquez

23

SPECWeb - SPECjAppServer

• SUT Servidores Web – Aplicaciones
• SPECWeb

– SPECWeb2005_Banking
– SPECWeb2005_Ecommerce
– SPECWeb2005_Support

• SPECjAppServer

– Servidores J2EE (1.3)

© Copyright 2007 – Gustavo Vazquez

24

TPC-App

• SUT Servidores de aplicaciones
• Otros focos

– Web Services
– Transacciones distribuidas
– Mensajería asíncrona

• Benchmark de la Transaction Processing Performance

Council

© Copyright 2007 – Gustavo Vazquez

25

¿TPC?

© Copyright 2007 – Gustavo Vazquez

26

TPC-C

• SUT Hardware + S.O. + DBMS
• Escenario de Retail

– Base de Datos (Tamaño + Distribución)
– Transacciones
– Mezcla de transacciones
– Configuraciones extra SUT

• Metricas
– tpmC
– $/tpmC

© Copyright 2007 – Gustavo Vazquez

Adobe Acrobat

Document

27

¿Y mi realidad?

• Benchmark definido por nosotros

• Parecido a una prueba de performance

• ¿Quién avala el Benchmark?

• Útil en algunos casos

© Copyright 2007 – Gustavo Vazquez

28

Aplicaciones

• ¿Benchmark Standard?
• Benchmark propio
• ¿Qué implica?

– Realizar definiciones

• Transacciones
• Tipos de Usuarios
• Mezcla de usuarios
• Herramientas

• Performance a nivel técnico

© Copyright 2007 – Gustavo Vazquez

29

SAP

• SUT Hardware + SO + DBMS
• Se ejecutan tareas sobre SAP

– Pruebas en 2 y 3 capas
– Interactiva Financial Accounting
– Batch Human Resources: Payroll

• Cada benchmark tiene su metrica

Adobe Acrobat

Document

Adobe Acrobat

Document

© Copyright 2007 – Gustavo Vazquez

30

Algunas consideraciones

• Definir bien el porqué realizarlo

• Usar todo lo que se pueda usar estándar

• Tomar el benchmark como un proceso

© Copyright 2007 – Gustavo Vazquez

31

Conclusiones

• Proceso caro
– Definición
– Ejecución
– Publicación

• Proceso estándar

– Los que se midan deben hacerlo con las mismas

reglas

• Proceso estricto

© Copyright 2007 – Gustavo Vazquez

32

Igualdad de condiciones

© Copyright 2007 – Gustavo Vazquez

33

Preguntas

© Copyright 2007 – Gustavo Vazquez

34

[email protected]
http://www.ces.com.uy