PDF de programación - Linux Benchmarking COMO

Linux Benchmarking C ÓMO

por André D. Balsa, [email protected] <mailto:[email protected]>
Traducido por: Joaquín Cuenca Abela, [email protected]

v0.12, 15 de Agosto de 1997

El Linux Benchmarking C ÓMO trata sobre algunos aspectos asociados con el benchmarking en los
sistemas Linux y presentas unas herramientas (algo toscas) para realizar medidas del rendimiento de
su sistema, que podría proporcionar una cantidad significativa de información en un par de horas.
Quizás también ayude a hacer que disminuya el número de artículos sobre el tema que se envían a
comp.os.linux.hardware...

Contents

1

Introducción

1.1

¿Por qué el benchmarking es tan importante?

.

.

.

.

.

.

.

1.2 Consideraciones no válidas en la medida del rendimiento .

.

.

.

.

.

.

.

.

.

.

.

.

2 Procedimientos de medida e interpretación de resultados

2.1 Entendiendo la elección de la herramienta .

.

.

.

.

.

.

.

.

.

.

.

. .

.

2.1.1 Las herramientas de medida sintéticas vs. las de aplicaciones .

2.1.2 Tests de alto nivel vs. test de bajo nivel

2.2 Tests estándares disponibles para Linux .

2.3 Enlaces y referencias .

.

.

.

.

.

.

.

.

.

.

3 El Linux Benchmarking Toolkit (LBT)

3.1 Bases lógicas

.

.

.

.

.

.

.

3.2 Selección de herramientas

3.3 Duración de las pruebas .

3.4 Comentarios .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. . .

.

.

.

.

. .

. .

3.4.1 Compilación del Núcleo 2.0.0:

3.4.2 Whetstone:

.

3.4.3 Xbench-0.2:

.

.

.

.

.

.

.

.

.

.

.

.

.

.

3.4.4 UnixBench versión 4.01:

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

. .

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

3.4.5 Banco de pruebas BYTEmark de BYTE Magazine BYTEmark:

3.5 Posibles mejoras

.

.

.

.

.

.

.

.

3.6 El formulario de informe LBT .

.

.

.

.

.

.

3.7 Pruebas del rendimiento de la red . . .

.

.

.

3.8 Pruebas SMP .

.

.

.

.

.

.

.

.

.

.

.

.

. .

4 Prueba de ejemplo y resultados

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

. .

. .

. .

. .

. .

. .

. .

. .

. .

. .

. .

. . .

.

.

.

.

.

.

. .

. .

. .

. .

. .

. .

. .

. .

. .

. .

. .

. .

2

2

3

3

4

4

5

5

7

7

7

8

8

8

8

9

9

9

9

10

10

12

12

12

.

.

.

.

.

.

.

.

.

1. Introducción

5 Falsedades y fallos del benchmarking

5.1 Comparar manzanas con naranjas

. .

5.2

Información incompleta .

.

.

.

.

5.3 Software/hardware Propietario .

5.4 Relevancia .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

6 FAQ (Preguntas Frecuentes)

7 Copyright, reconocimientos y miscelánea

7.1 Cómo se produjo este documento . . .

7.2 Copyright

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

7.3 Nuevas versiones de este documento .

7.4 Realimentación .

7.5 Agradecimientos

.

.

.

.

7.6 Pliego de descargo .

7.7 Marcas registradas

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

1

Introducción

2

15

15

15

15

15

15

18

18

18

18

18

18

19

19

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

. .

. .

. .

. .

.

.

.

.

.

.

. .

. .

. .

. .

. .

. .

. .

. . .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

. .

. .

. .

. .

. . .

. . .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

. .

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

. .

. .

”Lo que no podemos decir acerca de nosotros mismos debería desaparecer en el silencio.”

Ludwig Wittgenstein (1889-1951), filósofo austríaco

Benchmarking significa medir la velocidad con la que un ordenador ejecuta una tarea, de forma que se puedan realizar
comparaciones entre diferentes combinaciones de programas/componentes. Esta definición no tiene en cuenta la
sencillez de utilización, estética o ergonomía o cualquier otro tipo de juicio subjetivo.

El Benchmarking es una tarea repetitiva, tediosa, y hay que llevar cuidado con los detalles. Es muy normal que los
resultados no sean los que uno espera y que estén sujetos a interpretación (puede que hoy en día ésta sea la parte más
importante).

Para finalizar, el benchmarking trata con hechos y datos, no con opiniones ni aproximaciones.

1.1 ¿Por qué el benchmarking es tan importante?

Aparte de las razones apuntadas en el BogoMips Mini-C ÓMO (sección 8, párrafo 2), podemos tener que ceñirnos a
un presupuesto o satisfacer unas necesidades de rendimiento mientras instalamos un sistema Linux. En otras palabras,
cuando tenemos que hacernos las siguientes preguntas:

• ¿Cómo puedo maximizar el rendimiento con un presupuesto dado?
• ¿Cómo puedo minizar costes manteniendo un nivel mínimo en el rendimiento?
• ¿Cómo puedo obtener la mejor relación calidad/precio (con un presupuesto o unas exigencias dadas)?

2. Procedimientos de medida e interpretación de resultados

3

Tendremos que examinar, comparar o crear benchmarks. Minimizar costes sin tener que mantener un rendimiento en
particular implica utilizar una máquina con partes desfasadas (aquel viejo 386SX-16 que está tirado en el garaje podría
servir) y no necesita bechmarks, y maximizar el rendimiento sin que importe el dinero no es una situación muy realista
(a menos que quiera poner un Cray en su casa - la unidad de alimentación recubierta con cuero es bonita, ¿verdad?).

El benchmarking de por si no tiene sentido, y es una estúpida pérdida de tiempo y dinero; solo tiene sentido como una
parte de un proceso, esto es, si tiene que hacer una elección entre dos o más alternativas.

Normalmente otro parámetro a tener en cuenta en el proceso de decisión es el coste, pero también la disponibilidad, el
servicio, la seguridad, estrategia o cualquier otra característica medible y racional que tenga que ver con un ordenador.
Por ejemplo, cuando comparamos el rendimiento de diferentes versiones del núcleo de Linux, la estabilidad suele ser
más importante que la velocidad.

1.2 Consideraciones no válidas en la medida del rendimiento

Se pueden leer muy amenudo en los grupos de noticias y las listas de correo, pero aun así:

1. Reputación del fabricante (no se puede medir y es insensato).

2. Cuota de mercado del fabricante (insensato e irrelevante).

3. Parámetros irracionales (por ejemplo, supersticiones o prejuicios: ¿Compraría un procesador que se llame

131313ZAP pintado de rosa?)

4. Valor estimado (insensato, irracional y no se puede medir).

5. Cantidad de propaganda: creo que éste es la peor. Personalmente, estoy harto de los logos “XXX inside” o
“kkkkkws compatible” (ahora se ha unido a la banda el “aaaaa Powered” - ¿Quién será el próximo?). EMMO1,
los billones de pesetas gastados en campañas de este tipo estarían mejor empleados en equipos de investigación
que se ocupen de desarrollar nuevos procesadores libres de fallos, más rápidos y más baratos :-). Ningún tipo de
publicidad puede arreglar un fallo en la unidad de coma flotante en la nueva hornada de procesadores que acaba
de instalar en su placa base, pero en cambio un procesador rediseñado sí puede hacerlo.

6. La opiniones del tipo “tiene lo que paga” son sólo eso: opiniones. Denme hechos, por favor.

2 Procedimientos de medida e interpretación de resultados

Unas cuantas recomendaciones semiobvias:

1. Primera y principal, identifique el rendimiento objetivo. ¿Qué es exactamente lo que trata de medir? ¿De qué
forma la medida del rendimiento le ayudará después a tomar una decisión? ¿Cuánto tiempo y cuántos recursos
está dispuesto a gastar en el proceso de medida?

2. Utilice herramientas estándar. Use una versión del núcleo estable y actualizada, así como un gcc, libc, y
una herramienta de medida del rendimiento actualizados y estándares. Abreviando, utilice el LBT (ver más
adelante).

3. Dé una descripción completa de su configuración (vea