PDF de programación - ANALISIS COMPARATIVO DEL RENDIMIENTO

ANALISIS COMPARATIVO

DEL RENDIMIENTO

PUA: Vergara Bruno Benjamín

2011

CONTENIDO

 Introducción

 Necesidad y Objetivos de la evaluación

 Técnicas de evaluación de un sistema informático

 Medidas del rendimiento

 Estrategia de comparación: ratios

 Magnitudes que se deben medir

 Otras magnitudes relativas al comportamiento

 Caracterización y Representatividad de la carga

 Magnitudes que caracterizan la carga

 Concepto, Tipos y Niveles de Benchmark

 Magnitudes para controlar el comportamiento

 Conclusión

 Bibliografía

INTRODUCCION

 Rendimiento: es un criterio que expresa la manera o la eficiencia con la que un

sistema de computación cumple con sus metas.



 Evaluar el rendimiento permite mejorarlo o compararlo con otros sistemas

informáticos.



 Los índices que tienen en cuenta el tiempo de ejecución, de un conjunto de
programas de pruebas (benchmarks) en un computador como la unidad de
medición más confiable.



 Otro concepto clave, es la “carga”, es decir, las demandas de servicios que realizan

los usuarios de un sistema en un intervalo de tiempo.



 Estas consideraciones hacen comprender que la evaluación del comportamiento no
es tarea sencilla, ya que ha de tener en cuenta muchos y variados aspectos del
hardware, del software y de las aplicaciones que se han de llevar a cabo en el SI.

NECESIDAD DE LA EVALUACION

 Es necesario evaluar un sistema, para comprobar
que su funcionamiento es el correcto, es decir, el
esperado.


 Además es necesario evaluar cuando se quiere:

 Diseñar una máquina.
 Diseñar un sistema informático.
 Seleccionar y configurar un sistema informático.
 Planificar la capacidad del sistema informático.
 Sintonizar o ajustar un sistema informático.



OBJETIVOS DE UNA EVALUACION

 Los objetivos de la evaluación del rendimiento son

los siguientes:
 Comparar distintas alternativas;
 Determinar el

impacto de un nuevo elemento o
característica en el sistema (por ejemplo: la adición de
un disco duro nuevo);

 Sintonizar el sistema, es decir, hacer que funciones

mejor desde algún punto de vista;

 Medir prestaciones relativas entre diferentes sistemas;
 Depuración de prestaciones, es decir, identificar los
fallos del sistema que hacen que vaya más lento (cuello
de botellas).


TECNICAS DE EVALUACION DE UN S.I. (I)

 Las técnicas más habituales usadas para

evaluar un sistema, son:

 La medición.

 El modelado.

 La simulación.

 El benchmarking.

TECNICAS DE EVALUACION DE UN S.I. (II)

1. Medición: Consiste en

tomar medidas
directamente sobre el sistema en el que uno
está interesado mediante monitores.


2. Modelado: Cuando se trata de evaluar un
sistema incompleto, o que no se ha construido
aún, hace falta construir un modelo analítico
del mismo, es decir, usando fórmulas y
ecuaciones diferenciales.

TECNICAS DE EVALUACION DE UN S.I. (III)

3. Simulación: Consisten en la construcción de un
programa que reproduce el comportamiento
temporal del sistema, basándose en sus estados
y sus transiciones.


4. Benchmarking: Es un método bastante frecuente
de comparar sistemas informáticos frente a una
carga característica de una instalación concreta,
efectuándose la comparación, básicamente, a
partir del tiempo necesario para su ejecución.



MEDIDAS DEL RENDIMIENTO (I)

 El tiempo de ejecución de un programa es la
medida mas confiable y la menos susceptible
de incorporar falsedad.



 Existen otros índices del rendimiento como:

MIPS, MFLOPS, MHz Y CPI.

MEDIDAS DEL RENDIMIENTO (II)

MIPS

• número de instrucciones
• tiempo de ejecución * 106

MFLOPS

• nro de operaciones de coma flotante
• tiempo de ejecución * 106

CPI

• I * CPI * Tc

ESTRATEGIA DE COMPARACION: RATIOS (I)

 Un ratio consiste en un numerador y un
denominador. Muchos de los índices utilizados
en el ámbito
informático son ratios (por
ejemplo, CPI o MFLOPS) o bien se basan en el
uso previo de éstos.

ESTRATEGIA DE COMPARACION: RATIOS (II)

 Supongamos que tenemos los siguientes tiempos de ejecución:



 Atendiendo a la suma de los dos tiempos de ejecución, la

máquina A resulta 250/150 = 1,67 veces más rápida que B.

 A

igual conclusión

llegamos si comparamos

las medias

aritméticas: 125/75 = 1,67

ESTRATEGIA DE COMPARACION: RATIOS (III)

 Pero, podemos usar ratios y alterar el resultado de

la
comparación normalizando los tiempos anteriores y tomando
como máquina de referencia uno de los dos computadores. La
normalización nos ofrece los siguientes valores:



ESTRATEGIA DE COMPARACION: RATIOS (VI)

 Tomemos, por ejemplo, la media aritmética de los tiempos de
ejecución normalizados como índice de rendimiento. Si se emplea la
máquina A como referencia se concluye que ésta es 1,75/1,00 = 1,75
veces más rápida que B, mientras que si se usa B como referencia
entonces
ligeramente menor: 1,00/0,58 = 1,72.
Obviamente, los diseñadores de la máquina A optarán por la primera
opción a la hora de comparar.

la mejora es



 Este ejemplo pone de manifiesto que los datos de partida pueden
manipularse de diferentes maneras para obtener conclusiones más
favorables. En cualquier caso, hay que tener en cuenta que promediar
ratios no es una estrategia válida para comparar rendimientos, y
menos aún cuando se emplea la media aritmética y una de las
máquinas que se compara actúa como referencia en el proceso de
normalización.

MAGNITUDES QUE SE DEBEN MEDIR (I)

 Estas magnitudes están relacionadas con tres

tipos de medida:

 Consumo de tiempo.



 Utilización de recursos.



 Trabajo realizado por el sistema o componentes del

mismo.



MAGNITUDES QUE SE DEBEN MEDIR (II)

 Variables externas o perceptibles por el

usuario:

 Productividad (throughput)

 Capacidad

 Tiempo de respuesta

 Eficiencia es la tasa del throughput máximo al
throughput que se consigue de forma efectiva.

 Ancho de banda



MAGNITUDES QUE SE DEBEN MEDIR (III)

 Variables internas o del sistema:

 Factor de utilización de un componente
 Solapamiento de componentes
 Overhead
 Factor de carga de multiprogramación
 Factor de ganancia de multiprogramación
 Frecuencia de fallo de página
 Frecuencia de swapping
 Factores relacionados con la memoria caché de CPU
 Otros subsistemas



OTRAS MAGNITUDES RELATIVAS AL REDIMIENTO

 Hay otras medidas

con el
comportamiento del sistema pero no directamente
con
las prestaciones que en muchos casos
también es importante tenerlas en cuenta, como:

relacionadas

 Fiabilidad

 Disponibilidad

 Seguridad

 Perfomabilidad

 Mentenibilidad



CARACTERIZACION DE LA CARGA (I)

 Carga: Son todas las demandas que realizan
(programa, datos,

los usuarios de un SI
órdenes, etc.) durante un intervalo de tiempo.



 Para realizar las mediciones para evaluar las
prestaciones de un ordenador es necesario
someter al SI a una carga determinada. El
resultado de la medición es función de la carga
bajo la cual fue determinado.

CARACTERIZACION DE LA CARGA (II)

 Una carga esta correctamente caracterizada si, y
solo si, su resultado es un conjunto de parámetros
cuantitativos relacionados de acuerdo con los
objetivos de la operación de caracterización.


 El uso del modelo de carga que se va a
caracterizar es el primer paso de cualquier
estudio de evaluación del comportamiento. Una
vez
deben
determinarse las herramientas que manipularan
(modelos analíticos, simulación, sistema real, etc.)
el modelo de la carga.


establecidos

los

objetivos,

CARACTERIZACION DE LA CARGA (III)

“Carga de Pruebas”

Real



Sintética

Artificial

+ Mayor
representatividad



- No repetibles

Natural

Ejecutables

Hibrida

No

Ejecutables

REPRESENTIVIDAD DE UN MODELO DE CARGA

 Es la precisión con que un modelo representa una

carga.


 El modelo deberá ser representativo atendiendo

al nivel al que está asignado.


 La carga puede representarse a distintos niveles:

 Representatividad a nivel físico
 Representatividad a nivel virtual
 Representatividad a nivel funcional

MAGNITUDES QUE CARACTERIZAN LA CARGA (I)

 El común denominador de

todos estos
problemas reside en la determinación de las
magnitudes que caracterizan
la carga del
sistema. Algunas de estas características son:

1. Para cada componente de la carga: tiempo de la
CPU por trabajo, numero de operaciones de E/S
por trabajo, características de las operaciones de
E/S por trabajo, prioridad, memoria y localidades
de referencia

MAGNITUDES QUE CARACTERIZAN LA CARGA (II)

2. Para el conjunto de la carga: tiempo entre
y

llegadas

llegadas,
distribución de trabajos.

frecuencia

de



3. Para cargas conversacionales: tiempo de
reflexión del usuario, numero de usuarios
simultáneos e intensidad del usuario.



CONCEPTO DE BENCHMARK

 Es un programa que mide las prestaciones de
un ordenador, o de una parte del mismo. Estos
programas no solo son capaces de evaluar las
prestaciones de un equipo con diferentes
configuraciones de Software y Hardware sino
la
que además pueden ayudarnos en
comparación de diferentes sistemas.

TIPOS DE BENCHMARK

 Aplicaciones: Herramientas basadas en aplicaciones reales, simulan

una carga de trabajo p/ medir el comportamiento global del equipo.


 Sin