PDF de programación - Experiencias en la Industria del Software: Certificación del Producto con ISO/IEC 25000

Experiencias en la Industria del Software:
Certificación del Producto con ISO/IEC 25000

Moisés Rodríguez1, Mario Piattini2

1 Alarcos Quality Center, Universidad de Castilla-La Mancha, Ciudad Real, España.

[email protected]

2 Instituto de Tecnologías y Sistemas de la Información, Universidad de Castilla-La Mancha,

Ciudad Real, España.

[email protected]

Abstract. La calidad del software está adquiriendo gran importancia durante los
últimos años, debido principalmente a que el software se encuentra presente en
todo lo que nos rodea: sanidad, banca, transporte, investigación, ocio, etc. Para
poder controlar la calidad del software es necesario llevar a cabo evaluaciones
del mismo, que inicialmente comenzaron realizándose sobre los procesos de de-
sarrollo y que ahora también se centran en las características del propio produc-
to software con normas como la familia ISO/IEC 25000. Sin embargo, este tipo
de evaluaciones se encuentra todavía en un estado incipiente y no se ha exten-
dido en el sector del software un certificado que asegure la calidad del produc-
to. En este artículo se presenta un conjunto de experiencias que se han llevado a
cabo en la industria del software, con casos reales de evaluación y certificación
de productos, así como el ecosistema de entidades que han participado en este
proceso.

Keywords: ISO/IEC 25000, calidad producto software, ecosistema de certifica-
ción, mantenibilidad, funcionalidad, laboratorio de evaluación.

1

Introducción

Durante los últimos años el software ha pasado a formar parte de prácticamente todos
los ámbitos de nuestra vida, dejando de estar presente solo en los ordenadores o sis-
temas de cómputo, para mejorar nuestros viajes, comunicación, sanidad, educación,
banca, seguros, ocio, etc. Este aumento en la demanda de productos software ha dado
lugar a un crecimiento del número de empresas y departamentos encargados de su
desarrollo, lo que se conocen como fábricas de software o “software factories” [1], así
como a un aumento en la necesidad de personas con los conocimientos necesarios
para el diseño, desarrollo, implantación y mantenimiento de dicho software. La falta
de personal especializado para ciertas tareas del desarrollo software, así como la
búsqueda constante de la reducción de costes por el actual ambiente económico inter-
nacional, han dado lugar a lo que se conoce como “outsourcing” del desarrollo soft-
ware, de manera que las empresas externalizan todo o parte de las actividades de de-
sarrollo software a otros departamentos o empresas.

Sin embargo, cuando se externaliza todo o parte del desarrollo de un producto,
también aumentan los riesgos y la falta de control sobre la calidad del software que la
empresa contratada entrega, surgiendo la necesidad de evaluar y asegurar la calidad
del software externalizado.

La evaluación de la calidad del software es un campo de gran actividad tanto inves-
tigadora como en el sector industrial desde hace varias décadas, habiéndose desarro-
llado gran cantidad de modelos y estándares de referencia, evaluación y mejora de
procesos de desarrollo software, entre los que se pueden citar: ISO 90003, ISO/IEC
12207, ISO/IEC 15504, CMM, CMMI, IDEAL, SCAMPI, etc. y en los que numero-
sas empresas de todo el mundo se han evaluado y/o certificado [2, 3]. Sin embargo,
hay poca evidencia de que cumplir un modelo de procesos asegure la calidad del pro-
ducto software resultante, y aunque la estandarización de los procesos garantiza la
uniformidad en la salida de los mismos, podría llegar a darse el caso de que institu-
cionalizara la creación de malos productos [4]. En este sentido, nosotros estamos de
acuerdo con que las evaluaciones deberían basarse en evidencias directas del propio
producto, y no solo en evidencias del proceso de desarrollo [5]. Por ello, es cada día
mayor el número de organizaciones y empresas que se interesan, no solo por la cali-
dad de los procesos que se siguen en el desarrollo de software, sino también por la
calidad de los productos que desarrollan y/o adquieren, ya que una vez que el produc-
to ha sido implantado en sus instalaciones se encuentran con graves problemas de
calidad y dificultades para corregirlo, adaptarlo o evolucionarlo.

En los últimos años se han elaborado también trabajos de investigación, normas y
estándares, con el objetivo de crear modelos, procesos y herramientas de evaluación
de la calidad del propio producto software, entre los que se pueden destacar los pre-
sentados en [6, 7, 8, 9]. Precisamente para dar respuesta a estas necesidades nace la
nueva familia de normas ISO/IEC 25000 conocida como SQuaRE (Software Product
Quality Requirements and Evaluation), que tiene por objetivo la creación de un marco
de trabajo común para evaluar la calidad del producto software, sustituyendo a las
anteriores ISO/IEC 9126 e ISO/IEC 14598 y convirtiéndose así en el referente para la
evaluación de la calidad del producto software [10]. La familia ISO/IEC 25000 se
encuentra compuesta de varias partes o divisiones, entre las que podemos destacar:

 La norma ISO/IEC 25010:2011 [11] que define un modelo de calidad del producto
software con las características que se pueden evaluar (Fig. 1). En total son 8 las
características de calidad identificadas: funcionalidad, rendimiento, compatibili-
dad, usabilidad, fiabilidad, seguridad, mantenibilidad y portabilidad. Esta norma
define también un modelo para calidad en uso, pero queda fuera del alcance del
presente artículo cuyo objetivo son las evaluaciones del producto antes de que este
sea puesto en producción y sea utilizado por el usuario.

 La norma ISO/IEC 25040:2011 [12] que define el proceso de evaluación de la

calidad del producto software, y está compuesta por cinco:
─ Establecer los requisitos: para determinar cuáles son los requisitos de calidad

que se deben considerar a la hora de evaluar el producto.

─ Especificar la evaluación: indicando las métricas, criterios de medición y de

evaluación a tener en cuenta.

─ Diseñar la evaluación: definiendo el plan de actividades que se realizarán.
─ Ejecutar la evaluación: realizando las actividades de medición y evaluación del

producto, considerando los criterios identificados en las fases previas.

─ Concluir la evaluación: elaborando el informe de evaluación y realizando la dis-

posición de resultados e ítems de trabajo.

 La norma ISO/IEC DIS 25023 [13] que será la encargada de definir las métricas de
calidad del producto software y que todavía está siendo elaborada. Por ello, no
existe todavía un acuerdo respecto a los indicadores y umbrales que se deben utili-
zar para determinar la calidad de un producto software de manera estandarizada.

Fig. 1. Modelo de calidad del producto software ISO/IEC 25010:2011



Sin embargo, los modelos y normas anteriores relacionadas con la evaluación de la
calidad del producto software, no tratan el proceso posterior de la certificación, que
permita a las empresas superar una auditoría realizada por una entidad acreditada y
obtener un certificado que refleje la calidad del producto software. Por tanto, la certi-
ficación de la calidad del producto software sigue siendo a día de hoy un área novedo-
sa y de gran interés, en la que todavía no existe un consenso definitivo.

Por todo lo anterior, durante los últimos años hemos trabajado en la construcción
de un Ecosistema para la Evaluación y Certificación de la Calidad del Producto Soft-
ware (en adelante el ecosistema), siendo el objetivo principal del presente artículo
explicar las características del mismo y mostrar los resultados obtenidos tras la certi-
ficación de los primeros productos software. Para ello, el resto del artículo se estructu-
ra de la siguiente manera: en el apartado 2 se presentan los principales requisitos y
dificultades que se deben considerar a la hora de evaluar y certificar la calidad del
producto software. En el apartado 3 se describe el ecosistema, identificando las prin-
cipales entidades que lo integran, así como las relaciones que se establecen entre am-
bas y las necesidades de participación de cada una. En el apartado 4 se presenta cómo
se lleva a cabo el proceso de evaluación y certificación del producto y los resultados
que se han obtenido tras los primeros casos prácticos. Y finalmente, el apartado 5
presenta las conclusiones obtenidas con este trabajo y las líneas futuras de trabajo e
investigación.



2

Requisitos y dificultades para la evaluación y certificación del
producto software

Con el objetivo de conocer los trabajos existentes sobre certificación de la calidad del
producto software, durante nuestra investigación realizamos una revisión sistemática
detallada en [14] siguiendo la guía propuesta por Kitchenham en [15]. Como resulta-
do se obtuvo un conjunto de 10 estudios que cumplían con los requisitos de búsqueda:
[16, 17, 18, 19, 20, 21, 22, 23, 24, 25]. A partir de los análisis realizados sobre la
información extraída de los estudios, se obtuvieron las siguientes conclusiones:

 La mayoría de los estudios destacan el trabajo que ya existe en la certificación de
procesos de desarrollo software y la necesidad de que esta certificación sea tam-
bién extendida a las características del producto, para poder asegurar que el resul-
tado final cumple con los requisitos establecidos.

 La mayoría de los estudios se basan en certificar características de calidad extraí-
das de normas internacionales como la ISO/IEC 9126, util