PHP - Crear archivos HTML a partir de un registro en DB

Hola amig@s!!
Quisiera hacer una consulta, soy un programador con un nivel medio en PHP, realizo consultas en mis trabajos de esta forma, por ejemplo una cosulta de un producto:

dominio.com/producto.php?id=32643&cat=3

Aparecen los detalles del producto agregado, pero quisiera generar archivos HTML para poder ingresar las URL con el nombre del producto, por ejemplo así: dominio.com/productos/camputadora-con-windows.html en lugar del ejemplo anterior.

Espero puedan ayudarme ya que he buscado en información y no logro encontrar nada

Venga, un saludo!

Solo tienes que hacer tres funciones: una para la cabecera, una para el pie de página y otra para tu consulta que irá en el cuerpo.
Hay quién introduce las etiquetas html en echos, que queda muy purista, pero yo prefiero "salir" de php siempre que sea más cómodo.

Aquí te dejo un ejemplo:

http://www.phpya.com.ar/poo/temarios/descripcion.php?cod=42&punto=8&inicio=0

Gracias Martha !!!

Ya después te contaré si pude lograrlo.

Saludos!!!