Hola Vicente,
Qué versión de Matlab tienes? En la versión r2009 Matlab trae un paquete de cálculo simbólico que se llama Mupad que es bastante rápido y bueno. Tengo entendido que Matlab de por sí no es tan bueno en el cálculo simbólico como lo es en el cálculo numérico con matrices.
Aún así, por si no lo has mirado, échale un vistazo a la ayuda que te viene en el Matlab o en su web para ver si defines bien todas las variables como simbólicas y tal.