Qué error te está dando?
te recuerdo que hay integrales que no se pueden resolver de forma explícita o son demasiado complejas y toca resolverlas por algún método numérico si son definidas, si son indefinidas el comando
int muchas veces no logra encontrar la solución, así que te toca ayudarlo intentando agregarle un cambio de variable o simplemente usar otro programa que esté más enfocado a eso como WOLFRAM , aquí tendrías la solución a esa integral
https://www.wolframalpha.com/input/?i=(5%2F6)*asin+(4*(x-0.5)*(x-0.5))
El enfoque de Matlab es más de Estadística, soluciones numéricas de cualquier índole con métodos numéricos, de hecho la matemática simbólica en Matlab la realiza un programa cuya versión poco se actualiza
https://es.wikipedia.org/wiki/MuPAD
