RE:Combinar ensamblador con java.
Creo que el primer paso que deberías dar es saber cómo mezclar programas en C y en Java. Es un poco complicadillo, por los tipos y demás. Cuando tengas todo eso claro, tienes que averiguar cómo funciona el compilador de C (los parámetros se pasan por la pila, el nombre de los procedimientos se anteceden con un "_", etc), y programar manualmente todo. O, más cómodo, usar ensamblador inline desde el compilador de C.
Para mezclar C y Java hay información en el JDK (la parte del JRE, quiero recordar). De todas formas pregunta en el foro de Java, que ahí la gente lo sabrá mejor.
Suerte.