Javascript es un lenguaje que sirve para realizar cierto tipo de trabajos dentro de las paginas web (HTML), se pueden validar datos, hacer pequeñas funciones, trabajar con formularios, pero todo este codigo se ejecuta desde el navegador. JSP (java server pages) es una tecnología que permite incrustar codigo Java en una página HTML, dandole mayor versatilidad a las aplicaciones, además cada página JSP es en realidad un servlet, es decir que se ejecuta desde el lado del Servidor.
Si estas pensando en usar una opcion u otra debes considerar el tamaño de la aplicación, trabajar con Java abre las posibilidades de usar clases, acciones y otros frameworks como Struts, hibernate, etc...