Java - Hay que instalar Tomcat para correr aplicaciones?

Me estoy iniciando en Java, ya instalé la versión j2sdk 1.4 y el Netbeans 4.1, pero necesito saber si debo instalar el servidor Tomcat para poder correr mis aplicaciones.

Depende, si quieres programar aplicaciones de escritorio no, si quieres desplegar paginas web java debes instalarlo.

Con respecto a las aplicaciones de escritorio, se puede desarrollar con java un sistema de gestión? o se encuentra limitado?

La unica limitacion que le veo a java es que es mas lento para dibujar las ventanas. Limitaciones a la hora de hacer procesos que yo sepa tiene los mismos que puede tener cualquier otro lenguaje. Es mas Java creo que es mas potente ya que tiene librerias nativas para generar pdf, graficos etc... por ejemplo.

Ademas de contar con estupendos IDEs de para programar.

El NetBeans viene con el Tomcat instalado, por lo que no es necesario instalarlo, sobre todo si estas iniciando.