Javier,
mira, para generar un RTF tienes dos opciones:
1. Utiliza el control de Microsoft RTF, que viene con cualquier version de Windows. Es como un cuadro de texto normal. Y dentro de los metodos, esta uno para guardar archivos, que te los guarda en formato RTF.
2. Puedes aprender las marcas :D ya sabes, es un lenguaje de marcado, como el HTML. Lo guardas a forma de texto y con la extension rtf (o la que quieras darle).
Cualquiera de estas dos cosas, no son especificas de Java, ni de algun otro lenguaje. Lo que tendrias que buscar, en el segundo caso, es el lenguaje de marcado RTF. Encontraras referencia en www.msdn.microsoft.com
saludos