Yo tengo en la actualidad ese problema tambien y te cuento las posibles soluciones que he encontrado.
Seguramente el archivo que creas es un archivo de texto con extension TXT. No se si sabes que las extensiones de archivos conocidas por el browser se ABREN, y las desconocidas se DESCARGAN. Por eso las extensiones como ZIP y cualquier extenison de archivo desconocidas se descargaran y extensiones conocidas como TXT, HTM, HTML, etc. se ABREN. Pues basandonos en esto, puedes darle a tu fichero una extension diferente a la TXT, por ejemplo TEX, veras como asi invocaras automaticamente la ventana de download cuando se active el vinculo hacia el fichero.
Otra posibilidad es asignarle la extension TXT, y convertirlo a un formato desconocido para el browser como es por ejemplo la extension ZIP, o sea, tendrias que realizar una funcion de compresion, utilizando para ello metodos de la clase java.util.zip creo.
Pero cuidado con esta opcion que yo aun no he conseguido, porque si el Sistema Operativo del servidor, y el sistema operativo del cliente son distintos (UNIX y WINDOWS por ejemplo), tendras problemas con los caracteres de fin de linea ya que al crearlos en un sistema operativo y querer usarlos en otro distinto, habra traducciones raras.
Un saludo.