tienes que mirarte la clase TextAttribute java.awt.font.TextAttribute,
al crear la fuente (o una vez creada) la puedes derivar pasándole un Map (hastable por ej) con los atributos, TextAttribute.UNDERLINE como key y TextAttribute.UNDERLINE_ON como value