lo logras usando hojas de estilo, busca en este mismo foro, ya se han puesto ejemplos de cómo hacerlo :P. Pero para que no digan, aquí está algo:
Las hojas de estilo te ayudan a definir el estilo de los documentos web, puede incluirse la declaración de estilo dentro de la misma página o en un archivo externo que tiene la extensión .css, para lo que quieres, dentro de tu página pon esto entre </title> y </head>:
<style>
a {
text-decoration: none
}
a:hover {
text-decoration: underline
}
</style>
En el foro ya se han dado otros ejemplos más completos, investiga sobre las hojas de estilo que son de muchísima utilidad :D.
Saludos,
José Jorge (Geo).
