Bájate una extensión llamada "Close Child Window" o algo así (sería bueno que buscaras por "window" en el search porque hay más de una extensión que hace lo mismo). Ahí tendrás el código que se utiliza que es algo super simple, en Javascript.
Baja extensiones desde www.macromedia.com/exchange
Ya, qué flojo yo, igual te escribo el código...:
esto lo pones ya sea a un link o a una imagen:
<a href="javascript:window.close();"><img src="Images/cerrar_ventana.gif"</a>
Mi imagen se llama cerrar_ventana.gif y está dentro de la carpeta Images. Y eso.
