SQL - SELECT UTILIZANDO REFERENCIAS CRUZADAS EN SQLSERVE

Tengo un select en sqlserver en el que hago algo como "referencias cruzadas" en donde tengo una tabla de horarios así:

dia hora
----------------------------------
1 16:00
2 20:00
3 15:00
4 07:00
5 14:00

y con un select como este:

select
case when dia=1 then hora else null end lunes,
case when dia=2 then hora else null end martes,
case when dia=3 then hora else null end miercoles,
case when dia=4 then hora else null end jueves,
case when dia=5 then hora else null end viernes,
from horarios

obtengo algo como

lunes martes miercoles jueves viernes
---------------------------------------------------------------------------
16:00 null null null null
null 20:00 null null null
null null 15:00 null null
null null null 07:00 null
null null null null 14:00

y solo quiero obtener algo como

lunes martes miercoles jueves viernes
---------------------------------------------------------------------------
16:00 20:00 15:00 07:00 14:00

como puedo hacerlo?

Con una sola posta es suficiente.