SQL - SQL día anterior y si es lunes tome 2 dias atras

Hola foro.

Quiciera que me ayuden con esto por favor, como puedo hacer un procedimiento que consulte el campo fecha de un archivo y filtre por los registros con fechas de ayer, y si es dia lunes que filtre lo del dia viernes y sabado pasado.

en access utilizo

(Año([FECHA_E])=Año(Fecha()) Y Mes([FECHA_E])=Mes(Fecha()) Y Día([FECHA_E])=Día(Fecha())-1)

para obtener lo del día anterior y en SQL

right('0000'+rtrim(cast(year(getdate()-1) as char)),4)+right('00'+rtrim(cast(month(getdate()-1) as char)),2)+right('00'+rtrim(cast(day(getdate()-1) as char)),2)

ahora como puedo mejorar la consulta de SQL para preguntar por los días viernes y sabado si es día lunes (presente)

SELECT Now() WHERE DateAdd("dw",-2,Now(),)=7 OR DateAdd("dw",-3,Now())=6;

Gracias Juan Manuel me sirvio mucho tu respuesta