Visual Basic - ciclo o bucle

hola buen día programadores
estoy realizando un programa en visual studio window form y necesito ayuda, ya que el proyecto trata de hacer copias de seguridad de forma automática mi problema es que necesito hacer un ciclo, el proyecto consiste en que todos los días se realizara una copia de seguridad de una base de datos todos los archivos generado serán guardados en una carpeta, una vez generados y guardados los archivos, como las copias se generan todos los días cuando llegue al día domingo las copias de seguridad se tienen que borrar y solo dejar el archivo del día domingo si es posible que me ayudaran con este apartado

Public Class Form1
Private archivos As String()
Dim conexion As New sqlconnection("server=alo;database=bdinsignias;uid=sa;pwd=13hjgtt56kn7jhtg9")
Dim information As System.IO.FileInfo


Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Dim nombre_copias As String = (Date.Today.Day.ToString & "_" & Date.Today.Month.ToString & "_" & Date.Today.Year.ToString & "_" & "backup")
Dim consulta As String = ("BACKUP DATABASE [BdInsignias] TO DISK = N'U:\backup\ " & nombre_copias & ".bak' WITH NOFORMAT, NOINIT, NAME = N'DBiNSIGNIAS-COMPLETA BASE DE DATOS COPIA DE SEGURIDAD', SKIP,NOREWIND, NOUNLOAD STATS = 10")
Dim CMD As sqlcommand = New sqlcommand(consulta, conexion)
conexion.open()
Try
CMD.executeNonQuery()

Catch ex As Exception
MsgBox("no se realizo correctamente")
End Try
conexion.close()

Dim di As New DirectoryInfo("ruta")

Dim ficheros as fileinfo()= di.GetFiles(*.bak)

Dim Files as IEnumerble(of FileSystemInfo) = di.EnumerateFileSystemInfos().Order BY(Function(fi) fi.CreationTime)

For each fi As FileInfo In Ficheros

Next
End Sub
End Class

separa los procesos... Uno que genere los respaldos con fechas

y otro que se ejecute solo el domingo y realice o tenga la logica de eliminar ...

luego solo llamas uno despues del otro y listo!