Visual CSharp .NET - Como obtener la lista de archivos de una URL??

Deseo saber como obtener la lista de archivos de una url con código, es decir, lo pruebo con IE y efectivamente veo la lista de archivos pero quiero tratarlos con C# y guardar sus nombres en una base de datos.


lo intente como este ejemplo que vi en este foro
http://www.compartir-tecnologias.es/respuesta/lista-archivos-una-direccion-web-ayuda-206828762.html

using System.Net;
using System.IO;

WebRequest myRequest WebRequest.Create("http://XXX.XXX.XXX.XX/compartir/archivos/");
WebResponse myResponse = myRequest.GetResponse();
Stream respstrm = myResponse.GetResponseStream();
int BufferSize = 100000;
Byte[] Buffer = new Byte[BufferSize];
int bytesRead = respstrm.Read(Buffer, 0, BufferSize);
respstrm.Close();
myResponse.Close();



Nota: Ahora tienes en el buffer el contenido de la página html que te ha
devuelto el servidor con los nombres de archivo. Para sacar de dentro del
html los nombres, no existe ningún método estandarizado. Tendrás que
examinar el contenido, ver el formato que tiene, analizarlo por programa y
extraer las partes que te interesen. Te sugiero que examines la clase RegEx,
si quieres implementar la extracción con expresiones regulares.



-----------

e debugeado el codigo no e logrado obtener el contenido o lista de los archivos dentro del url disculpen la ignorancia