Visual Basic.NET - desesperado manejo masivo de datos ado.net

Hola, de antemano gracias por su atencion, espero por favor su ayuda, estoy ya algo aflijido con lo que tengo que hacer.

Resulta que estoy trabajando con una aplicacion un tanto peculiar, para una aerolinea aqui en mi pais, la cuestion es que la aplicacion en si no es que sea la gran cosa, mas sin embargo los datos si. Necesito pasar la informacion que tienen en oracle a nivel local, pues es exagerada la cantidad de info que tienen ahi (en una bd de oracle, de la cual por cuestiones administrativas del area donde la estoy haciendo solo poseen derechos de lectura) y consultar a cada rato hace que el proceso sea exageradamente lento, necesito pasar unos 20 millones de registros a nivel local y de una manera automatizada, y la verdad la unica que se me ocurre (recordar que tienen que ser automatizada por la aplicacion) es abrir ambas conexiones (oracle y acces) y por cada lectura en oracle con un datareader formar el query de insercion y ejecutarla hacia access, esto como pueden imaginar lo hace muchisisimo mas lento. Como puedo hacer, hay alguna otra forma?.

Inicialmente exporté los datos a formato separados por coma y luego importé en access, que a pesar de que son tanto registro (que esta en una tabla muchisisimo mas inmensa) definitivamente es mas rapido que efectuar la lectura por programacion e insertarlo al mismo tiempo, necesito que de veras me ayuden con la solucion de esto por favor.

Aprovechando, esos registros los voy a manejar localmente como lo dije, que me conviene mas? ,es decir exactamente el mismo query con la misma cantidad de datos en Acces o en SqlServer express 2005, existe alguna diferencia en rendimiento, es mejor el motor de alguno como tal que me dara mas rapidez en la ejecucion????

Muchisimas gracias por su ayuda. chao

hola, a mi me pasa algo similar, ya que estoy trabajando que estoy tratando de hacer un programa de busqueda del padron nacional de mi pais.
en mi casolo estoy pasando a sqlexpress, ya que estube chusmeando por las paginas de m@soft y encontre que para grandes cantidades de datos lo mejor es particinar una tabla en n.. cantidades, para poder realizar las busquedas mas eficientementes.
no le he podido echar mano, pero capaz que te ayude en darte alguna idea y poder utilizar toda la potencia de sql.
por otro lado, no veo efectivo que lo trabajes de forma local, ya que eso requiere una continua actualizacion de la terminal y el servidor. lo mas efectivo (y tratando de haber interpretado bien tu situacion) seria saber que se quiere, tomarlo del servidor y desconectarse.
pero es facil decir las cosas cuando no es de uno el problema.
espero haber ayudado y suerte

esta es la pagina de los libros de sqlexpress
http://msdn2.microsoft.com/es-es/library/ms177673.aspx
saludos

Hola Fernando, gracias por tu ayuda.
Fijate que esa es exactamente la cantidad de datos que necesito utilizar, esa gran cantidad que especifique es la que necesito para trabajar y no puedo rebajarla, y lo peor, ya esta resumida con group by, osea que originalmente tiene muchisisimos mas registros aunque esos group by hace el query mas lento, si es mas rapido trabajarlos luego localmente que trabajarlo muchas veces desde el servidor, esa bajada se convierte entonces en una sola, en lugar de las 9 que seria tragico para la red y el servidor. Estos generan una tabla de resultados. En realidad la aplicacion consiste en obtener estadisticas de esos datos, y aplicarlo en un archivito de excel, empezar a dividirlo a partir de esas estadisticas hasta generar una cantidad similar en su salida para ver hacia futuro.

Lo otro, no se si sabes adonde es mas rapido un query en las mismas condiciones, en sqlserver express o en access?, porque aun local se tarda un chorro :S

Bueno ya veré, Gracias por tu ayuda. chao

hola nuevamente, no se donde funciona mas rapido ya que lo que estoy haciendo es pasando los datos de acces a sqlexpress
pero seria bueno averiguar las diferencias entre ambos.
saludos y anque no se si pude ayudarte, cuenta para la proxima