Carga archivo gigantesco PHP a Sybase
Publicado por Mario (2 intervenciones) el 20/01/2014 18:07:34
Hola a todos
En mi trabajo se deben cargar archivos planos que se validan y posteriormente almacenan distribuyendo la info en diferentes tablas en un DB Sybase, el problema es que los archivos crecen y crecen en el tiempo y ya han llegado con tamaños de 300 MB, La carga se hace desde PHP con un fopen() y de allí se "analiza" la información que será o no insertada, el problema es que dado el tamaño de los archivos el proceso es muy demorado (hasta 15 horas en ejecución) y regularmente cuando los archivos son demasiado grandes, el proceso se trunca y la información queda incompleta o NO almacenada en todas las tablas.
Como posible solución se intentó invocar el comando "bcp" de Sybase desde PHP (utilizando la función exec() ) para cargar el archivo a una tabla temporal y luego evaluar y distribuir la información, pero no ocurre nada cuando se hace y no se como validar si la ejecución fue exitosa o no.
Que puedo hacer para optimizar este proceso? Ayuda!!
En mi trabajo se deben cargar archivos planos que se validan y posteriormente almacenan distribuyendo la info en diferentes tablas en un DB Sybase, el problema es que los archivos crecen y crecen en el tiempo y ya han llegado con tamaños de 300 MB, La carga se hace desde PHP con un fopen() y de allí se "analiza" la información que será o no insertada, el problema es que dado el tamaño de los archivos el proceso es muy demorado (hasta 15 horas en ejecución) y regularmente cuando los archivos son demasiado grandes, el proceso se trunca y la información queda incompleta o NO almacenada en todas las tablas.
Como posible solución se intentó invocar el comando "bcp" de Sybase desde PHP (utilizando la función exec() ) para cargar el archivo a una tabla temporal y luego evaluar y distribuir la información, pero no ocurre nada cuando se hace y no se como validar si la ejecución fue exitosa o no.
Que puedo hacer para optimizar este proceso? Ayuda!!
Valora esta pregunta
0