MariaDB - Importar Base de Datos grandes

 
Vista:

Importar Base de Datos grandes

Publicado por Fabro08 (3 intervenciones) el 15/04/2019 01:31:30
Hola, tengo un problema con el proceso de importación de un archivo sql.
Intente importar un archivo sql de "180 GB" y a medida que se procesando se va poniendo cada vez más lento. Existe alguna otra forma de importar un archivo sql de manera más rápida?
Actualmente trabajo en Fedora con MariaDB(mysql)
Intenté usar la aplicación "pv" que muestra el porcentaje, tiempo, y velocidad de escritura de importación del sql y comienza con una velocidad 11Mb y a medida que va avanzando comienza a disminuir la velocidad de escritura. Se detiene en un 140Kb.. y el tiempo restante se va a 18hs y más..
Conocen alguna otra solución para importar un archivo grande.
Aclaro que trabajo por TERMINAL ya q los clientes de bd realentizan el proceso de importación.
Valora esta pregunta
Me gusta: Está pregunta es útil y esta claraNo me gusta: Está pregunta no esta clara o no es útil
0
Responder
Imágen de perfil de Leonardo Daniel A.
Val: 10
Ha mantenido su posición en MariaDB (en relación al último mes)
Gráfica de MariaDB

Importar Base de Datos grandes

Publicado por Leonardo Daniel A. (5 intervenciones) el 15/04/2019 02:11:23
Pues todo depende de la capacidad de tu servidor... a un amigo le paso con archivos de excel enormes.... y terminaron importando en otra maquina que tenia mucho mejor procesador y 32 gb de RAM, ... aunque podrias aumentar el tamaño de los paquetes como en MySQL, despues de todo MariaDB es un fork de MySQL..


no se si sea el caso... pero ahi te lo dejo como comentario.



http://7sabores.com/blog/configurar-mysql-importar-base-datos-grandes
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar

Importar Base de Datos grandes

Publicado por Fabro08 (3 intervenciones) el 15/04/2019 22:09:17
Hola Leonardo, probé lo que me dijiste seteando la variable "max_allowed_packet" a 1000M (el valor mas grande) según el sitio oficial de MySQL. Sin embargo no tuve buena práctica, llego a importar el 23% en más o menos 7 horas y después supuestamente sigue haciendo trabajando pero con tiempos de retardo muy grandes (cerca de 240 segundos para realizar un insert)...
Todo esto lo monitoreo con "mytop" viendo en pantalla tiempo que tarda y query que esta trabajando..

El archivo que estoy intentando importar pesa 180 GB y las especificaciones de la pc:
-Intel core i7 6700hq
-16 de Ram

Eso es poco??
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de ElVinoFalta
Val: 32
Ha mantenido su posición en MariaDB (en relación al último mes)
Gráfica de MariaDB

Importar Base de Datos grandes

Publicado por ElVinoFalta (16 intervenciones) el 16/09/2019 16:48:11
Creo que la totalidad del problema no esta en el procesador ni la capacidad del equipo si bien
es un tema relevante, cuando realizas import desde un archivo externo
y este es muy grande, hay que definir un commit cada n registros.
Porque lo que pone lento es eso, la pagina o estado para volver atras (Rollback)
es cada vez mas grande.
Yo pondria cada 5000 registros, esto tambien depende cuantas columnas tiene cada tabla
es decir si la tabla tiene 50 olumnas requerirá un commit cada 2000, sila tabla tiene solo 6 columnas
le pondria commit cada 50000 registros.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil
Val: 2
Ha mantenido su posición en MariaDB (en relación al último mes)
Gráfica de MariaDB

Importar Base de Datos grandes

Publicado por Leopoldo Taylhardat (1 intervención) el 04/07/2019 21:28:24
Saludos.

Primero que una base de datos tan grande debe trabajar sobre un servidor de verdad,
otra cosa es el diseño de la base de datos y otra también la configuración del motor
de la base de datos (puesta a punto) que incluye: caché y tipo de manejo de archivo.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar

Importar Base de Datos grandes (solución)

Publicado por Fabro08 (3 intervenciones) el 16/09/2019 17:22:41
Logré solucionar el problema importando en lotes. Tome el sql gigante lo corrí con un sql splitter lo dividí por tablas. Quedaron varios archivos entre 20 y 40 GB. Luego fue correr la importación por archivos, tardo bastante pero se pudo. Dejo el soft que utilicé para dividir el archivo en tablas. http://dl.bintray.com/verace/MySQLDumpSplitter/jar/
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
1
Comentar