Java - 700000 registros desde java a Mysql lanza la excepción Java.out.memory

colegas una consulta tengo que insertar a una BD mysql un promedio de 700000 registros diarios cuál creen que sea la forma más eficiente de hacerlo desde Java actualmente lo hago uno por uno pero tarda demasiado casi 7 Hrs y a los 500000 registros lanza la excepción Java.out.memory




Ayuda de antemano gracias ☺️

El origen de esos registros cómo es?, es decir, es un fichero, varios ficheros?

Quá usas para persistencia?, jdbc, mybatis, hibernate, jpa?

Si puedes usar jdbc, genera archivos de 100000 registros, es un valor X,

Agreaglos a un directorio

Que un servicio lea cada archivo del directorio y por cada uno de ellos, ejecuta un thread donde el run sea algo como esto:

dbConnection.setAutoCommit(false);//commit trasaction manually

String insertTableSQL = //Insert statement;

PreparedStatement = dbConnection.prepareStatement(insertTableSQL);

para cada uno de los registros en el fichero hacer
preparedStatement.setInt(1, /*valor 1*/);
preparedStatement.setString(2, /*valor 2*/");
preparedStatement.setString(3, /*valor 3*/);
preparedStatement.setTimestamp(4, /*valor 4*/);

fin_para

preparedStatement.addBatch();

preparedStatement.executeBatch();

dbConnection.commit();

y mmm listo solo faltaría hacer pruebas para ver si el numero de threads con esa cantidad de registros es demasiado y necesitas más memoria

Este codigo lo encontre en la internet. Segun el autor haciendolo asi evita run out of memory.

Yeah, pero employees tendria los 700000 registros en tu caso
mmm prueba

Otra recomendacion que dan es utilizar LOAD DATA INFILE, si la data proviene de un file.

Aqui dejo el enlace: https://dev.mysql.com/doc/refman/5.7/en/load-data.html

Dicen que es super, super rapido.