Linux/Unix Shell Scripting - Leer un archivo de 5 Gb mucho mas rapido

   
Vista:

Leer un archivo de 5 Gb mucho mas rapido

Publicado por Jose (2 intervenciones) el 11/09/2014 22:09:39
buenas tardes amigos tengo una pregunta deseo leer archivos donde cada uno pesa aprox. 10 mb en total hacen 5 Gb todos donde hago lo siguiente:

gzcat nombre_de_archivo.*.*.gz | awk -F: '{print $4}' | sed 's/ERR<//g' | sed 's/>//g' | sort -nr | uniq -c

pero me tarda un monton de tiempo como 2 hrs, quisiera saber si hay alguna manera de leer los archivos con mas rapidez

Gracias por su ayuda.
Valora esta pregunta
Me gusta: Está pregunta es útil y esta claraNo me gusta: Está pregunta no esta clara o no es útil
0
Responder
información
Otras secciones de LWP con contenido de Linux/Unix Shell Scripting
- Código fuente de Linux/Unix Shell Scripting
- Cursos de Linux/Unix Shell Scripting
- Chat de Linux/Unix Shell Scripting
información
Códigos de Linux/Unix Shell Scripting
- Script: Menú de opciones
- Arrays en bash
- transformar NRG a ISO

Leer un archivo de 5 Gb mucho mas rapido

Publicado por Tom (253 intervenciones) el 19/09/2014 18:18:58
Pues ... no solamente awk es lento para ficheros largos sino que tanto sort como uniq (en alguna implementación) necesitan generar ficheros intermedios ... así que probablemente el mayor problema (no el único) es la velocidad del disco.

Sería algo más rápido si trabajases en un filesystem montado en memoria (por ejemplo algunas distros montan el /tmp/ en memoria RAM).

Quizás si comentas lo que quieres hacer se pueda buscar la forma de eliminar algún paso intermedio.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar