PDF de programación - Expresiones regulares - Herramientas Grep y AWK

Herramientas Grep y AWK

Asignatura: Entornos de programación

Expresiones regulares

Herramientas Grep y AWK

En este tema se introducen las expresiones regulares y un par de utilidades que las usan
de manera intensiva: 'grep' y 'awk'. Estas utilidades proceden del mundo UNIX, y están
disponibles hoy día en todas las plataformas usadas habitualmente.

• Grep: Su nombre se toma de la expresión "Globally search for Regular Expression
and Print", que describe una de las funciones disponibles en el editor "ed" de UNIX.
Dicha función aparece documentada en el manual como g/re/ p. La función
principal de la utilidad "grep" es extraer de un fichero de texto las líneas que cumplen
con un patrón dado por una expresión regular.

• AWK: Su nombre se obtiene de las iniciales de los apellidos de sus autores: Alfred

Aho, Peter Weinberger y Brian Kernighan. El nombre se aplica a un lenguaje de
script (AWK) y al procesador que lo interpreta (awk). Está orientado al proceso de
ficheros de texto que contienen uno o varios campos de datos en cada línea. Usa
expresiones regulares para seleccionar las líneas de texto deseadas, y las acciones a
realizar se escriben como en lenguaje C.

1. Expresiones regulares
Las expresiones regulares permiten describir estructuras sintácticas, en particular las de
los lenguajes regulares. Son, por tanto, patrones sintácticos a los que deben ajustarse los
elementos que componen el vocabulario del lenguaje.

Dicho de una manera más sencilla, las expresiones regulares son patrones que permiten
reconocer secuencias de símbolos con una estructura sintáctica determinada.

Hay diversas notaciones para representar expresiones regulares. Por ejemplo, la notación
BNF y otras derivadas de ella. Los comodines (wildcards) usados para designar conjuntos
de ficheros vienen a ser una forma restringida de rexpresiones regulares.

La notación que se describe aquí permite escribir patrones para secuencias de caracteres
(strings), y corresponde a la que con ligeras variantes se usa en diversas utilidades para
proceso de textos: "grep", "awk", "perl", la librería "regexp", etc. Los apartados siguientes
describen los elementos principales. Para una descripción más completa se debe consultar
el manual de referencia correspondiente.

1.1 Expresiones simples
Son patrones que se ajustan a un único símbolo (en general, a un único carácter):

Expresión

Significado

x

.

[aeiou]

carácter x, si es carácter normal
cualquier carácter
un carácter del conjunto

Expresiones regulares - Herramientas Grep y AWK - 1

Herramientas Grep y AWK

un carácter del rango
complementa el conjunto
carácter x, si x es un carácter especial
principio del texto, si va al comienzo
fin del texto, si va al final
principio de palabra (*)
fin de palabra (*)

[a-z]

[^aeiou0-9]

\x

^

$

\<

\>

(*) Patrón no estándar

1.2 Expresiones compuestas
Son patrones que combinan expresiones simples. Se ajustan a una secuencia de símbolos.

Expresión

xy

x+

x*

x?

una|otra

(x)

Significado
expresión x seguida de y
una o más repeticiones de x
cero o más repeticiones de x
cero o una aparición de x
una u otra expresión
expresión x

1.3 Ejemplos de expresiones regulares

• Un dígito numérico, decimal: [0-9]
• Una vocal: [AEIOUaeiou]
• Una letra, mayúscula o minúscula: [A-Za-z]
• Una palabra que empieza por letra y puede contener números: [A-Za-z][A-Za-

z0-9]*

• Un número, con punto decimal, al comienzo del texto: ^[+\-0-9][0-9]*\.

[0-9]*

• Abreviatura del nombre de un mes: (Ene|Feb|Mar|Abr|May|Jun|Jul|Ago|

Sep|Oct|Nov|Dic)

Expresiones regulares - Herramientas Grep y AWK - 2

Herramientas Grep y AWK

2. Herramienta Grep
Es un programa de utilidad que permite seleccionar las líneas de un texto que cumplen con
un patrón determinado. La orden para invocarla es:

> grep patrón ficheros...

El patrón se escribe como una expresión regular. Los nombres de los ficheros de entrada
pueden incluir comodines. El programa lee los ficheros y copia a la salida cada línea que
se ajuste al patrón.

La utilidad grep procede de UNIX. Dispone de parámetros opcionales para controlar su
funcionamiento. Para conocer las posibles opciones se puede invocar como:

> grep --help
> grep -h
> grep

Ejemplo: extraer todas las líneas de código C/C++ que empiecen con un comentario (// o
/*) desde la primera posición.

> grep ^/[/\*] *.h *.c *.cpp

Expresiones regulares - Herramientas Grep y AWK - 3

Herramientas Grep y AWK

3. Lenguaje AWK
AWK es un lenguaje para procesar ficheros de texto, línea a línea. Resulta apropiado para
extraer datos individuales, realizar recuentos, modificar el formato de los datos, generar
resúmenes, etc. La potencia del lenguaje reside en el uso extensivo de expresiones
regulares para seleccionar los fragmentos de información apropiados, y la posibilidad de
combinar los estilos de programación declarativo e imperativo.

En realidad existen distintas variantes de AWK, dependiendo del procesador utilizado:

• awk - lenguaje original
• awk - POSIX
• nawk - AWK renovado
• gawk - AWK de GNU
• mawk - Mike's AWK
• tawk - AWK de Thompson Automation
• ...etc. ...

En los ejemplos se usará gawk.

3.1 Elementos básicos

• Un programa consiste en una colección de cláusulas o reglas, cada una de las cuales

sigue el esquema:

patrón { acción }
• Cada cláusula indica que si se cumple el patrón se debe realizar la correspondiente

acción.

• El patrón puede omitirse. Es este caso es como si hubiera un patrón que se cumple

siempre.

• La acción puede omitirse. En este caso es como si hubiera una acción {print}

(imprimir línea).

• La ejecución de un programa AWK consiste en leer los ficheros de entrada línea por

línea y aplicar a cada línea la colección de cláusulas, por su orden.

• Los datos pueden ser valores numéricos o de texto, y se convierten automáticamente

de un formato a otro cuando sea necesario.

• El patrón puede ser una expresión regular. Se cumple si la línea de datos se ajusta a

dicho patrón.

• El patrón puede ser también una expresión. El patrón se cumple si el valor resultante

(número o texto) no es cero o nulo (0 o "")

• Las acciones se escriben como en lenguaje C
• No hay que declarar las variables (se crean al usarlas por primera vez, con valores

nulos)

• Los valores literales de texto se escriben como en C, entre comillas dobles:

"texto". Pueden incluir secuencias de escape (\n \t \\ ...).

Expresiones regulares - Herramientas Grep y AWK - 4

Herramientas Grep y AWK

• Las funciones se invocan como función(argumentos).
• El texto de un programa puede incluir comentarios, empezando con el carácter # y

hasta el final de la línea.

3.2 Ejemplo: recuento de notas
Para dar una idea rápida de cómo es un programa en AWK, a continuación se presenta
como ejemplo el proceso de una lista de calificaciones de un examen para obtener un
resumen estadístico simple. El significado de los elementos que aparecen en el programa
se irá viendo en los siguientes apartados.

Fichero de datos - notas de un examen ( DNI del alumno y nota numérica):

051422949 4.3
051943388 8
005428776 7.5
052970557
052375629 3
002550123 9.5
014301873
050100456 6
079309554 5.5
002915589
008928257 8.7

Programa - recuento de aprobados y suspensos:

$1 {alumnos++}

$2 >= 5 {aprobados++}

NF==1 {nopresentados++}

END {
suspensos = alumnos - aprobados - nopresentados
print "Aprobados: ", aprobados
print "Suspensos: ", suspensos
print "No presentados:", nopresentados
print "Total alumnos: ", alumnos
}

Resultados:

Aprobados: 6
Suspensos: 2
No presentados: 3
Total alumnos: 11

Expresiones regulares - Herramientas Grep y AWK - 5

Herramientas Grep y AWK

3.3 Patrones
En AWK hay varias clases de patrones. Todos ellos funcionan como condiciones con un
resultado booleano.

• Expresiones regulares. Se escriben como /expresión/, entre barras. La condición

se cumple si la línea de datos de entrada se ajusta a esa expresión regular.

• Expresiones aritméticas (o de texto). Se escriben prácticamente igual que en lenguaje
C. La condición se cumple si el resultado de evaluar la expresión es un valor de texto
no nulo o un valor numérico distinto de cero.

• Patrones especiales. Algunos de ellos son:

o La palabra clave BEGIN. La condición se cumple al principio del programa, antes

de leer los datos de entrada.

o La palabra clave END. La condición se cumple al final de todo el proceso,
después de procesar todos los datos de entrada y justo antes de terminar

o Un par de patrones separados por una coma, de la forma x,y. Se denomina

patrón compuesto o rango. La condición se cumple para una secuencia
correlativa de líneas de entrada desde una que cumpla el primer patrón x hasta
la siguiente que cumpla el segundo patrón y, ambas inclusive.

3.4 Operadores
Como se ha dicho, son similares a los del lenguaje C. Los más importantes son:

• Operadores aritméticos: + - * / % ^
• Operadores de comparación: == != > >= < <=
• Operadores de asignación: = += -= *= /=
• Operadores de incremento o decremento, en sus formas prefija y postfija: ++ --
• Operadores lógicos: ! && ||
• Operador de ajuste de patrón: ~
• La operación de concatenación usa un operador implícito: "uno" "dos" →

"unodos"

• También existe la expresión condicional: x ? y : z

Los valores numéricos y de texto son convertidos automáticamente de un tipo a otro cuando
sea necesario. Cuando se quiera forzar una conversión se puede escribir:

• x + 0 → valor de x convertido a tipo numérico
• x "" → valor de x convertido a texto

3.5 Funciones predefinidas
Entre otras, las siguientes:

• Funciones matemáticas (numéricas): sqrt(), sin(), cos(), exp(), ...
• Funciones de texto: length(), substr(), index(), toupper(), tolower(),

gsub(), match(), ...

Expresiones regulares - Herramientas Grep y AWK - 6

Herramientas Grep y AWK

• Otras funciones: system(), getline, systime(), ...

3.6 Campos en las líneas de entrada
Cada línea de texto de la ent