PDF de programación - Administración UNIX: Almacenamiento de datos

Administración UNIX:

Almacenamiento de datos

Jesús Montes Sánchez

jmontes@fi.upm.es

Septiembre 2012

Almacenamiento de datos

mas dispositivos

• En UNIX la información puede estar almacenada en uno o
• Estos dispositivos se montan de manera ordenada para
• En el árbol de directorios se pueden combinar dispositivos
de distinto tipo (discos duros, DVDs, discos virtuales...) y
con distinta organización interna (sistema de ficheros)

formar un árbol de directorios único

particiones para gestionar mejor su espacio

• Algunos dispositivos se pueden además dividir en
• Los dispositivos se pueden combinar mediante
mecanismos hardware o software para crear entidades
mas sofisticadas (RAID, volúmenes lógicos...)

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

1/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

2/30

Tipos de dispositivos

Gestión de dispositivos

En UNIX se definen dos tipos de dispositivos:

• Dispositivos de tipo bloque (discos)
• Dispositivos de tipo carácter (cintas)

En ciertos UNIX el mismo dispositivo puede ser gestionado en
modo bloque y modo carácter

• En modo bloque: montaje y uso
• En modo carácter: Acceso en crudo (raw mode) para

operaciones de recuperación

1 Dar formato al soporte

• Separación física entre sectores, pistas, etc
• Operación de muy bajo nivel
• Casi nunca necesario (en discos viene de fábrica)

2 Particionado

sistemas de ficheros

• División del disco en zonas asignables a diferentes
• Operación de alto nivel de reparto del disco
• Solo para discos o similares (no CDs o DVDs)

3 Creación del sistema de ficheros

especifico de organización de datos (SF)

• Creación de las estructuras lógicas de un formato
• Realizado sobre particiones (discos duros) o sobre

dispositivos enteros (CDs/DVDs)

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

3/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

4/30

4 Montaje y uso del soporte

Dispositivos y particiones

Dispositivos y particiones

En el directorio /dev se encuentra los ficheros especiales para
manejar los diferentes dispositivos de almacenamiento

• Discos duros: hda, hdb, sda, sdb...
• Disco ópticos: sr0, sr1...
• Otros dispositivos: fd0...

Las particiones permiten organizar el espacio de los discos,
dividiéndolo en zonas separadas. UNIX presenta un fichero
distinto en /dev para cada partición.

• Para el disco /dev/sda las particiones serían sda1,

sda2...

un disco duro

• Una partición es una subdivisión física de la superficie de
• Dentro de una partición se puede crear un sistema de
• Normalmente para poder almacenar información ordenada
(sistema de ficheros), un disco duro debe tener al menos
una partición

ficheros

• El espacio no particionado solo podrá ser accedido “en

crudo” (raw mode)

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

5/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

6/30

Dispositivos y particiones

Sistemas de ficheros

La información relativa a las particiones se guarda en una tabla
(tabla de particiones) al comienzo del disco (hay un espacio
reservado para ello)

• Indica donde comienza y termina cada partición
• Incluye información adicional como el sistema de ficheros

o el punto de montaje

Herramienta de gestión de la tabla de particiones
Depende del SO en concreto (no está en el estándar SUS)

• Linux: fdisk, cfdisk, gparted
• Solaris: format
• AIX: smit

El sistema de ficheros organiza la información almacenada en
un dispositivo en ficheros y directorios, almacenando permisos
y otras propiedades

• Sistemas tradicionales (la mayoría obsoletos):

operaciones y/o semántica transaccional

• Extienden los SF tradicionales añadiendo logs de
• Mayor tolerancia a errores y menor tiempo de recuperación
• ext3, ext4, ntfs, hfs+...

• Almacenan datos y metadatos
• Gestionan el espacio libre de la manera mas eficiente
• ext2, ufs, hfs, FAT32...

posible

• Sistemas transaccionales:

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

7/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

8/30

Sistemas de ficheros

Montaje

Creación del SF
El proceso depende del SF escogido, pero en general UNIX
incluye herramientas para llevarlo a cabo.

• Linux: mkfs.* (mkfs.ext4, mkfs.vfat...)
• Solaris: newfs

Mantenimiento del SF

que hay que detectar y corregir

• El uso puede general errores en el sistema de ficheros,
• UNIX incluye herramientas que ayudan en esta taréa
• Es importante realizar comprobaciones periódicas para

(fsck en Linux)

evitar errores catastróficos

partición es necesario montarla

• Para poder acceder a los datos dentro del SF de una
• El SF se muestra al SO residente con su contenido dentro
• En la mayoría de UNIX se usa el mandato mount

de un directorio concreto: punto de montaje

mount [-fnrsvw] [-t vfstype] [-o options] device dir
Ejemplo:
mount -t ext3 /dev/sdb1 /mnt
Para desmontar se emplea umount

• El proceso de montaje permite construir el árbol de

directorios del sistema

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

9/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

10/30

Montaje automático

Estrategias de organización

• El sistema de ficheros raíz se monta al arranque
• Dependiendo del UNIX, existen determinados ficheros de
configuración que contienen tablas de montaje:

• Linux: /etc/fstab
• Solaris: /etc/ufstab
• AIX: /etc/filesystems

Estos ficheros indican el dispositivo o partición, punto de
montaje, SF, opciones, etc.

Es recomendable repartir el árbol de directorios en diferentes
SSFF para evitar que los posibles fallos afecten al sistema
entero

los demás (“perchero”)

antemano (aplicaciones del fabricante/distro)

• / (SF raiz): De tamaño justo. Que sirva como base para
• /usr: Tamaño justo, ya que se puede conocer de
• /home: Lo mas grande posible
• /usr/local - /opt: Depende de las necesidades
adicionales del sistema. En general de gran tamaño
• /var: Depende de las políticas de administración y la
configuración de las aplicaciones
• swap y /tmp: Depende de la carga

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

11/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

12/30

Estrategias de organización

Cuotas de disco

Es recomendable:

de sistema

• Mantener las cuentas de usuario en un disco diferente al
• Separar los SSFF de mayor acceso en diferentes discos
• Ubicar las particiones de manera que sea posible

(swap y sistema)

redistribuir los discos

• Colocar prescindibles (swap, /tmp) entre las que pueden

necesitar crecimiento (/home, /usr/local)

• Vigilar el porcentaje de disco libre

Asocian a cada usuario/grupo un límite de espacio en disco.
Las cuotas limitan:

• Número máximo de archivos (i-nodos)
• Numero máximo de bloques

Dos límites:

• Soft: informativo
• Hard: restrictivo

Los límites se aplican a cada sistema de ficheros y se
comprueban al arranque y cuando se hace login

En Linux: herramienta quota

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

13/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

14/30

Backup

Decisiones de backup

sistema

• Backup: Copia de seguridad de determinados datos de un
• Esquemas de backup:

• Backups completos: Se copia toda la información
• Backups incrementales: Solo los ficheros modificados son

copiados

• Habitualmente se combinan los dos esquemas

Ejemplo:

• Cada día se realiza un backup incremental
• Una vez a la semana se almacena un backup completo

• Normalmente se almacena más de un backup

simultáneamente, permitiendo hacer rollback a diferentes
momentos del pasado

Una estrategia de backup debe incluir:
• Estimación del volumen de datos:

• Tamaño original de los datos que copiar
• Estimación del ratio de compresión

• Selección de los ciclos de backup:

• Cuándo se realizan y de qué tipo son

(completo/incremental)

• Automatización (cliente/servidor):
• Programación de los backups
• Verificación del sistema.

Herramientas de backup: rsync, Amanda, KDat, Tivoli....

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

15/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

16/30

Backup sencillo con rsync

Backup sencillo con rsync

rsync
Herramienta para la copia de datos local y remota

lo que agiliza el proceso

utilizar para crear un backup sencillo

• No es una solución de backup en si misma, pero se puede
• Copia solo diferencias entre los datos de origen y destino,
• Detecta y propaga cambios en propietario, grupo,
• Respeta enlaces simbólicos
• Permite definir patrones complejos de inclusión y exclusión

permisos y otras propiedades de los archivos

de ficheros

man rsync para lista completa de opciones

Ejemplo
Realizar un backup a un servidor remoto

• Directorio origen: /home
• Servidor destino: server.org
• Directorio destino: /backups
Mandato para realizar la copia:
rsync --recursive /home server.org:/backups/

¿Como hacer que se ejecute todos los días a las 4 de la
madrugada?
Regla en /etc/crontab:
0 4 * * * rsync --recursive /home ...

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

17/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

18/30

Dispositivos redundantes

Tecnología RAID

Dispositivos RAID:

físicos reales agrupados

• Dispositivo virtual compuesto por varios dispositivos
• Proporciona redundancia y mejores prestaciones
• Invisible para el SF por encima

Redundant Array of Independent Disks

Tipos:

• Lineal: Concatenación
• RAID 0: Modo alternado
• RAID 1: Discos espejos
• RAID 4: Disco de paridad
• RAID 5: Bloques de

paridad

Puede haber discos de
sobra (spare disks), que
sirven de reserva

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

19/30

jmontes@fi.upm.es

Administraci ón UNIX: Almacenamiento de datos

20/30

sd01sd02