PDF de programación - Instalación de una caché WWW

Instalación de una caché WWW

En esta página se describen los pasos para instalar en una máquina Unix un servidor de proxy-caché de páginas Web.

Programas y máquinas para instalar una caché:

A día de hoy existen no sólo muchas aplicaciones software para realizar tareas de proxy-caché de páginas Web sino
también muchas máquinas diseñadas exclusivamente para realizar tal función. Entre los vendedores de máquinas
exclusivas para caché WWW se encuentran: NetCache,Cisco,Inktomi,Novell y DynaCache entre muchos otros.

Respecto a las cachés implementadas como aplicaciones para correr en máquinas de propósito general existen numerosas
implementaciones de cachés WWW para distintas plataformas. La mayor parte de la implementaciones de libre distribución
están desarrolladas para correr sobre máquinas Unix. A continuación listamos algunos programas de proxy-caché
disponibles en el mercado y/o la red:

Squid: evolución de libre distribución de Harvest.
NetApp evolución comercial de Harvest, corre tanto en Unix como en Windows NT.
Netscape
Microsoft
Apache es un servidor web que incluye un módulo de proxy-caché.

RedIRIS recomienda a sus instituciones el software Squid que está disponible en nuestro FTP. Esta recomendación viene
guiada por los siguientes motivos:

Squid es software de libre distribución, esto no sólo implica que sea gratuito, sino que además al estar su código
fuente libremente accesible y modificable, hace posible la modificación del programa en caso de querer mejorar sus
prestaciones o características.
Squid tiene un rendimiento superior a las demás implementaciones de proxy-cachés implementadas por software.
Squid soporta el protocolo ICP para integrar las cachés en grupos colaborativos, muchas de las demás
implementaciones no soportan este punto. ICP permite además de formar jerarquía hacer que el fallo de una caché
sea superado por la colaboración de las otras.
Squid soporta además otros mecanismos de comunicación entre cachés más eficientes como las Cache-Digest por
el cual las cachés intercambian cada cierto tiempo (una hora) un mapa de bits de la tabla de digests MD5 del hash
que contiene todas las URLs de cada caché.
Squid se ha popularizado tanto que ya hay muchas aportaciones para tratamiento de estadísticas, administración por
Web y muchas otras; además su grupo de desarrolladores es tan grande que se incorporan continuamente nuevas
funcionalidades de acuerdo con las últimas tendencias en tecnología de Redes y sistemas de información (ej:
multicasting)
Squid es utilizado en las grandes agrupaciones de cachés mundiales, como la NLANR.
Squid compila muy fácilmente en casi cualquier plataforma Unix, y su instalación es bastante simple.

Quizás uno de los pocos inconvenientes de Squid es que su desarrollo continuado da lugar a nuevas versiones cada muy
poco tiempo con correción de errores y nuevas características, no obstante, desde hace tiempo todas las versiones son
bastante estables.

2.- Instalación de Squid en una máquina Unix:

El primer paso a dar es conseguir una distribución del código fuente de Squid, puede conseguir tal distribución en Mirror
oficial de Squid en Uniovi o a partir de la página oficial de Squid

Actualmente trabajamos con la versión 2.X de squid que incorpora notables mejoras de rendimiento y flexibilidad sobre la
anterior versión 1.1.X (utilizamos X para denotar la sub-versión del programa)

La distribución fuente de Squid-2 es un archivo con nombre squid-2....-src.tar.gz dónde los tres puntos vienen substituidos por
información sobre la versión concreta. Al tener extensión .gz deberá descomprimir el archivo con gunzip ( o ’gzip -d’, si no lo
tiene busque en el FTP de RedIRIS) La extensión .tar denota que es un paquete de ficheros, deberá pues una vez
descomprido desempaquetar el fichero con la orden unix tar xf squid-2....-src.tar tras lo cual tendrá un directorio llamado
squid-2.... en en el directorio de trabajo dónde ha ejecutado las ordenes anteriores. La secuencia completa desde una sesión
Unix podría ser:

> cd /directorio/de/trabajo
> ftp ftp.rediris.es
Name: ftp
Password: sudireccion@email
...
> cd software/infosystems/Squid/squid-2
...
> binary
...
> get squid-2.0.RELEASE-src.tar.gz

...
> bye
...
> gunzip squid-2.0.RELEASE-src.tar.gz
> tar xf squid-2.0.RELEASE-src.tar.gz
> cd squid-2.0.RELEASE

Generación del programa squid:

Una vez en el directorio con la distribución de Squid tendrá que compilar el software. La instalación de Squid al igual que su
ejecución pueden realizarse sin necesidad de ser root. Los pasos para una instalación exitosa son:

- En primer lugar ejecutar el comando configure, al que deberá proporcionarle varias opciones sobre el programa a generar y
el directorio dónde piensa instalar Squid salvo que lo vaya a instalar en /usr/local/squid. A continuación vea las órdenes
necesarias con las opciones recomendadas por nosotros. Proceda:

> ./configure --enable-snmp --enable-cache-digests
--enable-err-language=Spanish --enable-icmp

ó

> ./configure --prefix=/directorio/de/instalacion
--enable-snmp --enable-cache-digests
--enable-err-language=Spanish --enable-icmp

El soporte de ICMP con --enable-icmp es opcional, interesa sobre todo en las cachés que actúen como padres de otras
cachés.

- Una vez hecho el paso anterior bastará con ejecutar:

> make all

Lo cual realizará la compilación de todo el código del programa squid. Si la ejecución del comando no fuera exitosa intente
obtener una versión actualizada del compilador gcc en su máquina, que esté accesible en el PATH y vuelva a empezar
desde el configure. También puede probar a tocar a mano el fichero acconfig.h o el fichero src/config.h para cambiar después
del configure parámetros sobre la instalación en la que se está generando el programa. El siguiente paso es la instalación de
los programas en sus directorios con:

> make install

Si ha instalado el soporte de ICMP también deberá teclear:

> make install-pinger

que copiará los programas necesarios al directorio de instalación (/usr/local/squid por defecto) al igual que los archivos de
configuración.

Nota: parece que las últimas versiones no llevan todos los mensajes de Error en Español necesarios, deberá por
tanto copiarlos de ftp://ftp.rediris.es/tmp/Spanish a su directorio /usr/local/squid/etc/errors.

Fichero de configuración:

Una vez instalado el programa sólo falta editar el fichero de configuración y poner Squid a correr. El fichero de configuración
se llama squid.conf. Después del make install queda creado un fichero de configuración de ejemplo en el directorio etc de la
raiz de la instalación (o sea, normalmente en /usr/local/squid/etc). Será este fichero el que editemos para adecuarlo al
entorno de nuestra caché.

Para editar el fichero de configuración basta con quitar el caracter de comentario a principio de línea (#) en las directivas más
importantes y fijar los valores adecuados, las directivas que queden como comentarios (líneas empezando por #) o no
aparezcan tomarán sus valores por defecto, que en la mayoría de los casos son adecuados.

A continuación comentamos las directivas imprescindibles para que Squid se ejecute con una configuración correcta y no de
problemas:

cache_peer: con esta directiva configura otras cachés padres o hermanas (ver coordinación de cachés ). Por ejemplo, un
modo de encadenar su caché con la de RedIRIS (previa autorización de [email protected]) bastaría con las líneas:

cache_peer gate1.rediris.es parent 8080 3130 no-digest no-query no-netdb-exchange round-robin cache_peer gate2.rediris.es
parent 8080 3130 no-digest no-query no-netdb-exchange round-robin

Si no piensa encadenar su caché con ninguna otra deje esta línea tal y como aparece en el fichero de configuración
(comentada)

cache_mem: la cantidad de memoria que va a utilizar Squid, es un valor orientativo, asegurese de dar un valor razonable y
que en ningún caso exceda la tercera parte de la memoria física de la máquina, más aún si tiene otros servicios corriendo. Ej:

cache_mem 32 MB

cache_dir: es muy importante que indique en esta línea la ubicación, la capacidad y la distribución de directorios dónde se
van a ubicar los archivos de la caché. Puede especificar varias líneas con varios directorios, los valores de 16 y 256 para la
distribución de directorios parecen razonables, en la capacidad especifique un poco menos de la capacidad real del directorio
seleccionado.

cache_dir /usr/local/squid/cache 200 16 256

En muchos sistemas operativos la caché de inodos tiene un límite de caracteres en sus entradas por lo que conviene que el
camino de directorio de la directiva anterior sea corto (mejor "/cache" que "/home/volumen2/usuario2/local/squid...")

local_domain: especifica el dominio al cual accederá directamente sin consultar otras cachés en caso de estar coordinada
con otras cachés. Típicamente pondrá aquí el dominio de su organización o directamente ’es’ (para España). En Squid 2.0 la
forma de especificar como local el dominio org.es es:

acl local-servers dstdomain org.es
always_direct allow local-servers

También conviene ir directo siempre a los puertos de SSL:

always_direct allow SSL_ports

Puede especificar varios dominios locales de su organización separados por espacios dónde esta escrito org.es

cache_mgr: la dirección de correo electrónico del responsable de la caché. Ej:

cache_mgr [email protected]

hierarchy_stoplist: URLs que no deben ser obtenidos de otra caché, normalmente los cgi-bin’s:

hierarchy_stoplist cgi-bin ?

no_cache: patrones de URLs que no deben ser cacheados, normalmente los cgi-bin’s:

acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY

cache_effective_user: el usuario y grupos con que se ejecutará el proceso squid. Por razones de seguridad no deben tener
apenas permisos en el sistema (y por supuesto no tener shell, ej: nobody y nogroup), no obstante deben tener permisos
plenos sobre los directorios de Squid (logs y caché) por ejemplo:

cache_effec