PDF de programación - OpenIrekia install 2.0.0

O P

E N

I R E K I A

http:// open.irekia.net

MANUAL DE INSTALACIÓN

Versión: 2.0.0/24-ene-2012

1. Introducción!

1.1 Objeto!
1.2 Pre-requisitos!
1.3 Público!
1.4. Licencia!

2. Estructura y componentes!
3. Preparación del servidor!

3.1 Paquetes de Ubuntu!
3.2 Componentes vía RubyGems!
3.3 Componentes por compilar a mano!
3.3.1 flvmeta!
3.3.2 ffmpeg!
3.3.4 stream segmenter!
3.3.5 generador QR!
3.5 Proxy de Apache!
3.8 Componentes para estadística en tiempo real!

4. OpenIrekia!
4.1 Usuarios!
4.2 Aplicación OpenIrekia!
4.3 Otros parámetros de configuración!
4.4 Tests!
4.5 Procesos periódicos!

!OpenIrekia

1

2
2
2
2
2

3

6
6
6
7
7
7
7
8
8
9

12
12
12
13
13
13

i

1. Introducción

1.1 Objeto
En este documento se describe la instalación simplificada de los componentes necesarios y de la aplicación OpenIrekia
en un servidor Ubuntu Linux 8.04 LTS. La instalación creada tiene todo los componentes necesarios para y desarrollo con
el sistema.

1.2 Pre-requisitos
Para poder seguir el manual es necesario disponer de:

- Servidor con sistema operativo Ubuntu Server 8.04 LTS ya instalado y actualizado y acceso como root
- Conexión a Internet

1.3 Público
Para realizar la instalación es necesario tener conocimientos de administración de un sistema Linux/Unix.

1.4. Licencia
El Gobierno Vasco pone a disposición de usuarios, desarrolladores y comunidad en general la aplicación denominada
“OpenIrekia – Gobierno Abierto” bajo la Licencia Pública de la Unión Europea “European Union Public Licence –
EUPL”. Esta licencia, desarrollada en el seno de la Unión Europea, nació con la intención de ser la licencia bajo la cuál se
liberasen los programas y aplicaciones desarrolladas por la Administración Pública y con la característica específica de
ser compatible con otras licencias denominadas libres, como la GNU General Public License (GNU/GPL). Estas caracte-
rísticas dotan, a las aplicaciones así liberadas, de mayor seguridad jurídica y fomentan la interoperabilidad de los servi-
cios de la Administración Electrónica.

The European Union Public Licence http://www.osor.eu/eupl
EUPL v.1.1 - Preámbulo
EUPL v.1.1 – Licencia

Copyright 2009-2012 eFaber, S.L.
Copyright 2009-2012 Ejie, S.A.
Copyrigth 2009-2012 Dirección de Gobierno Abierto y Comunicación en Internet; Gobernu Irekirako eta Interneteko Ko-
munikaziorako Zuzendaritza; Lehendakaritza. Gobierno Vasco – Eusko Jaurlaritza

Licencia con arreglo a la EUPL, Versión 1.1 o –en cuanto sean aprobadas por la Comisión Europea– versiones posteriores
de la EUPL (la Licencia);

Solo podrá usarse esta obra si se respeta la Licencia.
Puede obtenerse una copia de la Licencia en: *
http://ec.europa.eu/idabc/eupl *

Salvo cuando lo exija la legislación aplicable o se acuerde por escrito, el programa distribuido con arreglo a la Licencia se
distribuye TAL CUAL,SIN GARANTÍAS NI CONDICIONES DE NINGÚN TIPO, ni expresas ni implícitas. Véase la Li-
cencia en el idioma concreto que rige los permisos y limitaciones que establece la

!OpenIrekia

i

2

2. Estructura y componentes

En la siguiente figura se muestran los principales componentes del sistema en un instalación típica. En una instalación de
desarrollo no sería necesario usar NAS externo para el contenido multimedia, cluster de mongrels, y acceso restringido
para colaboradores por SFTP en jail.

12

Apache

(+ mod_ssl)

10

lighttpd

(+ mod_flv_streaming)

11

4

5

mod_proxy y proxy_balancer

CouchDB

2

2

9

Mongrel 1

...

Mongrel 20

7

3

3

mongrel cluster

6

NAS

8

PostgreSQL

14

14

15

15

17

SFTPd en Jail

Elastic
Search
Cluster

SMTP mail

17

RabbitMQ

15

Procesos

Cron

11

13

13

twitter, FB, blogs,

RRSS

!OpenIrekia

i

3

1. El servidor Apache con VirtualHost hasta cluster de 20 copias de Mongrel.

Ficheros de configuración relevantes: /etc/httpd/conf/httpd.conf y /etc/httpd/conf.d/ssl.conf
Los procesos se ejecutan con permisos del usuario apache.

2. El proxy_balancer reparte las peticiones entrantes entre el cluster de Mongrels

Ficheros de configuración relevantes: /etc/httpd/conf.d/proxy_balancer.conf y /etc/mongrel_cluster/ogov.yml
Protocolo de conexión: HTTP puertos 8080-8099
Los procesos se ejecutan con permisos del usuario apache.

3. La aplicación usa conexión vía socket local hasta la base de datos postgres

Ficheros de configuración relevantes: /usr/app/ogov/config/database.yml
Protocolo de conexión: socket puerto 5432
Los procesos se ejecutan con permisos de usuarios ogov y postgres.

4. Los logs de acceso por HTTP y HTTPS al Apache se registran en la base de datos CouchDB

Ficheros de configuración relevantes: /etc/httpd/conf/httpd.conf /etc/httpd/conf.d/ssl.conf y
/usr/local/etc/couchdb/default.ini
Protocolo de conexión: REST vía HTTP a puerto 8984
Los procesos se ejecutan con permisos del usuario apache y couchdb.

5. Los logs de acceso por HTTP para el contenido multimedia (incluido el streaming vía mod_flv_streaming) se registran

en la base de datos CouchDB.
Ficheros de configuración relevantes: /etc/lighttpd/lighttpd.conf y /usr/local/etc/couchdb/default.ini
Protocolo de conexión: REST vía HTTP a puerto 8984

6. El lighttpd usa el ficheros multimedia desde el NAS en /web

Ficheros de configuración relevantes: /etc/lighttpd/lighttpd.conf y /etc/fstab
Protocolo de conexión: NFS

7. Las aplicaciones crean y trasladan los directorios necesarios y preparan los vídeos en .flv para streaming

Ficheros de configuración relevantes: /etc/fstab
Protocolo de conexión: NFS

8. El servidor de SFTP permite deposita el contenido multimedia en el NAS

Ficheros de configuración relevantes: /etc/fstab y /web/jails/agencia/etc/jailkit/jk_lsh.ini
Protocolo de conexión: NFS

9. El módulo de estadística en tiempo real accede a las bases de datos en CouchDB

Ficheros de configuración relevantes: /usr/local/etc/couchdb/default.ini
Protocolo de conexión: REST vía HTTP a puerto 8984

10. Los usuarios finales acceden a los contenidos multimedia vía navegador web o reproductor flash

Ficheros de configuración relevantes: /etc/lighttpd/lighttpd.conf
Protocolo de conexión: HTTP

11. Los colaboradores suben contenido pesado (video y fotos) vía SFTP

12. Los usuarios finales y los internos usuarios autorizados acceden a los servicios web

Protocolos de conexión: HTTP y HTTPS

!OpenIrekia

i

4

13. Las aplicaciones usan servicios externos
Protocolos de conexión: HTTP y HTTPS

14. Las aplicaciones mantienen el índice de búsqueda el texto completo en el servidor ElasticSearch

Ficheros de configuración relevantes: /usr/local/elasticsearch/config/elasticsearch.yml
Protocolo de conexión: HTTP al puerto 9200

15. Mensajes hasta las colas de tareas programadas, conexiones por el puerto 5672

16. Las tareas programadas relacionadas con gestión y transformación de vídeo acceden al NAS por NFS

17. Las aplicaciones (no mostrado) y los procesos periódicos usan SMTP para el envío de alertas por email.

Nota: OpenIrekia gestiona los procesos de streaming en directo pero no incluye servidor de streaming en directo. Ac-
tualmente se usa un servicio por parte de los servicios informáticos del gobierno basado en Wowza Media Server y pro-
tocolo RTMP.

!OpenIrekia

i

5

3. Preparación del servidor

Una vez instalado el sistema operativo básico confirmar la conexión a Internet y seguir los siguientes pasos. Durante la
instalación cuando sea posible se usan paquetes de la distribución. Cuando algún componente de software no esta dis-
ponible o no esta en la versión necesaria se compila e instala a mano.

3.1 Paquetes de Ubuntu

Instalar los siguientes paquetes de la distribución:

sudo apt-get -y install build-essential
sudo apt-get -y install ruby ruby1.8-dev irb rdoc ri libopenssl-ruby1.8
sudo apt-get -y install postgresql-8.3 postgresql-server-dev-8.3
sudo apt-get -y install apache2
sudo apt-get -y install imagemagick libmagick9-dev
sudo apt-get install lighttpd

Permitir conexiones locales al servidor PostgreSQL:

!
!

!'s|127.0.0.1/32 md5|127.0.0.1/32 trust|' \
!-i /etc/postgresql/8.3/main/pg_hba.conf

sudo sed -e \

sudo /etc/init.d/postgresql-8.3 restart

3.2 Componentes vía RubyGems
Descargar e instalar RubyGems:

wget http://production.cf.rubygems.org/rubygems/rubygems-1.3.7.tgz
tar zxvf rubygems-1.3.7.tgz
cd rubygems-1.3.7
sudo ruby setup.rb
sudo ln -s /usr/bin/gem1.8 /usr/bin/gem

Instalar los siguientes gems:

sudo gem install postgres
sudo gem install mongrel mongrel_cluster
sudo gem install -v=2.2.3 rails
sudo gem install -v=1.0.6 flvtool2
sudo gem install -v=1.4.1 geokit
sudo gem install -v=0.8.5 ri_cal
sudo gem install -v=0.7.9 twitter
sudo gem install uuidtools
sudo gem install -v=1.0.8 afer_commit

!OpenIrekia

i

6

3.3 Componentes por compilar a mano

3.3.1 flvmeta
Descargar e instalar flvmeta:

wget http://www.efaber.net/ogov/flvmeta-1.0.9.tar.gz
tar --no-same-permissions -zxvof flvmeta-1.0.9.tar.gz
cd flvmeta-1.0.9
./configure
make
sudo make install

3.3.2 ffmpeg
Descargar e instalar el ffmpeg y sus dependencias:

wget http://www.efaber.net/ogov/lame-3.98.4.tar.gz
tar --no-same-permissions -zxvof lame-3.98.4.tar.gz
cd lame-3.98.4
./configure
make && sudo make install

wget http://www.efaber.net/ogov/faac-1.28.tar.gz
tar --no-same-permissions -zxvof faac-1.28.tar.gz
cd faac-1.28
./configure
make && sudo make install

wget http://www.efaber.net/ogov/faad2-2.7.tar.gz
tar --no-same-permissions -zxvof faad2-2.7.tar.gz
cd faad2-2.7
./configure
make && sudo make install

wget http://www.efaber.net/ogov/x264-snapshot-20100420-2245.tar.bz2
tar -xjvf x264-snapshot-20100420-2245.tar.bz2
cd x264-snapshot-20100420-2245
./configure --enable-shared --disable-asm
make && sudo make install

wget http://www.efaber.net/ogov/ffmpeg-co-20100421.tar.gz
tar --no-same-permissions -zxvof ffmpeg-co-20100421.tar.gz
cd ffmpeg
./configure --enable-gpl --enable-nonfree \
!--enable-pthreads --enable-libfaac \
!
!
!--enable-libfaad --enable-libmp3lame --enable-libx264
make && sudo make install

sudo ldconfig

3.3.4 stream segmen