PDF de programación - Google Big Query

Google BigQuery

Luis Villalba 59191

Universidad Católica de Asunción, Departamento de Ciencias y Tecnologías,

Sede Santa Librada, Asunción, Paraguay

[email protected]

Abstract. En este paper estaremos adentrándonos en la herramienta
que ofrece Google para manejo de datos a grande escala, datos que no
pueden ser procesados convencionalmente, Google BigQuery.

Introducción

Qué es Google BigQuery? Google BigQuery es un servicio web de cloud comput-
ing. Es una herramienta bastante atractiva por su facilidad de uso, su funcional-
idad y su precio. Ideal para aquellas empresas que no poseen la infraestructura
necesaria para procesar una gran cantidad de información.
El servicio web de Google BigQuery permite realizar el almacenamiento y con-
sulta de conjuntos de datos masivos con billones de filas. Su uso es sencillo y
permite a los desarrolladores y analistas de negocios estudiar bases de datos
en un tiempo casi real. Orientado directamente al análisis de datos, es decir si
vamos al marco conceptual estamos hablando de una solución con orientación
OLAP (On-Line Analytical Processing).

En siguiente documento tiene como objetivo el de conocer esta herramienta con
unos previos conceptos antes de tocar el tema.

2

Google BigQuery

1 Big Data

Qué es Big Data y porqué se ha vuelto tan importante? Pues bien, en términos
generales podríamos referirnos como a la tendencia en el avance de la tecnología
que ha abierto las puertas hacia un nuevo enfoque de entendimiento y toma
de decisiones, la cual es utilizada para describir enormes cantidades de datos
(estructurados, no estructurados y semi estructurados) que tomaría demasiado
tiempo y sería muy costoso cargarlos a un base de datos relacional para su
análisis. De tal manera que, el concepto de Big Data aplica para toda aquella
información que no puede ser procesada o analizada utilizando procesos o her-
ramientas tradicionales. Sin embargo, Big Data no se refiere a alguna cantidad
en específico, ya que es usualmente utilizado cuando se habla en términos de
petabytes y exabytes de datos. Entonces Cuánto es demasiada información de
manera que sea elegible para ser procesada y analizada utilizando Big Data?
Analicemos primeramente en términos de bytes:
Gigabyte = 109 = 1, 000, 000, 000
Terabyte = 1012 = 1, 000, 000, 000, 000
Petabyte = 1015 = 1, 000, 000, 000, 000, 000
Exabyte = 1018 = 1, 000, 000, 000, 000, 000, 000
Además del gran volumen de información, esta existe en una gran variedad de
datos que pueden ser representados de diversas maneras en todo el mundo, por
ejemplo de dispositivos móviles, audio, video, sistemas GPS, incontables sen-
sores digitales en equipos industriales, automóviles, medidores eléctricos, vele-
tas, anemómetros, etc., los cuales pueden medir y comunicar el posicionamiento,
movimiento, vibración, temperatura, humedad y hasta los cambios químicos que
sufre el aire, de tal forma que las aplicaciones que analizan estos datos requieren
que la velocidad de respuesta sea lo demasiado rápida para lograr obtener la
información correcta en el momento preciso. Estas son las características princi-
pales de una oportunidad para Big Data. Es importante entender que las bases
de datos convencionales son una parte importante y relevante para una solución
analítica. De hecho, se vuelve mucho más vital cuando se usa en conjunto con la
plataforma de Big Data. Pensemos en nuestras manos izquierda y derecha, cada
una ofrece fortalezas individuales para cada tarea en específico. Por ejemplo, un
beisbolista sabe que una de sus manos es mejor para lanzar la pelota y la otra
para atraparla; puede ser que cada mano intente hacer la actividad de la otra,
mas sin embargo, el resultado no será el más óptimo. [1]

2 Cloud Computing

Cloud computing es el desarrollo y la utilización de capacidad de procesamiento
computacional basado en Internet (la nube). El concepto es un cambio de paradigma,
a través del cual los usuarios ya no necesitan contar con conocimientos, experi-
encia o control sobre la infraestructura tecnológica que se encuentra en la nube,
la misma que soporta sus actividades. Este concepto involucra típicamente la
provisión de recursos fácilmente escalables y casi siempre virtualizados, tratados

Google BigQuery

3

como servicios sobre Internet.
El termino nube (cloud en ingles) es usado como una metáfora para el Internet,
basado en como el Internet es representado en los diagramas de redes computa-
cionales y como abstracción de la infraestructura subyacente que el misma oculta.
Los proveedores de cloud computing proveen aplicaciones en línea de negocio,
las mismas que se pueden acceder desde exploradores de internet (Firefox, IE,
Opera, Chrome, Safari, etc.), mientras el software y los datos son almacenados
en los servidores. [2]

3

Inicios de BigQuery

Big Data está convirtiendo en una parte integral de la logística de negocio de la
empresa. Hadoop es el marco y la tecnología detrás de Big Data.
Ofrece diversas herramientas para ingerir, procesar y analizar grandes conjuntos
de datos que normalmente se ejecutan en unos pocos terabytes de tamaño.
Aunque Hadoop ha madurado, sigue siendo considerado para el procesamiento
por lotes. La consulta y el análisis de datos en tiempo real con Hadoop es difícil
y costoso.
El corazón de Hadoop es el MapReduce, que no es el adecuado para consultas
interactivas. Las tecnologías como Impala y Apache Spark de Cloudera comen-
zaron a complementar MapReduce para hacer frente a los datos en tiempo real.
Aunque era Google el que en gran medida contribuyó al paradigma de MapRe-
duce, también es uno de los primeros en identificar sus inconvenientes. Los inge-
nieros de Google se dieron cuenta de que MapReduce no era ideal para consultar
conjuntos grandes, distribuidas de datos en tiempo real. Para solucionar este
problema, Google desarrolló una herramienta interna denominada Dremel, que
permitió ejecutar consultas SQL en grandes conjuntos de datos en tiempo real.
Dremel ha sido diseñado para ofrecer un excepcional rendimiento de consulta
rápida sobre los conjuntos de datos de datos distribuidos que se almacenan a
través de miles de servidores. Es compatible con un subconjunto de SQL para
consultar y recuperar datos.
En Google I/O 2012, Google anunció BigQuery que expuso Dremel con el mundo
exterior como un servicio en la nube. Desde entonces, BigQuery ha evolucionado
hasta convertirse en un alto rendimiento y escalable motor de consulta en la
nube.

4 Características

Algunas carácteristicas que posee esta herramienta:

– Velocidad, puede analizar miles de millones de filas en segundos.
– Escalable, capacidad de manejo de un gran tamaño de datos. Miles de

millones de registros con un tamaño de terabytes de datos.

– Simple, lenguaje de consulta similar a SQL. Alojado en la infraestructura

de Google.

4

Google BigQuery

– Múltiples permisos, diferentes accesos de usuario dependiendo de los per-

misos que se otorguen.

– Seguridad, posee acceso SSL (Secure Sockets Layer).
– Múltiples métodos de acceso, conectarse a BigQuery utilizando el naveg-
ador BigQuery, la herramienta de línea de comandos bq, API o Google Apps
Script.

5 Fundamentos de BigQuery

5.1 Proyectos

Los proyectos son contenedores de alto nivel en la plataforma de la nube de
Google. Almacenan información sobre la facturación y los usuarios autorizados,
y contienen datos BigQuery. Cada proyecto tiene un nombre y un identificador
único.

5.2 Tablas

Las tablas son las que contienen los datos en BigQuery, junto con el esquema
de la tabla correspondiente que describe los nombres de campos, tipos y otra
información.
BigQuery soporta vistas, tablas virtuales definidos por una consulta SQL. Además
crea tablas en una de las siguientes maneras:

– Cargando datos en una nueva tabla.
– Ejecución de consultas.
– Copiando una tabla.

5.3 Datasets

Datasets, es un conjunto de datos así como su nombre lo indica, corresponde a
los contenidos de una única tabla de base de datos en su versión más simple.
Los datasets permiten organizar y controlar el acceso a las tablas. Debido a que
las tablas están contenidas en bases de datos, se tendrá que crear al menos un
dataset para cargar datos en BigQuery.

5.4 Jobs

Los jobs, o trabajos, son acciones que se construyen y BigQuery ejecuta para
cargar datos, exportar datos, consultar de datos, o copiar datos.
Ya que los trabajos pueden tardar mucho tiempo en completarse, se ejecutan de
forma asincrónica y se puede consultar su estado.
BigQuery guarda la historia de todos los trabajos asociados al proyecto, accesible
a través de la consola para desarrolladores de Google.

6

Interactuando con BigQuery

Hay tres principales maneras de interactuar con BigQuery.

Google BigQuery

5

6.1 Cargando y exportando datos

Antes de que se pueda hacer consultas, primero habría que cargar los datos en
BigQuery. Si desea obtener los datos de nuevo de BigQuery, se debe exportar los
datos.

6.2 Consulta y visualización de datos

Una vez que usted carga sus datos en BigQuery, hay algunas formas de consulta
o vista de los datos de las tablas, estaremos citando algunas:

Consulta de datos

– Llamando al método bigquery.tabledata.query().
– Llamando al método bigquery.tabledata.insert() con una configuración de

consultas.

Visualización de datos

– Llamando al método bigquery.tabledata.list().
– Llamando al método bigquery.jobs.getQueryResults().

6.3 Manejo de datos

Además de la consulta y visualización de datos, puede administrar los datos en
BigQuery utilizando funciones que permiten las siguientes tareas:

– Listar proyectos, jobs, tablas y datasets.
– Obtener información sobre jobs, tablas y datasets.
– Actualización de tablas y datasets.
– Borrar tablas y datasets.

7 Precio

BigQuery utiliza una estructura de datos de tipo columnar. Se le cobra al usuario
el total de datos procesados en las columnas que seleccione, y el total de los d