Servicios de Google Cloud para almacenamiento

Google Cloud ofrece muchos servicios diferentes que cubren las necesidades de los datos y aplicaciones Big Data. Todos estos servicios tienen sus pros y sus contras, por lo que se hará un estudio de las características que definen cada servicio para saber cuál es el mejor servicio de almacenamiento en cada momento.

A continuación, se explicará para qué sirve cada uno de estos servicios, los beneficios que contiene y el coste de cada servicio.

1. Storage

1.1. Cloud Storage

Cloud Storage ofrece un servicio de almacenamiento de objetos de alta durabilidad que se puede escalar hasta exabytes de datos. Proporciona un acceso instantáneo a los datos desde cualquier servicio.

Características de Cloud Storage:

• Almacenamiento persistente.
• Se trata de un área de ensayo para otros servicios.
• Almacenamiento en clases.
• Siempre se tiene el control de acceso al proyecto, se define como Bucket.
• Permite almacenamiento tanto en streaming como en batch.
• Cloud Storage soporta el versionado.
• Soporta múltiples opciones de encriptación.

Este servicio se puede extender a su vez en cuatro tipos de almacenamiento determinados por la cantidad de uso y coste.

1. Standard storage: este tipo de almacenamiento es usado con frecuencia cuando se pretende realizar consultas de manera activa o en un breve periodo de tiempo. Este modo es el más usado ya que se trata de un servicio bastante barato y de cómodo uso.
2. Nearline storage: este tipo de almacenamiento es de bajo coste y con gran durabilidad para un almacenamiento el cual se consulta con poca frecuencia. Este servicio se debe usar cuando la duración del almacenamiento sea superior a 30 días y la disponibilidad no sea un detalle a tener en cuenta.
3. Coldline storage: este tipo de almacenamiento es usado cuando la disponibilidad sea muy inferior a los otros 2 tipos y la duración del almacenamiento sea como mínimo 90 días.
4. Archive storage: este tipo de almacenamiento es el servicio más duradero y de menor coste si se desea archivar datos o realizar copias de seguridad que se van a consultar con una frecuencia nula, es decir, el almacenamiento mínimo para este tipo de servicio debe ser de 365 días.

La característica más destacable de Cloud Storage es la capacidad de almacenar cualquier tipo de archivo, CSV, JSON, AVRO, hasta imágenes.

También cabe destacar que este servicio presenta una estructura de ficheros similar a Windows, pero la realidad es que por detrás no existe una estructura de ficheros y carpetas, sino que Google lo denomina objetos, y no es más que una ruta directa de un bucket a un fichero.

Precio:

El precio se basa en la cantidad de datos almacenados, los recursos de red, cantidad de operaciones de operaciones sobre esos datos. Es decir, cuanto mayor sea el peso del archivo y cuantos más accesos se haga al mismo mayor será el precio. Este tipo de almacenamiento suele llamarse Cold, ya que no se realizan muchas operaciones. El precio estándar es de 1GB de datos almacenados.

Conclusión:

Si se va a realizar un almacenamiento de datos histórico, datos sin estructurar o bien se desea crear un datalake para un proyecto, las mejores prácticas de Google recomiendan usar Cloud Storage.

1.2. Cloud SQL

Se trata de un servicio de almacenamiento de bases de datos relacionales como son MYSQL, POSTGRES y SQL SERVER. Esta solución tiene conexión con prácticamente cualquier aplicación y desde cualquier parte.

Cloud SQL realiza conmutaciones por error y crea copias de seguridad y réplicas, lo que permite que la base de datos sea segura, de alta disponibilidad y flexible para ofrecer un gran rendimiento.

Características de Cloud SQL:

• Soporta la mayoría de sentencias, funciones disparadores y vistas de mysql.
• No soporta funciones de usuario, esquema de replicación, sentencias y funciones de archivos y plugin.
• Rápido, se puede conectar la instancia de Cloud SQL en la misma región que tenga la App Engine o Compute Engine con un gran ancho de banda.
• Para la parte de seguridad Cloud SQL reside de forma segura en Google data centers

Precio:

El precio varía en función del tipo de base de datos que se utilice, la cantidad de almacenamiento, memoria y CPU que se quiera utilizar.

Conclusión:

Si los datos están estructurados, pero no tenemos que realizar el proceso de análisis de estos datos, se trata de datos relacionales y sobre todo el almacenamiento no requiere de más de 10TB, las mejores prácticas de Google recomiendan el uso de Cloud SQL.

1.3. Cloud BigTable

BigTable se trata de una base de datos tipo NOSQL, Google recomienda usar este tipo de base de datos para tecnologías de anuncios, finanzas o IOT. Esta base de datos está destinada a un alto rendimiento y su estructura está basada en Hbase.

Características de BigTable:

• Latencia constante por debajo de los 10 ms.
• Alto rendimiento.
• Acceso diseñado para optimizar el rango de celdas mediante key prefixes.
• Esquema definido
• Control de acceso
• Diseño de rendimiento
• Escoger entre HDD y SSD
• Bueno para un almacenamiento columnar
• Serveless

Precio:

Cloud Bigtable es un servicio de base de datos NoSQL rápido, totalmente gestionado y con enorme escalabilidad. El precio varía dependiendo del almacenamiento que se use, si es SSD será bastante más caro que usar HDD, aunque la velocidad también varía proporcionalmente al precio.

Conclusiones:

Si los datos son estructurados, necesitan un análisis y se requiere una latencia baja, las mejores prácticas de Google recomiendan usar Cloud BigTable.

1.4. Cloud Spanner

Cloud Spanner es el primer servicio de base de datos escalable de categoría empresarial con fuerte consistencia y distribuido por todo el mundo que se ha creado específicamente para la nube. Así, combina las ventajas de la estructura de las bases de datos relacionales con la escalabilidad horizontal de las no relacionales.

Características de Cloud Spanner:

• Global.
• Totalmente administrado.
• Base de datos relacional con consistencia transaccional.
• Se tiene que definir el esquema para cada base de datos y se debe especificar los tipos de datos de cada columna en cada tabla.

Precio:

Los precios son sencillos y predecibles, se cobra por el número de nodos de la instancia, la cantidad de almacenamiento que usen las tablas y la cantidad de ancho de banda de la red utilizada.

Conclusiones:

Si los datos son estructurados, no necesitan análisis, son relacionales y aquí viene la diferencia con cloudSQL, necesita escalabilidad horizontal y el almacenamiento es de más de 10 TB as mejores prácticas de Google recomiendan usar Cloud Spanner.

1.5. BigQuery

BigQuery es un almacén de datos en la nube de bajo coste, gran escalabilidad y sin servidor diseñador para tomar decisiones. Permite almacenar y consultar conjuntos de datos masivos.

Características de BigQuery:

• Almacenamiento de petabytes.
• Familiarizado con bases de datos relacionales
• Estructura en forma de tabla con lenguaje SQL
• Integrado con todos los servicios de GCP
• No soporta transacciones en OLAP
• Máximo número de celdas es 10MB

Precio:

Se paga por separado la información almacenada y el número de consultas por GB. Se puede pagar por terabyte o por coste mensual dependiendo de las preferencias.

Conclusión:

Si tus datos son estructurados, necesitas analizarlos y visualizarlos en dashboards con poca latencia, Google recomienda que uses bigQuery.

Este es el caso más sencillo de ver ya que solo hay que pensar si se necesita visualización y análisis o no.

Tabla comparativa

Hiberus cuenta con una unidad especializada en Data & Analytics formada por un equipo de profesionales con amplio expertise en tecnología, análisis de datos e innovación.  Desde esta unidad se ofrecen soluciones integrales de consultoría estadística y análisis de datos con especialización por áreas de conocimiento.

Ponte en contacto con nosotros y estaremos encantados de ayudarte.