Big Data en Amazon Web Services (IFCT129PO)

Se sitúan los conceptos generales del Big Data como marco previo y se trabajan las vías de ingesta, transferencia y compresión de datos hacia la plataforma.

Se revisan las distintas soluciones de almacenamiento disponibles y los criterios para elegir entre ellas, y se practica el almacenamiento y la consulta de datos sobre DynamoDB.

Se aborda el procesamiento de grandes volúmenes de datos y el tratamiento de flujos con Amazon Kinesis.

Se introducen Apache Hadoop y el servicio gestionado Amazon EMR, se trabaja su uso práctico para procesar datos distribuidos y se estudian los marcos de programación del ecosistema Hadoop, incluido MapReduce.

Se procesan registros de servidor mediante Hive, se aplica el streaming de Hadoop sobre un caso real, se emplea Hue para facilitar el trabajo y ejecutar scripts de Pig, y se introduce Spark con la creación y consulta interactiva de tablas mediante Spark SQL.

Se revisan los mecanismos de control y optimización del coste de Amazon EMR y se aplican medidas de protección sobre sus implementaciones.

Se comparan los almacenes de datos y los datastores orientados a columnas, se presenta Amazon Redshift como almacén de datos para escenarios de Big Data y se trabajan las técnicas de optimización de su entorno.

Se revisan los patrones de diseño habituales en arquitecturas de Big Data y se abordan la visualización de resultados y la orquestación de los procesos, utilizando TIBCO Spotfire para visualizar grandes volúmenes de datos.