Lagos de Datos Modernos: Comparación entre HDFS y Amazon S3 para Análisis Escalable

Elegir la capa de almacenamiento adecuada para tu data lake tiene un impacto directo en la escalabilidad, el costo y la compatibilidad con herramientas analíticas. Tradicionalmente, HDFS (Hadoop Distributed File System) ha impulsado muchos data lakes locales o híbridos. Hoy en día, Amazon S3 se ha posicionado como una alternativa líder en la nube —ofreciendo almacenamiento de objetos compatible con motores analíticos modernos y formatos abiertos.

Este artículo compara HDFS y Amazon S3 como base de un data lake y explica cómo S3 admite formatos como Parquet, Avro, consultas Hive y flujos de trabajo Delta Lake de forma nativa.

Comparación Clave: HDFS vs S3

Soporte para Formatos Abiertos

Amazon S3 admite múltiples formatos diseñados para flujos analíticos modernos:

• Parquet: columnar, comprimido, eficiente para escaneos
• Avro: basado en filas, soporta evolución de esquemas
• ORC, CSV, JSON: compatibles con Hive, Trino y Athena

Estos archivos pueden generarse mediante Spark, Flink, Pandas, o subirse con AWS CLI o SDKs.

Consultas con Hive, Athena y Trino

Para habilitar consultas SQL sobre datos en S3, puedes definir tablas externas Hive que apunten a rutas S3:

CREATE EXTERNAL TABLE logs (
  user_id STRING,
  event_time TIMESTAMP,
  event_type STRING
)
STORED AS PARQUET
LOCATION 's3://your-bucket/logs/';

Gestión de catálogos mediante:

• AWS Glue Catalog (compatible con Hive)
• Apache Hive Metastore
• Sistemas de catálogo como Iceberg o Delta Lake

Herramientas como Amazon Athena, Trino o EMR Presto pueden ejecutar consultas directamente sobre estos datos sin necesidad de moverlos.

Uso de Amazon S3 con Delta Lake

Puedes configurar Amazon S3 para soportar Delta Lake, un formato que introduce transacciones ACID, versionado y time travel en tu data lake:

1. Instalar bibliotecas Delta en tu entorno Spark.
2. Escribir datos en formato Delta hacia S3:

spark.write.format("delta").save("s3a://your-bucket/my-table")

3. Leer los datos:

spark.read.format("delta").load("s3a://your-bucket/my-table")

4. Usar AWS Glue para el descubrimiento de esquemas y habilitar el versionado de objetos S3 para recuperación segura.

Esto habilita una arquitectura lakehouse completa en S3.

Movimiento de Datos con SDKs de Amazon

Amazon S3 se utiliza frecuentemente con SDKs para automatizar flujos de datos, siendo compatible con:

• Python (boto3)
• Java (AWS SDK)
• JavaScript (AWS SDK v3)
• Go, Rust, C++, entre otros

Estos SDKs permiten cargar archivos, replicarlos, comprimirlos y etiquetarlos con metadatos de manera programática.

Casos de Uso Recomendados

Reflexión Final

Aunque HDFS sigue siendo relevante en entornos Hadoop tradicionales, Amazon S3 ofrece mayor compatibilidad, escalabilidad más sencilla y mejor control de costos —especialmente cuando se combina con motores modernos como Spark, Athena o Trino.

Con soporte nativo para Parquet, Avro, Hive, Delta Lake y SDKs de Amazon, S3 se consolida como la base preferida para los data lakes modernos en la nube.

---