Lacs de Données Modernes : Comparaison entre HDFS et Amazon S3 pour l'Analyse à Grande Échelle

Le choix de la couche de stockage pour un data lake a un impact direct sur sa scalabilité, son coût et sa compatibilité avec les outils analytiques. Historiquement, HDFS (Hadoop Distributed File System) a alimenté de nombreux data lakes sur site ou hybrides. Aujourd’hui, Amazon S3 s’impose comme une alternative cloud-native grâce à son stockage objet et sa compatibilité avec les moteurs analytiques modernes et les formats ouverts.

Cet article compare HDFS et Amazon S3 comme fondation de data lake, et montre comment S3 prend en charge Parquet, Avro, les requêtes Hive, et les workflows Delta Lake.

Comparaison Principale : HDFS vs S3

Prise en Charge des Formats Ouverts

Amazon S3 prend en charge un large éventail de formats adaptés aux charges analytiques diverses :

• Parquet : format colonnaire compressé, optimal pour les scans
• Avro : format ligne avec gestion de l’évolution du schéma
• ORC, CSV, JSON : compatibles avec Hive, Trino, Athena

Ces formats peuvent être générés via Spark, Flink, Pandas, ou directement via AWS CLI/SDK.

Interrogation avec Hive, Athena et Trino

Pour rendre les données interrogeables, vous pouvez définir des tables Hive externes qui pointent vers des chemins S3 :

CREATE EXTERNAL TABLE logs (
  user_id STRING,
  event_time TIMESTAMP,
  event_type STRING
)
STORED AS PARQUET
LOCATION 's3://your-bucket/logs/';

Gestion de métadonnées via :

• AWS Glue Catalog (compatible Hive)
• Apache Hive Metastore
• Catalogues Iceberg ou Delta Lake

Les moteurs comme Amazon Athena, Trino ou EMR Presto peuvent exécuter des requêtes SQL directement sur ces fichiers, sans les déplacer.

Utilisation de S3 avec Delta Lake

S3 peut être configuré pour supporter Delta Lake, un format qui ajoute transactions ACID, versionnage et time-travel aux data lakes :

1. Installer les librairies Delta avec Spark.
2. Sauvegarder les données sur S3 en format Delta :

spark.write.format("delta").save("s3a://your-bucket/my-table")

3. Lire les données :

spark.read.format("delta").load("s3a://your-bucket/my-table")

4. Utiliser AWS Glue pour découvrir les schémas et activer le versionnage S3 pour la sécurité des rollbacks.

Cela permet d’implémenter une architecture lakehouse complète sur Amazon S3.

Mouvement des Données avec les SDK Amazon

S3 est souvent désigné comme Amazon S3 pour souligner sa prise en charge riche via les SDKs officiels :

• Python (boto3)
• Java (AWS SDK)
• JavaScript (AWS SDK v3)
• Go, Rust, C++, etc.

Cela permet d’automatiser facilement les transferts, la réplication, la compression, et le tagging des objets.

Cas d’Usage Recommandés

Conclusion

HDFS reste utile pour les environnements Hadoop traditionnels. Cependant, Amazon S3 offre une compatibilité plus large, une scalabilité simplifiée et un meilleur contrôle des coûts — surtout en combinaison avec Spark, Athena ou Trino.

Avec sa prise en charge native de Parquet, Avro, Hive, Delta Lake et des SDKs Amazon, S3 est devenu la fondation incontournable des data lakes cloud modernes.