Amazon MSK (Managed Streaming for Apache Kafka)

Amazon MSK (Managed Streaming for Apache Kafka) est le service AWS managé exécutant Apache Kafka, lancé en 2019. AWS gère le provisioning, patching, monitoring, ZooKeeper/KRaft, scaling, sauvegardes, tout en maintenant 100% de compatibilité avec Kafka open source — vos producers/consumers Kafka standard fonctionnent sans modification.

Deux modes : (1) MSK Provisioned — vous choisissez instance types (kafka.m5/m7g, T3 pour dev), nombre de brokers (3-30 par cluster), storage (EBS gp3 jusqu'à 16 TB/broker), encryption, network ; (2) MSK Serverless — pas de capacity planning, auto-scaling, pay-per-throughput (200 MB/s par cluster par défaut, jusqu'à 5 partitions ratios). Idéal pour workloads spiky ou inconnus.

Features : (1) MSK Connect — service managé de Kafka Connect pour CDC (Debezium connector vers Postgres/MySQL/MongoDB), S3 sink, JDBC sink/source, etc. ; (2) MSK Replicator — réplication multi-region active-active sans MirrorMaker à gérer ; (3) tiered storage — données chaudes sur brokers, froides sur S3 transparent ; (4) IAM authentication (en plus de SASL/SCRAM, mTLS) ; (5) intégration CloudWatch, Kafka metrics, OpenTelemetry ; (6) KRaft mode (no ZooKeeper) depuis 2024 ; (7) Glue Schema Registry pour Avro/Protobuf/JSON Schema validation.

MSK vs Kinesis Data Streams : (1) MSK = vrai Kafka, écosystème riche (Kafka Streams, ksqlDB, Connect ecosystem, Schema Registry, Kafka Connect connectors par milliers), portable hors AWS ; (2) Kinesis = AWS-native, plus simple à opérer, intégration profonde services AWS (Lambda, Firehose, IAM), moins de fonctionnalités streaming avancées (no SQL like ksqlDB native). Choisir Kafka/MSK pour : équipes Kafka existantes, multi-cloud, écosystème connecteurs, Kafka Streams. Choisir Kinesis pour : AWS-native, simplicité, intégrations Lambda/Firehose immédiates.

Pricing : Provisioned ~0.20\$/broker-h + EBS + data transfer ; Serverless 0.75\$/cluster-h + 0.10\$/GB throughput. Plus cher au throughput pur que Kinesis souvent, mais l'écosystème Kafka compense pour des architectures sophistiquées. Use cases : event sourcing, microservices event bus, CDC pipelines, log aggregation, real-time analytics, machine learning feature pipelines.