Amazon Kinesis (Data Streams / Firehose / Analytics)

Amazon Kinesis est la famille de services AWS pour ingérer, traiter et analyser des flux de données en temps réel à grande échelle. Lancée en 2013, elle comprend plusieurs produits complémentaires couvrant l'ensemble du pipeline streaming.

(1) Kinesis Data Streams (KDS) — service streaming low-latency (millisecondes) pour ingérer des millions d'événements/seconde. Basé sur le concept de shards (1 MB/s ou 1000 records/s entrée, 2 MB/s sortie par shard), avec mode On-Demand (depuis 2021) qui scale automatiquement. Données retenues 24h-365j. Consumers utilisent KCL (Kinesis Client Library) pour processing avec checkpointing automatique ou Enhanced Fan-Out pour latence push <70ms.

(2) Kinesis Data Firehose — service serverless pour déverser un stream vers un destination de stockage (S3, Redshift, OpenSearch, Snowflake, Datadog, Splunk, custom HTTP). Buffering automatique (5MB ou 5min), compression (GZIP/Snappy), conversion format (Parquet/ORC via Glue), transformation Lambda. Aucune gestion de shards, paiement à la donnée ingérée.

(3) Managed Service for Apache Flink (anciennement Kinesis Data Analytics) — exécution managée d'applications Apache Flink (Java, Scala, Python, SQL) pour traitement streaming complexe : windowing, aggregations, joins, ML inferences. Auto-scaling, exactly-once processing, intégration avec Kinesis Streams, MSK, S3.

(4) Kinesis Video Streams — ingestion vidéo temps réel depuis cameras IoT, integration AWS Rekognition pour computer vision, WebRTC pour interactive video. Use cases : Ring doorbell, autonomous driving data.

Différences avec MSK (Managed Kafka) et SQS : (1) SQS = queue point-to-point, pas streaming ; (2) Kinesis = stream avec replay (data retention), ordering par partition key, multiple consumers indépendants — analogue à Kafka mais managed AWS-native ; (3) MSK = vrai Apache Kafka managé pour compatibilité écosystème Kafka (Connect, Streams, Schema Registry).

Use cases : log aggregation (CloudWatch Logs → Firehose → S3), clickstream analytics, IoT telemetry, fraud detection real-time, CDC (Change Data Capture), ML feature engineering streaming. Pricing : KDS shards 0.015\$/shard-h ; Firehose 0.029\$/GB ingéré + transformations. Certifications : DEA-C01, SAA-C03, MLA.