AWS Batch

AWS Batch est un service entièrement géré qui permet d'exécuter des charges de travail batch (calcul scientifique, simulations financières, transcodage vidéo, ML training, ETL volumineux) à n'importe quelle échelle, en provisionnant automatiquement le bon type et la bonne quantité de ressources de calcul (EC2 spot, EC2 on-demand, Fargate) selon les besoins.

Concepts : (1) Job Definition — template décrivant le container, vCPU/memory, IAM role, retry policy, timeout ; (2) Job Queue — file d'attente avec priorité, mappée à un ou plusieurs Compute Environments ; (3) Compute Environment — pool de ressources (managed = AWS gère le scaling EC2/Fargate ; unmanaged = vous gérez) ; (4) Job — instance exécutée, peut être Array Job (10000 jobs en 1 commande), Multi-node parallel (MPI), GPU.

Intégrations : (1) Job dependencies (DAG via depends-on) — chaîner des jobs ; (2) Step Functions pour workflows complexes ; (3) EventBridge triggers ; (4) Lustre / EFS / FSx pour shared storage HPC ; (5) ECR pour container images ; (6) Spot pricing intégré nativement avec retry on interruption.

Cas d'usage : (1) génomique (alignment, variant calling) — Illumina, 23andMe l'utilisent ; (2) finance — Monte Carlo simulations, risk calculations ; (3) ML training distribué sur GPU ; (4) media — encoding vidéo (Netflix, etc.) ; (5) scientific computing (drug discovery, climate modeling) ; (6) ETL big data hors Spark/EMR pour cas simples.

Différences avec ECS/EKS : ECS/EKS sont orchestrateurs long-running (services) ; Batch est optimisé pour jobs courts à très longs (heures-jours) avec queueing/priority, gestion des dépendances, et scaling à zéro entre les jobs. Pour des pipelines ML complexes, Batch est souvent combiné avec Step Functions ou Airflow.

Gratuit (pas de frais Batch supplémentaires — vous payez uniquement les ressources EC2/Fargate utilisées). Le plus gros levier d'économie : utiliser EC2 Spot Compute Environments (jusqu'à -90% par rapport on-demand). Certifications : SAA-C03, DEA-C01 (Data Engineer), MLS-C01 (ML Specialty).