Multi-modal AI

Les modèles Multi-modal sont des IA capables de traiter et générer multiple modalités simultanément : texte, image, audio, video, code. Évolution majeure depuis 2022-2023 — modèles natifs multimodaux vs concaténation de modèles spécialisés.

Modèles multi-modal leaders : (1) **GPT-4o** (OpenAI 2024) — omni-modal native (text, image, audio in/out) ; (2) **Claude 3+** (Anthropic) — vision native ; (3) **Gemini 1.5/2.0** (Google) — natively multimodal trained ; (4) **Pixtral** (Mistral) ; (5) **Llama 3.2 Vision** ; (6) **Qwen-VL** ; (7) **LLaVA** open source.

Use cases : (1) **VQA** (Visual Question Answering) — "que se passe-t-il dans cette image ?" ; (2) **OCR + reasoning** — extraire data depuis screenshots, factures, formulaires ; (3) **Image captioning** ; (4) **Multimodal RAG** — search documents avec images + text ; (5) **Document understanding** (PDFs, slides, tables) ; (6) **Voice assistants** réalistes (GPT-4o voice mode) ; (7) **Video understanding** — Gemini analyse videos heures-longues ; (8) **Code from sketches** — UI mockup → React code ; (9) **Accessibility** — image description pour blind users ; (10) **Robotics** — perception + action.

Architecture : embedding partagé pour multiple modalities (CLIP-style contrastive learning combine text + image embeddings same space), ou tokenization spécifique par modality (image tokens, audio tokens) concatenés avec text tokens dans Transformer commun.

Défis : (1) data alignement (paired text-image-audio datasets rares) ; (2) compute massif pour entraîner ; (3) hallucinations cross-modal (le model invente what's in image) ; (4) evaluation harder (benchmarks moins matures). Compétences AI-102, AIF-C01.