Few-Shot Learning (In-Context Learning)

Few-Shot Learning (aussi appelé In-Context Learning — ICL) est la capacité d'un LLM à apprendre une tâche depuis quelques exemples (typiquement 2-10) fournis directement dans le prompt, sans aucun gradient update / training. Capability émergente démontrée massivement par GPT-3 (Brown et al. 2020) — modèle suffisamment large "apprend" à généraliser depuis exemples in-context.

Exemple few-shot classification :
```
Classify sentiment:
Input: 'I love this product!' → positive
Input: 'Terrible quality' → negative
Input: 'It's okay, nothing special' → neutral
Input: 'Best purchase ever made' → ?
```
LLM répond : "positive".

Force vs Zero-Shot : few-shot dramatically improves accuracy quand : (1) format de réponse spécifique requis (model imite format des exemples) ; (2) tâche niche ou ambiguë sans context ; (3) terminologie/jargon domaine-spécifique ; (4) edge cases visibles dans exemples.

Variantes :
(1) **One-shot** — single example.
(2) **Few-shot** — 2-10 examples typically.
(3) **Many-shot** — 50-1000+ examples possible avec long context models (Gemini 1.5, Claude). Research récente (DeepMind 2024) montre many-shot peut rivaler fine-tuning pour certaines tasks.

Best practices few-shot prompting :
(1) **Diverse examples** representative of task distribution ;
(2) **Consistent format** entre exemples (model apprend format) ;
(3) **Order matters** — récents examples plus influents (recency bias) ; mélanger different classes pour avoid biais ;
(4) **Include edge cases** explicitement ;
(5) **Label balance** — éviter biais classes ;
(6) **Clear delimiters** entre exemples (---, \n\n) ;
(7) **Mix easy + hard examples** ;
(8) **Verify accuracy gain** vs zero-shot empiriquement.

Limitations : (1) context window consumed (cost + latency) ; (2) inconsistency entre runs ; (3) sensitive au choice d'exemples ; (4) limited to ~10-100 examples for most use cases ; (5) bias vers exemples récents.

Quand passer à fine-tuning : si few-shot reaches ceiling, considérer fine-tuning (full ou LoRA) avec dataset plus grand pour internalize task definitively. Fine-tuning supérieur pour : tâches répétées high-volume (cost amortization), formats très spécifiques, domaines niches profond. Compétences AI-102, PMLE.