Embedding (Vector Embedding)

Un Embedding (vector embedding) est une représentation numérique d'un objet (texte, image, audio, code) sous forme de vecteur dense de dimensions fixes (typiquement 384 à 3072), capturant son sens sémantique. Deux objets sémantiquement similaires ont des embeddings proches dans l'espace vectoriel (mesuré par distance cosinus, euclidienne, dot product).

Utilisation : (1) semantic search — embed query + documents, retrieve documents whose embeddings most similar à query ; (2) RAG (Retrieval-Augmented Generation) — fetcher documents pertinents pour augmenter LLM context ; (3) recommendation systems — find similar items ; (4) clustering ; (5) classification ; (6) duplicate detection ; (7) anomaly detection.

Modèles d'embedding populaires : (1) OpenAI text-embedding-3-small (1536 dim, $0.02/1M tokens) et text-embedding-3-large (3072 dim, $0.13/1M) ; (2) Cohere embed-english-v3 et embed-multilingual-v3 ; (3) Voyage AI voyage-3 (high-perf) ; (4) Google Vertex AI embeddings ; (5) Mistral embed ; (6) open source : Sentence Transformers (all-MiniLM-L6-v2 384 dim — small/fast, all-mpnet-base-v2, BGE-large) ; (7) E5, GTE, Jina embeddings ; (8) HuggingFace MTEB leaderboard tracks performance.

Vector databases stockent et indexent les embeddings : Pinecone, Weaviate, Qdrant, Chroma, Milvus, pgvector (Postgres extension), Elasticsearch, OpenSearch, Redis vector, AWS OpenSearch, Azure AI Search.

Dimensions vs performance trade-off : higher dimensions = better semantic capture but slower search and more storage. Matryoshka Representation Learning (depuis 2024) : modèles outputtent embeddings truncatable (3072 → 1024 → 256) sans réentraînement, optimisant cost/perf. Compétences AI-102, AIF-C01.