Vector Database

Une Vector Database est une base de données spécialisée pour stocker, indexer et rechercher efficacement des vecteurs d'embeddings haute dimensionnalité (384-3072+ dimensions) avec des requêtes de similarity search (nearest neighbors). Composant fondamental des architectures RAG (Retrieval-Augmented Generation) et recommendation systems modernes.

Défi technique : recherche exacte des plus proches voisins est O(n) sur N vecteurs (linear scan) — impraticable pour millions/milliards de vecteurs. Solution : ANN (Approximate Nearest Neighbors) algorithms — HNSW (Hierarchical Navigable Small World, le plus utilisé), IVF (Inverted File Index), LSH (Locality-Sensitive Hashing), product quantization. Trade-off entre recall (accuracy) et latency.

Vector databases populaires : (1) **Pinecone** — managed SaaS leader, easy ops, expensive at scale ; (2) **Weaviate** — open source + cloud, hybrid search (vector + keyword BM25), modules ML built-in ; (3) **Qdrant** — Rust-based, open source self-hosted ou cloud, performant ; (4) **Chroma** — Python-first developer-friendly, good for prototyping ; (5) **Milvus** — open source CNCF graduated, distributed scalable ; (6) **pgvector** — PostgreSQL extension, leverages existing PG infra, simple ops ; (7) **Elasticsearch** et **OpenSearch** — kNN search added, mature distributed full-text + vector ; (8) **Redis** — vector search via Redis Stack ; (9) **AWS OpenSearch Service**, **Azure AI Search**, **Vertex AI Vector Search** — cloud managed ; (10) **MongoDB Atlas Vector Search** ; (11) **LanceDB** — embedded vector DB ; (12) **Marqo**.

Features clés : (1) HNSW indexing ; (2) metadata filtering (combine vector search + structured filters) ; (3) hybrid search (vector + BM25 lexical) ; (4) namespace/tenancy isolation ; (5) replicas et sharding ; (6) hot reindex (update embedding model sans downtime) ; (7) rerankers integration. Selection criteria : cost, scale, ops complexity, hybrid search needs, cloud lock-in tolerance, ecosystem integration. Compétences AI-102, PMLE.