简介

向量数据库存储和检索高维向量数据，是AI应用（特别是RAG和语义搜索）的核心基础设施。本节介绍向量数据库的原理和使用方法。

Embedding基础

# 生成文本的向量表示
from openai import OpenAI

client = OpenAI(api_key="your-api-key")

def get_embedding(text, model="text-embedding-3-small"):
    response = client.embeddings.create(
        model=model,
        input=text
    )
    return response.data[0].embedding

# 计算文本相似度
import numpy as np

def cosine_similarity(vec1, vec2):
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

texts = ["Python编程", "Java开发", "机器学习", "烹饪教程"]
vectors = [get_embedding(t) for t in texts]

query = get_embedding("写代码")
for text, vec in zip(texts, vectors):
    sim = cosine_similarity(query, vec)
    print(f"{text}: {sim:.4f}")
# Python编程: 0.8923
# Java开发: 0.8512
# 机器学习: 0.7234
# 烹饪教程: 0.3210

使用Chroma向量数据库

# Chroma向量数据库使用
import chromadb

client_chroma = chromadb.PersistentClient(path="./vector_db")

collection = client_chroma.get_or_create_collection(
    name="articles",
    metadata={"hnsw:space": "cosine"}
)

# 添加文档
documents = [
    "Python是一种解释型编程语言",
    "Java是面向对象的编程语言",
    "JavaScript用于Web前端开发",
    "机器学习是AI的子领域"
]

embeddings = [get_embedding(doc) for doc in documents]
collection.add(
    documents=documents,
    embeddings=embeddings,
    ids=[f"doc_{i}" for i in range(len(documents))],
    metadatas=[{"source": "tutorial"} for _ in documents]
)

# 语义搜索
query_text = "编程语言有哪些"
query_embedding = get_embedding(query_text)
results = collection.query(
    query_embeddings=[query_embedding],
    n_results=3
)
for doc, dist in zip(results["documents"][0], results["distances"][0]):
    print(f"[{1-dist:.4f}] {doc}")

使用Pinecone

# Pinecone云向量数据库
from pinecone import Pinecone, ServerlessSpec

pc = Pinecone(api_key="your-api-key")
index_name = "ai-articles"

# 创建索引
if index_name not in [i.name for i in pc.list_indexes()]:
    pc.create_index(
        name=index_name,
        dimension=1536,
        metric="cosine",
        spec=ServerlessSpec(cloud="aws", region="us-east-1")
    )

index = pc.Index(index_name)

# 批量插入向量
vectors = [
    {"id": "doc_0", "values": get_embedding("Python编程"), "metadata": {"topic": "programming"}},
    {"id": "doc_1", "values": get_embedding("机器学习"), "metadata": {"topic": "ai"}}
]
index.upsert(vectors=vectors)

# 查询
query_vec = get_embedding("如何学编程")
result = index.query(vector=query_vec, top_k=3, include_metadata=True)
for match in result.matches:
    print(f"[{match.score:.4f}] {match.metadata}")

小结

向量数据库是AI应用的核心组件。选择时考虑：数据量（小规模用Chroma，大规模用Pinecone/Milvus）、查询延迟、成本。Embedding模型的选择直接影响搜索质量，建议根据场景选择合适的模型。

家庭AI编程-学习路线