RAG——RAG向量数据库原理与常用向量库

目录一、向量数据库的分类二、为什么需要向量数据库2.1、什么场景下该选择什么样的数据库2.2、向量数据库的主要优势三、向量数据库是如何工作的3.1、向量数据库的核心3.2、 向量数据库的索引结构3.3、向量数据库的搜索机制3.4、向量数据库的工作流程3.5、向量数据库的主要功能四、常用向量数据库五、向量数据库实战一、向量数据库的分类在人工智能AI主导的时代文字、图像、语音、视频等多模态数据的复杂性显著增加。由于这些数据具有非结构化和多维特征向量表示能够有效表示语义和捕捉其潜在的语义关系促使向量数据库成为存储、检索和分析高维数据向量的关键工具。向量数据库的分类依据是否开源与是否为专用向量数据库将其分为四类开源的专用向量数据库如 Chroma、Vespa、LanceDB、Marqo、Qdrant 和 Milvus这些数据库专门设计用于处理向量数据。支持向量搜索的开源数据库如 OpenSearch、PostgreSQL、ClickHouse 和 Cassandra它们是常规数据库但支持向量搜索功能。商用的专用向量数据库如 Weaviate 和 Pinecone它们专门用于处理向量数据但属于商业产品或通过商业许可获得源码。支持向量搜索的商用数据库如 Elasticsearch、Redis、Rockset 和 SingleStore这些常规数据库支持向量搜索功能同时属于商业产品或可通过商业许可获得源码。在这里插入图片描述二、为什么需要向量数据库传统数据库通常分为关系型SQL数据库和非关系型NoSQL数据库其中存储复杂、非结构化或半结构化信息的需求主要依赖于非关系型数据库的能力。图中展示了三种非关系型数据库类型与向量数据库键值数据库Key-Value通常用于简单的数据存储通过键来快速访问数据。文档数据库Document用于存储文档结构的数据如 JSON 格式。图数据库Graph用于表示和存储复杂的关系数据常用于社交网络、推荐等场景。向量数据库Vector用于存储和检索基于向量表示的数据用于 AI 模型的高维度和复杂的嵌入向量。2.1、什么场景下该选择什么样的数据库示例1如果你想要找到一本特定的书只需通过书名来精准定位信息键值数据库是最理想的选择。示例2如果你需要查询一本书的详细章节内容、作者简介等复杂的结构化信息文档数据库则更为适用。示例3如果你的目标是了解书籍之间的推荐关系或者探索作者之间的合作网络图数据库可以高效存储和查询这些复杂的关系数据。示例4如果你希望找到与某本书内容相似的书籍比如基于主题、风格等特征进行相似性搜索向量数据库则能够通过计算书籍内容语义在向量空间中的距离为你提供语义最相关的数据信息。2.2、向量数据库的主要优势向量数据库的核心在于其能够基于向量之间的相似性快速、精确地定位和检索数据。这类数据库不仅为向量嵌入提供了优化的存储和查询功能同时也继承了传统数据库的诸多优势如性能、可扩展性和灵活性满足了充分利用大规模数据的需求。相比之下传统的基于标量的数据库由于无法应对数据复杂性和规模化处理的挑战难以有效提取洞察并实现实时分析。优势体现在以下几个方面数据管理向量数据库提供了易于使用的数据存储功能如插入、删除和更新操作。与独立的向量索引工具如 Faiss相比这使得向量数据的管理和维护更加简便因为 Faiss 需要额外的工作才能与存储解决方案集成。元数据存储和筛选向量数据库能够存储与每个向量条目关联的元数据用户可以基于这些元数据进行更细粒度的查询从而提升查询的精确度和灵活性。可扩展性向量数据库设计旨在应对不断增长的数据量和用户需求支持分布式和并行处理并通过无服务器架构优化大规模场景下的成本。实时更新向量数据库通常支持实时数据更新允许动态修改数据以确保检索结果的时效性和准确性。备份与恢复向量数据库具备完善的备份机制能够处理数据库中所有数据的例行备份操作确保数据的安全性与持久性。生态系统集成向量数据库能够与数据处理生态系统中的其他组件如 ETL 管道中的 Spark、分析工具如 Tableau 和 Segment、可视化平台如 Grafana轻松集成从而简化数据管理工作流程。此外它还能够无缝集成 AI 相关工具如 LangChain、LlamaIndex 和 Cohere进一步增强其应用潜力。数据安全与访问控制向量数据库通常提供内置的数据安全功能和访问控制机制以保护敏感信息。通过命名空间实现的多租户管理允许用户对索引进行完全分区甚至可以在各自的索引中创建完全隔离的分区确保数据的安全性和访问的灵活性。由于其上述特性向量数据库可以广泛应用于 LLM RAG 系统、推荐系统、异常检测、计算机视觉、自然语言处理等多种 AI 产品生产场景中。综上所述向量数据库是一类专门为生产场景下的向量嵌入管理而构建的数据库。与传统的基于标量的数据库及独立的向量索引相比向量数据库在性能、可扩展性、安全性和生态系统集成等方面展现了显著的优势为现代数据管理提供了强有力的支持。三、向量数据库是如何工作的向量数据库是一种专门用于存储和检索多维向量的数据库类型与传统的基于行列结构的数据库不同它主要处理高维空间中的数据点。传统数据库通常处理字符串、数字等标量数据并通过精确匹配来查询数据。然而向量数据库的操作逻辑则是基于相似性搜索即在查询时应用特定的相似性度量如余弦相似度、欧几里得距离等来查找与查询向量最相似的向量。3.1、向量数据库的核心向量数据库的核心在于其高效的索引和搜索机制。为了优化查询性能它采用了如哈希、量化和基于图形的多种算法。这些算法通过构建如层次化可导航小世界HNSW图、产品量化PQ和位置敏感哈希LSH等索引结构显著提升了查询速度。这种搜索过程并非追求绝对精确而是通过近似最近邻ANN算法在速度与准确性之间进行权衡从而实现快速响应。3.2、 向量数据库的索引结构向量数据库的索引结构可以理解为一种预处理步骤类似于为图书馆中的书籍编制索引方便快速找到所需内容。HNSW 图通过在多层结构中将相似向量连接在一起快速缩小搜索范围。PQ 则通过压缩高维向量减少内存占用并加速检索而 LSH 则通过哈希函数将相似向量聚集在一起便于快速定位。3.3、向量数据库的搜索机制向量数据库的搜索机制不是追求精确匹配而是通过近似最近邻ANN算法在速度与准确性之间找到最佳平衡。ANN 算法通过允许一定程度的误差在显著提高搜索速度的同时依然能够找到与查询相似度较高的向量。这种策略对于需要实时、高精度响应的应用场景尤为重要。3.4、向量数据库的工作流程向量数据库的工作流程涵盖了从数据处理、向量化、向量存储、向量索引到最终检索的全链条操作确保在复杂的数据环境中实现高效的存储、索引和相似性搜索。具体流程如下数据处理与向量化原始数据首先被处理并转化为向量嵌入。这一步通过嵌入模型实现模型利用深度学习算法提取数据的语义特征生成适合后续处理的高维向量表示。向量存储转化后的向量嵌入存储在数据库中。这一环节确保数据在高效检索的同时能够以优化的方式管理和维护存储资源以适应不同规模和复杂度的应用需求。向量索引存储的向量嵌入需要经过索引处理以便在后续查询中快速定位相关数据。索引过程通过构建特定的结构使得数据库能够在大规模数据集上实现高效的查询响应。向量搜索在接收到查询后数据库通过已建立的索引结构执行相似性搜索找出与查询向量最为接近的数据点。这一阶段的重点在于平衡搜索的速度与准确性确保在大数据环境下提供快速且相关的查询结果。常见的向量搜索方法包括余弦相似度、欧几里得距离和曼哈顿距离。数据检索最后数据库从匹配的向量中检索出对应的原始数据并根据特定的需求进行必要的后处理。这一步骤确保最终结果能够准确反映用户的查询意图并提供有意义的输出。3.5、向量数据库的主要功能在 RAG 系统中向量数据库起着重要的作用。其主要功能在于索引过程中建立高效的向量索引结构以便快速定位与查询相关的向量数据。在查询阶段系统将输入的提示转化为向量表示形式并从数据库中检索出与之最相关的向量及其对应的分块数据。通过这种索引和检索机制检索到的向量为生成模型提供了必要的上下文信息使模型能够依据当前的语义上下文生成更加精准和相关的响应。在这里插入图片描述四、常用向量数据库下面列出十个目前主流的向量数据库展示其数据库链接、介绍、优点与缺点。根据开发者具体的使用场景和技术需求选择最适合的向量数据库解决方案是关键。根据上面所示特点对于需要快速开发和轻量化部署的项目Chroma、Qdrant是不错的选择。对于追求高性能和可扩展性的企业级应用可以考虑Milvus/Zilliz。FAISS是适合对性能有极致要求、不要求持久化和数据管理的场景。Weaviate、LanceDB在处理多模态数据方面表现突出适用于需要管理多种数据类型如图像、文本、音频等的 AI 应用。如果需要无缝集成现有数据库并进行向量搜索PGVector、Elasticsearch、Redis是理想的方案。不希望管理基础设施的用户则可以选择Pinecone这样的全托管服务。五、向量数据库实战使用 Chroma 作为 RAG 项目的向量库以替代原先无法持久化的 Faiss 库。Chroma 是一种简单且易于持久化的向量数据库它以轻量级、开箱即用的特性著称。Chroma 支持内存中操作和磁盘持久化能够高效地管理和查询向量数据非常适合快速集成和开发。其设计简洁且不需要复杂的配置使开发者能够专注于核心功能的实现而无需担心底层存储的复杂性。本章节的代码文件为 rag_app_lesson5.py。下载本课程对应的 Gitee https://gitee.com/techleadcy/rag_app.git上托管项目拉取代码git clone https://gitee.com/techleadcy/rag_app.git创建并激活虚拟环境若已创建则无需重复执行python3 -m venv rag_env命令行中拉取仓库的最新代码执行依赖库安装命令本课时对应的是 ChromaDB 库source rag_env/bin/activatepip install -U pip chromadb langchain langchain_community sentence-transformers dashscope unstructured pdfplumber python-docx python-pptx markdown openpyxl pandas -i https://pypi.tuna.tsinghua.edu.cn/simple代码中设置大模型 qwen_modelqwen_api_key 参数访问阿里云百炼大模型服务平台 https://www.aliyun.com/product/bailian获得。执行代码python rag_app/rag_app_lesson5.py该章节涉及的代码改动均已在 rag_app_lesson5.py 文件中添加详细注释主要包括以下内容引入 Chroma 向量数据库 chromadb引入 uuid 模块用于为每个文本块生成唯一的 ID。在 main 方法中创建了 Chroma 本地存储实例 client 和存储集合 collection实例数据库存储在相对路径 rag_app/chroma_db 下数据存储在 documents 集合中。在 indexing_process 方法中将文档切块后的文本块的 ID、嵌入向量和原始文本块内容存储到 ChromaDB 的 documents 集合中。在 retrieval_process 方法中使用 Chroma 向量数据库检索与查询query最相似的 top_k 个文本块。具体代码改动如下引入依赖库import chromadb # 引入 Chroma 向量数据库import uuid # 生成唯一IDimport shutil # 文件操作模块为了避免既往数据的干扰在每次启动时清空 ChromaDB 存储目录中的文件main 方法def main(): print(RAG过程开始.) # 为了避免既往数据的干扰在每次启动时清空 ChromaDB 存储目录中的文件 chroma_db_path os.path.abspath(rag_app/chroma_db) if os.path.exists(chroma_db_path): shutil.rmtree(chroma_db_path) # 创建ChromaDB本地存储实例和collection client chromadb.PersistentClient(chroma_db_path) collection client.get_or_create_collection(namedocuments) embedding_model load_embedding_model() indexing_process(rag_app/data_lesson3, embedding_model, collection) query 下面报告中涉及了哪几个行业的案例以及总结各自面临的挑战 retrieval_chunks retrieval_process(query, collection, embedding_model) generate_process(query, retrieval_chunks) print(RAG过程结束.)indexing_process 方法def indexing_process(folder_path, embedding_model, collection): all_chunks [] all_ids [] for filename in os.listdir(folder_path): file_path os.path.join(folder_path, filename) if os.path.isfile(file_path): document_text load_document(file_path) if document_text: print(f文档 {filename} 的总字符数: {len(document_text)}) text_splitter RecursiveCharacterTextSplitter(chunk_size512, chunk_overlap128) chunks text_splitter.split_text(document_text) print(f文档 {filename} 分割的文本Chunk数量: {len(chunks)}) all_chunks.extend(chunks) # 生成每个文本块对应的唯一ID all_ids.extend([str(uuid.uuid4()) for _ in range(len(chunks))]) embeddings [embedding_model.encode(chunk, normalize_embeddingsTrue).tolist() for chunk in all_chunks] # 将文本块的ID、嵌入向量和原始文本块内容添加到ChromaDB的collection中 collection.add(idsall_ids, embeddingsembeddings, documentsall_chunks) print(嵌入生成完成向量数据库存储完成.) print(索引过程完成.) print(********************************************************)retrieval_process 方法def retrieval_process(query, collection, embedding_modelNone, top_k6): query_embedding embedding_model.encode(query, normalize_embeddingsTrue).tolist() # 使用向量数据库检索与query最相似的top_k个文本块 results collection.query(query_embeddings[query_embedding], n_resultstop_k) print(f查询语句: {query}) print(f最相似的前{top_k}个文本块:) retrieved_chunks [] # 打印检索到的文本块ID、相似度和文本块信息 for doc_id, doc, score in zip(results[ids][0], results[documents][0], results[distances][0]): print(f文本块ID: {doc_id}) print(f相似度: {score}) print(f文本块信息:\n{doc}\n) retrieved_chunks.append(doc) print(检索过程完成.) print(********************************************************) return retrieved_chunks假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】