LangChain 框架介绍及关键模块分析

LangChain 是一个开源的编排框架，旨在将大型语言模型（LLM）与外部数据源无缝连接，助力开发者构建基于 LLM 的应用程序。该框架由 Harrison Chase 于 2022 年 10 月推出，提供了一系列工具和 API，简化了开发过程，使得构建如聊天机器人和虚拟代理等 LLM 驱动型应用变得更加高效和便捷。

AI劳模

851人浏览 · 2024-10-15 13:40:55

AI劳模 · 2024-10-15 13:40:55 发布

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1. 简介

2. 重要组件和功能

2.1 提示模板（Prompt Templates）

提示（Prompt）是驱动语言模型生成响应的核心要素。提示模板用于格式化输入，指导语言模型生成所需的输出。这些模板可以根据不同的上下文进行调整，以提升生成内容的质量。

LangChain 提供了 PromptTemplate 类，开发者可以通过它定义用户输入及期望的输出方式，无需手动编写上下文。PromptTemplate 支持定义输入变量、输出格式等内容，便于复用。提示模板帮助模型理解输入内容的上下文，从而生成更具意义的回答或输出。

以下是一个简单的提示模板示例：

from langchain.prompts.prompt import PromptTemplate  
  
example_template = """Q: {example_q}  
A: {example_a}"""  
example_prompt = PromptTemplate.from_template(example_template)

在此示例中，提示模板帮助 LLM 根据问题生成对应的回答，适用于问答、文本生成等多种任务。

2.2 代理（Agents）

代理是能够自主选择使用哪些工具来完成任务的构造。它们根据高层指令做出决策，执行相应操作，并观察结果，直至任务完成。作为智能代理，LangChain 中的 Agent 能根据用户输入动态选择合适的工具并执行相应操作，必要时进行多轮交互以获取最终答案。这种设计使 LangChain 能在复杂场景下提供更为精准和高效的服务。

2.3 链（Chains）

链是 LangChain 工作流程的核心，表示一系列调用（如调用 LLM、工具或数据预处理步骤）的组合。

常见的链类型包括：

会话检索链（Conversational Retrieval Chain）：结合会话历史记录和文档检索，生成更相关的回答。
LLM 链（LLM Chain）：结合提示模板和 LLM，用于生成响应。
检索问答链（Retrieval QA Chain）：从大量数据中提取最相关的文档并提供答案。
文档合并链（Stuff Documents Chain）：将多个文档合并为一个字符串，然后传递给模型生成答案。

例如，以下是会话检索链的示例：

chain = ConversationalRetrievalChain(  
    combine_docs_chain=StuffDocumentsChain(...),  
    retriever=vectorstore.as_retriever(),  
    question_generator=LLMChain(llm=OpenAI(), prompt=prompt),  
)

2.4 RAG（检索增强生成）

RAG（Retrieval-Augmented Generation）通过检索步骤增强语言模型的生成能力。LangChain 支持构建 RAG 链，其过程主要包括：

索引：从数据源加载并索引数据，通常在离线进行。
生成和检索：在运行时接受用户查询，从索引中提取相关数据，并将其传递给模型生成答案。

RAG 链的基本流程为：首先加载和分割文档，然后将文档嵌入存储在向量数据库中。查询时，RAG 链通过检索相关文档生成更符合上下文的答案。

2.5 记忆（Memory）

记忆功能是 LangChain 中的重要组件，允许系统在多个交互中保持上下文连贯性。记忆可以存储前一次对话内容，从而在后续对话中提供更智能的响应。LangChain 提供了多种记忆类型：

会话缓冲记忆（Conversation Buffer Memory）：保存对话历史，适用于简单对话场景。
会话窗口记忆（Conversation Buffer Window Memory）：仅保留最近 K 次对话记录，适合减少内存占用但会丢失早前上下文。
会话总结记忆（Conversation Summary Memory）：通过不断更新的摘要保存对话历史，适合较长对话。
会话总结缓冲记忆（Conversation Summary Buffer Memory）：结合对话摘要和最近对话记录保存上下文，适合需要在长时间对话中保持连续性的场景。

例如，使用会话缓冲记忆的代码如下：

from langchain.memory import ConversationBufferMemory  
memory = ConversationBufferMemory()  
  
# 在对话链中使用  
conversation = ConversationChain(  
    llm=OpenAI(temperature=0),  
    verbose=True,  
    memory=ConversationBufferMemory()  
)

2.6 回调（Callbacks）

回调用于记录和流式传输链的中间步骤，帮助开发者监控和调试应用的执行过程。

2.7 工具（Tools）

工具接口允许语言模型与外部系统交互，例如调用 API 或执行特定操作，增强了模型的功能，使其能够处理更复杂的任务。LangChain 代理可通过推理确定下一步行动，并集成多种工具，如 Wolfram Alpha、Google 搜索、OpenWeatherMap、维基百科等，扩展 LLM 的能力。

2.8 LangSmith

LangSmith 是 LangChain 于 2023 年推出的工具，旨在帮助开发者监控和调试应用，测试不同模型的性能。

3. 关键步骤与核心模块

LangChain 提供了一系列工具和组件，用于处理文档加载、向量化、检索和回答生成等多个步骤。

3.1 语言模型（Language Models）

这些模块负责自然语言的生成和理解，能够与不同的语言模型提供者（如 OpenAI、Hugging Face 等）进行交互。几乎所有 LLM 都可在 LangChain 中使用，只需通过 API 密钥接入。例如，开源模型如 BLOOM、LLaMa、Flan-T5 可以通过 Hugging Face 获取，IBM watsonx 也提供相关服务，并通过 API 与 LangChain 集成，支持训练或微调特定模型。

3.2 文档加载器（Document Loaders）

文档加载器用于从不同的数据源（如文件、数据库等）加载文档，将原始数据转换为可处理的格式。文档加载是 LangChain 处理流程的第一步，支持多种文档格式，包括 PDF、CSV、HTML、JSON 等。例如：

使用 PyPDFLoader 加载 PDF 文件
使用 CSVLoader 加载 CSV 文件
使用 UnstructuredHTMLLoader 处理 HTML 内容
使用 TextLoader 加载简单的文本文件

这些加载器将文档内容转换为标准化的 Document 对象，包含文本内容和相关元数据。

LangChain 提供了超过 100 种不同的文档加载器，支持从多种来源加载数据，如 Dropbox、Google Drive、YouTube、MongoDB 等。

3.3 嵌入模型（Embedding Models）

嵌入模型将文本转换为向量表示，以便进行相似性搜索和其他计算。这些模型通常与语言模型结合使用，以提高文本处理的效率。

向量化工具被称为嵌入模型，因为它们能够将复杂的离散数据（如文本、图像等）转换到一个连续的向量空间中。

3.3.1 文档转换与拆分

加载后的文档通常需要进行转换和拆分，以便于后续处理。LangChain 提供了多种算法优化这一过程，如 RecursiveCharacterTextSplitter，它可以按语义相关性拆分文本，确保相似内容聚集在一起。这一步骤对于提高后续检索效率至关重要。

3.3.2 向量化

向量化是将文本转换为数值表示（向量）的过程，对于后续的相似性搜索至关重要。LangChain 支持多种嵌入模型，如 OpenAI 和 Hugging Face 等。向量化过程包括：

使用 embed_documents 方法对文档进行批量向量化
使用 embed_query 方法对用户查询进行向量化

LangChain 与 25 个以上的嵌入提供商集成，开发者可根据需求选择最适合的嵌入模型。

3.4 向量存储（Vector Stores）

生成的向量需要存储在高效的向量数据库中，以实现快速检索。LangChain 支持多种向量存储解决方案，如 FAISS、Chroma 等，并与 50 多种不同的向量存储集成，开发者可以根据需求选择最合适的存储方案。

两种常用的向量存储库：

Chroma：一个开源的嵌入数据库，适用于创建 LLM 应用。
FAISS（Facebook AI Similarity Search）：由 Facebook 开发的库，用于高效搜索和处理大规模向量集。

以下是使用 FAISS 创建向量存储的示例代码：

from langchain_community.embeddings.openai import OpenAIEmbeddings  
from langchain_community.vectorstores import FAISS  
  
embeddings = OpenAIEmbeddings()  
texts = ["FAISS is an important library", "LangChain supports FAISS"]  
faiss = FAISS.from_texts(texts, embeddings)