Reflection Agents Reflection是一种提升Agent和类似AI系统质量和成功率的prompt策略，它涉及prompt大型语言模型（LLM）回顾和评判其过去的行为，有时还会结合额外的外部信息，如工具观察结果。 System 2相比与System 1更系统化和并且具有反思性。当正确应用时，Reflection可以帮助大型语言模型（LLM）系统打破System 1的思维模式，更接

一、Plan-and-Execute Agents Plan-and-execute 架构：这是一种将规划（plan）和执行（execute）分离的智能代理设计模式。 LangGraph提出了三种 Plan-and-Execute 风格的 Agent，并且相对于传统ReAct风格的Agnet做了很多改进。 速度提升：无需在每个动作后咨询更大的代理，子任务可以独立执行，减少对大型语言模型（LLM）

一、Self-Reflective RAG 1.1 动机 由于大多数大型语言模型（LLMs）只是定期在大量公共数据语料库上进行训练，它们缺乏最新的信息和/或无法用于训练的私有数据。检索增强生成（Retrieval augmented generation，RAG）是大型语言模型应用开发中的一个核心范式，它通过将大型语言模型连接到外部数据源来解决这个问题（请参阅我们的视频系列和博客文章）。RAG的基

一、什么是Multi-Agent Multi-Agent 指的是由语言模型驱动的多个独立参与者，这些参与者以特定的方式相互连接。其中每个Agent可以拥有自己的prompt, LLM, tools和其他自定义代码，以便能更好的与其他Agent协作。 因此在 Multi-Agent Workflows中有两个主要问题: 多个独立的Agent分别是什么 这些Agent如何连接 在LangGraph

一、Human-in-the-loop（人机交互） 在复杂的LLM应用中，一定程度的人工监督/批准/编辑功能还是比较重要的，LangGraph中有两种 Human-in-the-loop方式，分别是Interrupt 和 Authorize。 1.1 Interrupt Interrupt是最简单的控制形式，LangGraph中用户可以在某个action执行之前后之后中断，并将状态进行保存（保存

一、LangGraph LangGraph官方介绍：https://blog.langchain.dev/langgraph/ 1.1 简介 LangGraph 是构建在 LangChain 之上的，并且与 LangChain 生态系统完全互操作。它主要通过引入一种简单的方式创建循环图。这在创建Agent Runtimes通常非常有用。 1.2 动机 通过LCEL(LangChain Expr

LangChain模块架构图 [1] 一、必不可缺的 Callback 回调系统 Callback 回调系统让我们可以连接到 LLM 应用的各个阶段，这对于日志记录、监控、流传输等非常有用。LangChain提供了一些Callback处理程序，在langchain/callbacks模块中找到。 1.1 最基本的Callback StdOutCallbackHandler是一个最基本的处理程序，

LangChain模块架构图 [1] 一、智能体架构：Agent 1.1 什么是智能体（Agent） 将大语言模型作为一个推理引擎。给定一个任务，智能体自动生成完成任务所需的步骤，执行相应动作（例如选择并调用工具），直到任务完成。 Agent 继承了 Chain 的所有能力 Chain 的能力构成了 Agent 的 “推理链” 能力基础 Agent 的执行器（Executor）就是基于 L

LangChain模块架构图 [1] 一、Chains 1.1 LLM链 将大语言模型(LLM)和提示（Prompt）组合成链。这个大语言模型链非常简单，可以让我们以一种顺序的方式去通过运行提示并且结合到大语言模型中。 123456789101112from langchain_openai import ChatOpenAIfrom langchain.prompts import ChatP

LangChain模块架构图 [1] 一、记忆封装：Memory 简介 Memory模块可以帮助保存和管理历史聊天消息，以及构建关于特定实体的知识。这些组件可以跨多轮对话储存信息，并允许在对话期间跟踪特定信息和上下文。 对话缓存储存 (ConversationBufferMemory) 对话缓存窗口储存 (ConversationBufferWindowMemory) 对话令牌缓存储存 (C

LangChain模块架构图 [1] 一、Retrieval简介 Document Loaders：从不同的源加载文档 Document Transformers：拆分文档，删除冗余文档等 Embedding Models：获取结构化文本并将其转化为向量数据 Vector Stores：存储和搜索向量数据 Retrievers：从Vector Stores和其他数据源查询数据 Indexing

LangChain模块架构图 [1] 一、Model I/O 简介 Model I/O三元组 PromptTemple：模板化、动态选择和管理模型输入 Language Models：通过通用接口调用LLM OutputParser：从LLM输出中提取信息 数据流：Prompt->Model->Output Parser 二、模型API 2.1 OpenAI模型封装 12345

一、LangChain简介 1.1 什么是LangChain LangChain 是用于构建大模型应用程序的开源框架，它由模块化的组件构成，可单独使用也可链式组合实现端到端应用。 LangChain核心组件 Model I/O 封装 Models：大语言模型封装，包含LLMs和Chat Models（一般基于 LLMs，但按对话结构重新封装） PromptTemple：提示词模板 Output

一、Configuring Settings Settings是 LlamaIndex 流水线/应用中索引和查询阶段常用的资源集合。可以使用它来设置全局配置。局部配置（transformations、LLM、Embedding模型）可以直接传递到使用它们的接口。Settings`是一个简单的单例对象，贯穿于整个应用程序。每当没有提供特定组件时，设置对象就会被用来提供全局默认值。 1.1 LLM L

一、Instrumentation简介 instrumentation模块（可在 llama-index v0.10.20 及以后的版本中使用）旨在取代旧的回调模块。在弃用期间，LlamaIndex 库支持两种模块，以便为您的 LLM 应用进行监控。然而，在所有现有集成迁移到新的监控模块后，LlamaIndex将不再支持回调模块。因此callback的文档就不看了，关注instrumentatio

一、简介 LLM开发中，评估和基准测试是至关重要的概念。为了提高一个LLM应用（例如RAG、agent）的性能，必须有一种方法来衡量它。LlamaIndex提供了关键模块来衡量生成结果的质量。还提供关键模块来衡量检索质量。 Response Evaluation: 响应是否与检索到的上下文相匹配？它是否也与查询相匹配？它是否与参考答案或指南相匹配？ Retrieval Evaluation: 检

一、Agents简介 数据Agents是 LlamaIndex 中由 LLM 支持的knowledge workers，可以通过read和write功能智能地对数据执行各种任务。它们有能力做到以下几点： 对不同类型的数据（非结构化、半结构化和结构化）执行自动搜索和检索。 以结构化方式调用任何外部服务 API。 他们可以立即处理响应，也可以索引/缓存该数据以供将来使用。 存储对话历史记录。 使用上

Querying是LLM应用中最重要的部分。 一、Query Engine 查询引擎是一个通用的接口，允许对数据提出问题。查询引擎接收自然语言查询，并返回一个丰富的响应。它通常是通过检索器建立在一个或多个索引之上。可以组合多个查询引擎以实现更高级的功能。 1.1 使用示例 从索引构建查询引擎： 12query_engine = index.as_query_engine()response = q

一、简介 LlamaIndex 提供了一个高级接口，用于提取、索引和查询您的外部数据。在底层，LlamaIndex 还支持可互换的存储组件，允许您自定义： Document stores: 存储提取的文档（即，Node 对象）的地方 Index stores: 存储索引元数据的地方 Vector stores: 存储向量的地方 Graph stores: 存储知识图谱的地方（即 Knowledg

Index是一种数据结构，它允许我们快速检索与用户查询相关的上下文。对于 LlamaIndex 来说，它是RAG的核心基础。Indexes是由Documents构建的。它们用于构建Query Engines和Chat Engines，这使得可以在数据上进行问题和答案以及聊天。Indexes将数据存储在Node对象中（这些对象代表原始文档的块），并暴露了一个Retriever接口，该接口支持额外的配

LlamaIndex 中数据提取的关键是加载和转换。 加载文档后，您可以通过转换和输出节点来处理它们。 一、文档和节点 文档和节点对象是 LlamaIndex 中的核心抽象。文档可以处理很多类型的数据源，例如，PDF,API输出或者数据库检索。通过LlamaIndex可以手动构建数据，也可以通过数据加载器自动创建。默认情况下，文档会存储文本以及一些其他属性： metadata-可以附加到文本的注

一、LlamaIndex Prompt prompt是赋予大型语言模型（LLMs）表达能力的基本输入。LlamaIndex 使用prompt来构建索引、进行插入、在查询时执行遍历，以及合成最终答案。 LlamaIndex提供了一些prompts，还有chat-specific prompts。 用户也可以提供自己的提示模板，以进一步定制框架的行为。定制的最佳方法是复制上述链接中的默认提示，并将其作

一、LLMs LLM是LlamaIndex的核心组件。它们可以作为独立的模块使用，也可以插入到LlamaIndex的其他核心模块中（例如索引、检索器、查询引擎）。在响应合成步骤中始终使用LLM（例如检索之后）。根据所使用的索引类型，LLM也可能在索引构建、插入和查询遍历过程中使用。 LlamaIndex提供了一个统一的接口来定义LLM模块，无论是来自OpenAI、Hugging Face还是Lan

一、LlamaIndex简介 LlamaIndex是一个用于构建上下文增强型大型语言模型（LLM）应用程序的框架。上下文增强指的是任何将大型语言模型应用到私有或特定领域数据上的用例。一些流行的用例包括： 问答聊天机器人（通常被称为RAG系统，代表“检索增强生成(Retrieval-Augmented Generation)”） 文档理解和抽取 能够执行研究和采取行动的自主Agent Llama

一、RAG 1.1 RAG是什么 RAG（Retrieval Augmented Generation）顾名思义，通过检索的方法来增强生成模型的能力。简而言之，RAG 结合了搜索技术和大语言模型的提示功能，即模型根据搜索算法找到的信息作为上下文来回答查询问题。无论是查询还是检索的上下文，都会被整合到发给大语言模型的提示中。 1.2 为什么要有 RAG LLM 固有的局限性 LLM 的知识不是实时