Suny的文章

一、PagedAttention vLLM发现LLM 服务的性能受到内存瓶颈的影响。在自回归 decoder 中，所有输入到 LLM 的 token 会产生注意力 key 和 value 的张量，这些张量保存在 GPU 显存中以生成下一个 token。这些缓存 key 和 value 的张量通常被称为 KV cache，其具有以下特点： 显存占用大：在 LLaMA-13B 中，缓存单个序列最多需

一、Multi-Query Attention（MQA） 多查询注意力（MQA）是多头注意力（MHA）算法的改进版本，它可以在不牺牲模型精度的情况下提高计算效率。在标准 MHA 中，单独的线性变换应用于每个注意力头的查询 (Q)、键 (K) 和值 (V)。 MQA 与此不同，它在所有头中使用一组共享的键 (K) 和值 (V)，同时允许对每个查询 (Q) 进行单独的转换。 Multi-Query

Self Attention就是Q、K、V均为同一个输入向量映射而来的Encoder-Decoder Attention，它可以无视词之间的距离直接计算依赖关系，能够学习一个句子的内部结构，实现也较为简单并且可以并行计算。 Multi-Head Attention同时计算多个Attention，并最终得到合并结果，通过计算多次来捕获不同子空间上的相关信息。 一、Self-Attention 首先，

Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。我们的视觉系统就是一种 Attention机制，将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。 seq2seq 在seq2seq中，有一个Encoder和一个Decoder，Encoder和Decoder都是RNN。seq2seq的缺点在

一、语言模型的发展历程 语言模型的发展历程从最初的简单统计模型到如今的复杂神经网络模型，经历了多个重要阶段。 1. 统计语言模型（Statistical Language Model, SLM） 统计语言模型使用马尔可夫假设（Markov Assumption）来建立语言序列的预测模型，通常是根据词序列中若干个连续的上下文单词来预测下一个词的出现概率，即根据一个固定长度的前缀来预测目标单词。具有

一、 LangGraph for Code Generation 1.1 动机 代码生成和分析是大型语言模型（LLMs）最重要的应用之一，这一点从GitHub Copilot这样的产品的普遍性以和GPT-engineer这样的项目的受欢迎程度就可见一斑。最近AlphaCodium的研究工作表明，通过使用流程范式而不是简单的prompt:answer，可以改进代码生成，答案可以通过迭代没（1）测试答

Reflection Agents Reflection是一种提升Agent和类似AI系统质量和成功率的prompt策略，它涉及prompt大型语言模型（LLM）回顾和评判其过去的行为，有时还会结合额外的外部信息，如工具观察结果。 System 2相比与System 1更系统化和并且具有反思性。当正确应用时，Reflection可以帮助大型语言模型（LLM）系统打破System 1的思维模式，更接

一、Plan-and-Execute Agents Plan-and-execute 架构：这是一种将规划（plan）和执行（execute）分离的智能代理设计模式。 LangGraph提出了三种 Plan-and-Execute 风格的 Agent，并且相对于传统ReAct风格的Agnet做了很多改进。 速度提升：无需在每个动作后咨询更大的代理，子任务可以独立执行，减少对大型语言模型（LLM）

一、Self-Reflective RAG 1.1 动机 由于大多数大型语言模型（LLMs）只是定期在大量公共数据语料库上进行训练，它们缺乏最新的信息和/或无法用于训练的私有数据。检索增强生成（Retrieval augmented generation，RAG）是大型语言模型应用开发中的一个核心范式，它通过将大型语言模型连接到外部数据源来解决这个问题（请参阅我们的视频系列和博客文章）。RAG的基

一、什么是Multi-Agent Multi-Agent 指的是由语言模型驱动的多个独立参与者，这些参与者以特定的方式相互连接。其中每个Agent可以拥有自己的prompt, LLM, tools和其他自定义代码，以便能更好的与其他Agent协作。 因此在 Multi-Agent Workflows中有两个主要问题: 多个独立的Agent分别是什么 这些Agent如何连接 在LangGraph

一、Human-in-the-loop（人机交互） 在复杂的LLM应用中，一定程度的人工监督/批准/编辑功能还是比较重要的，LangGraph中有两种 Human-in-the-loop方式，分别是Interrupt 和 Authorize。 1.1 Interrupt Interrupt是最简单的控制形式，LangGraph中用户可以在某个action执行之前后之后中断，并将状态进行保存（保存

一、LangGraph LangGraph官方介绍：https://blog.langchain.dev/langgraph/ 1.1 简介 LangGraph 是构建在 LangChain 之上的，并且与 LangChain 生态系统完全互操作。它主要通过引入一种简单的方式创建循环图。这在创建Agent Runtimes通常非常有用。 1.2 动机 通过LCEL(LangChain Expr

LangChain模块架构图 [1] 一、必不可缺的 Callback 回调系统 Callback 回调系统让我们可以连接到 LLM 应用的各个阶段，这对于日志记录、监控、流传输等非常有用。LangChain提供了一些Callback处理程序，在langchain/callbacks模块中找到。 1.1 最基本的Callback StdOutCallbackHandler是一个最基本的处理程序，

LangChain模块架构图 [1] 一、智能体架构：Agent 1.1 什么是智能体（Agent） 将大语言模型作为一个推理引擎。给定一个任务，智能体自动生成完成任务所需的步骤，执行相应动作（例如选择并调用工具），直到任务完成。 Agent 继承了 Chain 的所有能力 Chain 的能力构成了 Agent 的 “推理链” 能力基础 Agent 的执行器（Executor）就是基于 L

LangChain模块架构图 [1] 一、Chains 1.1 LLM链 将大语言模型(LLM)和提示（Prompt）组合成链。这个大语言模型链非常简单，可以让我们以一种顺序的方式去通过运行提示并且结合到大语言模型中。 123456789101112from langchain_openai import ChatOpenAIfrom langchain.prompts import ChatP

LangChain模块架构图 [1] 一、记忆封装：Memory 简介 Memory模块可以帮助保存和管理历史聊天消息，以及构建关于特定实体的知识。这些组件可以跨多轮对话储存信息，并允许在对话期间跟踪特定信息和上下文。 对话缓存储存 (ConversationBufferMemory) 对话缓存窗口储存 (ConversationBufferWindowMemory) 对话令牌缓存储存 (C

LangChain模块架构图 [1] 一、Retrieval简介 Document Loaders：从不同的源加载文档 Document Transformers：拆分文档，删除冗余文档等 Embedding Models：获取结构化文本并将其转化为向量数据 Vector Stores：存储和搜索向量数据 Retrievers：从Vector Stores和其他数据源查询数据 Indexing

LangChain模块架构图 [1] 一、Model I/O 简介 Model I/O三元组 PromptTemple：模板化、动态选择和管理模型输入 Language Models：通过通用接口调用LLM OutputParser：从LLM输出中提取信息 数据流：Prompt->Model->Output Parser 二、模型API 2.1 OpenAI模型封装 12345

一、LangChain简介 1.1 什么是LangChain LangChain 是用于构建大模型应用程序的开源框架，它由模块化的组件构成，可单独使用也可链式组合实现端到端应用。 LangChain核心组件 Model I/O 封装 Models：大语言模型封装，包含LLMs和Chat Models（一般基于 LLMs，但按对话结构重新封装） PromptTemple：提示词模板 Output

一、Configuring Settings Settings是 LlamaIndex 流水线/应用中索引和查询阶段常用的资源集合。可以使用它来设置全局配置。局部配置（transformations、LLM、Embedding模型）可以直接传递到使用它们的接口。Settings`是一个简单的单例对象，贯穿于整个应用程序。每当没有提供特定组件时，设置对象就会被用来提供全局默认值。 1.1 LLM L

一、Instrumentation简介 instrumentation模块（可在 llama-index v0.10.20 及以后的版本中使用）旨在取代旧的回调模块。在弃用期间，LlamaIndex 库支持两种模块，以便为您的 LLM 应用进行监控。然而，在所有现有集成迁移到新的监控模块后，LlamaIndex将不再支持回调模块。因此callback的文档就不看了，关注instrumentatio

一、简介 LLM开发中，评估和基准测试是至关重要的概念。为了提高一个LLM应用（例如RAG、agent）的性能，必须有一种方法来衡量它。LlamaIndex提供了关键模块来衡量生成结果的质量。还提供关键模块来衡量检索质量。 Response Evaluation: 响应是否与检索到的上下文相匹配？它是否也与查询相匹配？它是否与参考答案或指南相匹配？ Retrieval Evaluation: 检

一、Agents简介 数据Agents是 LlamaIndex 中由 LLM 支持的knowledge workers，可以通过read和write功能智能地对数据执行各种任务。它们有能力做到以下几点： 对不同类型的数据（非结构化、半结构化和结构化）执行自动搜索和检索。 以结构化方式调用任何外部服务 API。 他们可以立即处理响应，也可以索引/缓存该数据以供将来使用。 存储对话历史记录。 使用上

Querying是LLM应用中最重要的部分。 一、Query Engine 查询引擎是一个通用的接口，允许对数据提出问题。查询引擎接收自然语言查询，并返回一个丰富的响应。它通常是通过检索器建立在一个或多个索引之上。可以组合多个查询引擎以实现更高级的功能。 1.1 使用示例 从索引构建查询引擎： 12query_engine = index.as_query_engine()response = q

一、简介 LlamaIndex 提供了一个高级接口，用于提取、索引和查询您的外部数据。在底层，LlamaIndex 还支持可互换的存储组件，允许您自定义： Document stores: 存储提取的文档（即，Node 对象）的地方 Index stores: 存储索引元数据的地方 Vector stores: 存储向量的地方 Graph stores: 存储知识图谱的地方（即 Knowledg