About
博客主要内容：
- Math：部分机器学习算法对应的数学推导
- 神经网络：一些常见的神经网络架构
- LlamaIndex：LlamaIndex是一个基于向量搜索的索引框架，主要用于提升大型语言模型在长文本或大量数据上的查询效率。它侧重于处理数据的索引和检索，使得模型能够快速定位到最相关的信息。
- LangChain：LangChain是一个基于大语言模型（LLM）的框架，为各种LLM实现通用的接口，将相关的组件“链”在一起，简化LLM应用的开发。它支持模型集成、提示工程、索引、记忆、链、智能体等多种组件功能
- LangGraph：LangGraph 是 LangChain 的一个扩展，旨在通过将步骤建模为图中的边缘和节点，构建具有大型语言模型（LLMs）的强大和有状态的多角色应用程序。LangGraph 提供了用于创建常见类型代理的高级接口，以及用于组合自定义流程的低级 API。
- LLM：LLM相关机制和部分应用
- Prompt Engineering：提示工程，Prompt 就是你发给大模型的指令
- Function Calling：Function calling是可以让我们用自己的函数当作调用LLM的参数，在函数中我们可以做一些大模型不具备功能
- RAG：RAG（Retrieval Augmented Generation）通过检索的方法来增强生成模型的能力。RAG 结合了搜索技术和大语言模型的提示功能，即模型根据搜索算法找到的信息作为上下文来回答查询问题。
- Attention 机制：Transformer中的Attention机制讲解，以及各种关于Attention机制的优化
- Positional Encoding：Transformer中用到的位置编码详解
- Fine-Tuning：LLM参数高效微调的方法详解，包含代码实现
- Megatron-LM：Megatron-LM高效方法详解
- DeepSpeed：DeepSpeed高效方法详解
- 多模态大模型：多模态大模型发展历程，以及多模态大模型训练方法
- 生成式模型：生成式模型详解
Contact Me
Buy Me a Coffee
