manjaro安装中文输入法 一、安装 rime 1.1 删除Fcitx4 1sudo pacman -Rs $(pacman -Qsq fcitx) 1.2 安装fcitx5 1sudo pacman -S fcitx5 fcitx5-configtool fcitx5-qt fcitx5-gtk fcitx5-chinese-addons fcitx5-material-color kcm-fcitx5 fcitx5-lu 2024-02-20 Tech #manjaro
Function Calling 一、Function Calling 1.1 Function Calling是什么 Function calling是可以让我们用自己的函数当作调用chatgpt的参数,在函数中我们可以做任何事情,例如获取网络上的数据,查询自己的数据库等。 1.2 为什么要有 Function Calling ChatGPT是一个通用的大语言模型,当面对某些个性化的用户需求,比如“当前的天气情况”“某数据库的查 2024-02-05 LLM #LLM #LLM学习笔记 #Function Calling
Prompt Engineering 一、什么是提示工程(Prompt Engineering) 提示工程也叫「指令工程」。 Prompt 就是你发给大模型的指令,比如「讲个笑话」、「用 Python 编个贪吃蛇游戏」、「给男/女朋友写封情书」等 貌似简单,但意义非凡 「Prompt」 是 AGI 时代的「编程语言」 「Prompt 工程」是 AGI 时代的「软件工程」 「提示工程师」是 AGI 时代的「程序员」 学会提示工程, 2024-01-31 LLM #LLM #prompt #LLM学习笔记
manjaro安装TensorRT-LLM部署Qwen1.5-7B大模型 一、安装docker [1] 1.1 安装docker 1234sudo pacman -S dockersudo systemctl enable dockersudo systemctl start dockersudo pacman -S docker-compose 1.2 下载libnvidia-container [2] 和nvidia-container-toolkit [3]并安装 2024-01-20 LLM #manjaro #TensorRT-LLM #Qwen #LLM
manjaro安装cuda,cudnn,tensorrt,pytorch,tensorflow 一、安装驱动 1.1 安装NVIDIA驱动 12sudo pacman -S nvidianvidia-smi 可以看到 1.2 CUDA cuDnn安装 1sudo pacman -S cuda cudnn 二、安装 Anaconda 1sudo pacman -Sy libxau libxi libxss libxtst libxcursor libxcomposite libxdamage 2024-01-10 Tech #manjaro #cuda #cudnn #pytorch #tensorflow
条件随机场 条件随机场(Conditional Random Field,CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔科夫随机场。 1. 概率无向图模型 概率无向图模型(Prodbabilistic Undirected Graphical Model),又称为马尔科夫随机场(Markov Random Field),是一个可以由无向图模型表示的联 2023-12-13 math #math #ML #CRF
隐马尔科夫模型 隐马尔科夫模型(Hidden Markov Model, HMM)是可用于标注问题的统计学习模型,描述由隐藏的马尔科夫链随机生成观测序列的过程,属于生成模型。 1. 的基本概念 1.1 的定义 是关于时序的概率模型,描述一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态的序列,称为状态序列(State Sequ 2023-11-20 math #math #ML #HMM
贝叶斯分类器 1.贝叶斯公式 条件概率公式 设 , 是两个事件,且 ,则在事件 发生的条件下,事件 发生的条件概率(conditional probability)为: 全概率公式 如果事件 满足 , 且 ,设 为任意事件,则有: 上式即为全概率公式(formula of total probability) 全概率公式的意义在于,当直接计算 较为困难,而 的计算较为简单时,可以利用全 2023-11-03 math #math #ML #Bayes
聚类 1.有监督学习与无监督学习 首先,看一下有监督学习(Supervised Learning)和无监督学(Unsupervised Learning)习的区别,给定一组数据(input,target)为 。 有监督学习: 最常见的是回归(regression)和分类(classification)。 Regression: 是实数向量。回归问题,就是拟合 的一条曲线,使得下式损失函数 最小 2023-10-11 math #math #ML
SVM(支持向量机) 1.预备知识 1.1 条件 无约束优化 对于变量 的函数 ,无约束优化问题如下: 直接找到使目标函数导数为 的点即可,即 ,如果没有解析解可以使用梯度下降或牛顿法等通过迭代使 沿负梯度方向逐渐逼近最小值点。 等式约束 如下等式约束问题: 约束条件会将解的范围限定在一个可行区域,此时不一定能找到 为 的点,只需找到可行区域内使得 最小的点即可,一般使用拉格朗日乘子法来进行求解, 2023-09-17 math #math #ML #SVM
EM算法 1.基础知识 1.1.高斯混合模型 高斯混合模型是有如下形式的概率分布模型: 其中 为混合系数, , , ,多元变量 , 为第 个高斯混合成分的参数。 假设观测数据 由 个组分的高斯混合模型生成。 高斯混合分布的对数最大化似然函数为: 对数里面有加和,无法直接通过求偏导解方程的方法求取最大值。 可以用EM算法解决这种难以计算的问题,EM算法是一种近似逼 近的迭代计算方法。 2023-08-23 math #math #ML #EM
最大熵模型 1.熵 决策树中已经说明。 2.最大熵模型 2.1熵的定义 假设随机变量 的概率分布为 , 取值为 , ,则由上节我们可知息熵的计算公式如下: 用 来表示事件 的信息量,则 即为随机变量 的平均信息量(期望)。熵满足下列不等式: 由Jensen不等式: 为凸函数,若 为凹函数,则有 , 为凹函数可得: 其中 是 的取值个数,当随机变量退化为定值时(概率为1),那 2023-08-08 math #math #ML #MaxEnt
梯度提升树GBDT 1.提升树 提升树模型实际采用加法模型(即基函数的线性组合)与前向分步算法,以决策树为基函数的提升方法称为提升树(Boosting Tree)。提升树模型可以表示为决策树的加法模型: 其中, 表示决策树; 为决策树的参数; 为树的个数。 1.1提升树算法 提升树算法采用前向分步算法。首先确定初始提升树 ,第 步的模型是: 其中, 为当前模型,通过经验风险极小化确定下一棵决策树的参数 2023-07-17 math #math #ML
AdaBoost 1.算法流程 设训练数据集 (1)初始化时训练数据的权重 (2)对 ,使用具有权重分布的 进行训练,得到基本分类器 计算 在训练数据集上的分类误差率: 将 用 表示更好理解, 表示第 轮中第 个实例的权重, 。计算 的系数: 当 时, ,并且 随着 的减小而增大,因此分类误差越小的基本分类器在最终分类器中的作用越大,更新训练数据集的权重分布: 当 时 , 2023-07-04 math #math #ML
决策树 决策树学习,假设给定训练数据集: 其中 为输入实例, 为特征个数,为类标记, 为样本容量。学习目标是根据训练数据构建一个决策树模型,使它能够对实例正确分类。 1.熵 信息是个很抽象的概念,接下来我们从文件压缩问题来说明信息熵,以便于理解。 压缩原理 压缩的本质就是将重复出现的字符用更短的符号代替,就是找出文件内容的概率分布,将出现概率高的部分替代成更短的形式。因此,内容越是重复的文件就可以 2023-06-22 math #math #ML
logistic回归 对于二分类问题,假设,而线性回归预测值 是一个实值,对于这个问题,我们引入sigmoid函数: ,sigmoid函数可以将 值转化为0到1之间的一个值,sigmoid函数特性 。即预测函数 可推导出 若将 看做 为正样本的概率,则 即为 为负样本的概率, 称为几率(odds),反映 作为正样本的相对可能性, 为对数几率(log odds,亦称logit). 对于样本 , 2023-06-08 math #math #ML
线性回归 线性回归最简单的形式:,线性回归试图学得合适的 和 ,使得 即使得 与 之间的差别尽量小,因此我们可以使其均方误差最小,即 令 分别对 求偏导 令偏导为零可得 求得 其中 . 对于多参数情形: 令 , , 为所有 组成的矩阵,则 对 求导得(参考矩阵求导), 当 为满秩矩阵或正定矩阵时,令导数为零,求得 但在实际问题中 往往不是满秩矩阵,并且当参数 2023-05-20 math #math #ML