线性模型
线性回归
给出$xy$平面上的一个含有$n$个样例点的训练集，要找到最匹配这些数据的线性函数$hw$，该任务被称为线性回归，要用数据拟合出一条直线，实际上需要做的就是找到对应的权重值使得其经验损失最小。通常采用平方误差损失函数$L2$，并对所有训练样例进行求和，该问题有唯一解。
&nbs……继续阅读 »
yanzexi
1年前 (2023-11-06) 302浏览 0评论
5个赞
引入
机器学习的目标是选择一个和未来的样例最佳拟合的假设。要做到这一点，需要定义“未来的样例”和“最佳拟合”。首先，假设未来的样例类似于过去观测过的样本。称之为平稳性假设；若没有它，所有的方法都没有意义。对于满足这些等式的样例，称它们为独立同分布的或$i.i.d.$。
下一……继续阅读 »
yanzexi
1年前 (2023-11-05) 198浏览 0评论
0个赞
神经元
激活函数
它们都是单调不减的，这意味着它们的导数是非负的。
前馈神经网络
单层感知机
单层感知机无法表达亦或，这也导致了上世纪神经网络研究的低谷（沐神说的）。
多层感知机
反向传播算法
……继续阅读 »
yanzexi
1年前 (2023-11-04) 191浏览 0评论
0个赞
机器学习
引入
一个智能体程序的各个组件都可以通过机器学习进行改进，而学习则是面对未知环境的重要方法。改进及用于改进的技巧取决于下面几个因素：● 哪些组件可以被改进；● 智能体有哪些先验知识，这将影响模型构建；● 有哪些数据，以及关于这些数据的反馈。
从一组特定的观测结果得……继续阅读 »
yanzexi
1年前 (2023-11-02) 194浏览 0评论
1个赞
霍夫丁界
最一般的霍夫丁界
若$r.v.$ $X_1,X_2,…,X_N$相互独立，且$X_i$的均值为$\mu _i$，次高斯参数为$\sigma _i$，则对任意的$\epsilon >0$都有：
$$
Pr\left[ \sum_{i=1}^n{\left( X_i-\mu _i \right)}\ge \epsilon ……继续阅读 »
yanzexi
1年前 (2023-10-06) 274浏览 0评论
1个赞
