9-机器学习线性模型

Sun, 12 Apr 2026 14:00:00 +0800

欢迎来到我的博客链接到标题

机器学习

通常使用三个数据集：训练，验证，测试。

训练集 —— “平时的课本和练习题”

验证集：

这是什么：占总数据量的一小部分（通常是 10% ~ 15%）。
它的作用：模型在训练集上学了一段时间后，用验证集来“摸底测验”。绝对不能通过验证集来更新权重，它只能用来计算当前的准确率或误差。
核心目的：
- 调节超参数：比如学习率设多少合适？网络需要几层？我们可以试好几个配置，看哪个在验证集上得分最高。
- 防止过拟合：如果模型在“训练集”上得分越来越高，但在“验证集”上得分反而开始下降了，说明模型变成了“做题家”（死记硬背了训练集，失去了泛化能力）。这时候框架就会自动喊停（早停法）。
比喻：这就是每个月一次的模拟考。考试分数不计入最终成绩，只是为了让老师知道你的真实水平，帮你调整复习策略，防止你只会背平时的练习题答案。
用来调整超参数

测试集 —— “最终的高考”

Training Loss (Error) 训练损失

$$ loss = (\hat{y} - y)^2 = (x * \omega - y)^2 $$

Mean Square Error 平均损失MSE：

$$ cost = \frac{1}{N} \sum_{n=1}^{N} (\hat{y}_n - y_n)^2 $$

Wed, 08 Apr 2026 14:00:00 +0800

pytorch

它的核心含义是：当数据的特征维度（即变量的数量）增加时，数据所在空间的体积会呈指数级爆炸式增长，导致我们手头现有的数据在这样庞大的高维空间里变得极其“稀疏”。

导致的问题：样本需求量呈指数级爆炸；“距离”失去了意义；极易发生过拟合

解决方法：流行假设；降维技术；深度学习与表示

分类、回归、聚类和降维，这四个概念构成了传统机器学习的四大核心功能支柱。

分类回归为监督，聚类降维是无监督。

早期在神经科学中，认为生物受到刺激，神经元会放电。通过实验检测了猫的神经元电流，得出一个结论：哺乳动物的视觉系统是分层的。

由神经元得到了一个东西：感知机。由很多感知机产生了一个概念就是人工神经网络。

在人工神经网络的发展过程中，反向传播这一算法是一个核心的东西，

同时在此声明本次博客网址搭建感谢我的好朋友Gemini提供技术细节支持，感谢GLM与Claude Code提供技术实现支持，感谢王甫12135、刻舟求剑的人、男男等好友提供的GLM密匙与环境搭建。