神经网络基础

线性函数拟合

线性回归可以找到一些点的集合背后的规律：一个点集可以用一条直线来拟合，这条拟合出来的直线的参数特征，就是线性回归找到的点集背后的规律

感知机

感知机模型𝐻 𝒙 = sign(𝒘_𝑇 𝒙 + 𝑏)对应一个超平面𝒘_𝑇 𝒙 + 𝑏 = 0，模型参数是(𝒘, 𝑏)。感知机的目标是找到一个(𝒘, 𝑏)，将线性可分的数据集T中的所有的样本点正确地分为两类。
损失函数：

神经网络设计原则

神经网络的结构一般为：输入×隐层×输出层
隐层的设计：

• 隐层节点的作用是提取输入特征中的隐藏规律，每个节点都赋予一定权重
• 隐层节点数太少，则网络从样本中获取信息的能力就越差，无法反映数据集的规律；隐层节点数太多，则网络的拟合能力过强，可能拟合数据集中的噪声部分，导致模型泛化能力变差。