激活函数激活函数：最关键部分 激活函数：连续并可导的非线性函数 激活函数及其导函数要尽可能简单 激活函数的导函数要在一个合适的区间内 Sigmoid型函数：指一类S型曲线函数，为两端饱和函数，包括Logistic函数和Tanh函数 Logistic函数：Logistic 函数可以看成是一个“挤压”函数，把一个实数域的输入“挤压”到 (0, 1) Tanh函数：Tanh函数可以看作放大并平

全连接神经网络： 参数太多 训练困难 网络结构复杂 没有考虑到图像的空间结构信息 动机比起浅层神经网络，深度神经网络会更难训练，然而，如果训练好一个深度网络，它会比浅层网络强大的多因此，有必要开发一种能够训练的深度网络结构卷积神经网络可以简化网络结构，同时利用空间结构信息 卷积神经网络卷积运算卷积经常用在信号处理中，用于计算信号的延迟累积 局部感受野单个视觉细胞仅对部分区域的特定模式反应局部感

【代码+原理讲解】使用Numpy实现一个简单的四层全连接神经网络（手写数字识别，mnist数据集，正确率98.58%） - 知乎入门讲解：使用numpy实现简单的神经网络（BP算法）-CSDN博客结合代码和公式对全连接神经网络的实现进行分析 数据处理1234567891011121314151617181920# 标准化处理 if normalize: for _ in ('

图是一种描述样本间关系的通用语言 图神经网络图神经网络是一种基于图结构数据的深度学习方法，学习图结构数据中的节点特征、边特征、图级表示 图是图神经网络研究的基本对象;𝐺=(𝑉,𝐸) 是描述复杂事务的数据表示形式，由节点和边组成； 可描述不规则数据（非欧式数据），充分利用数据间关系信息 使用神经网络变换、聚合来自目标节点其邻居的信息，迭代生成节点嵌入表示 对于单个节点，求取邻居

强化学习一种试错型学习范式随即环境，智能体的动作引起环境的变化评价：包含噪声的延迟奖励目标：最大化长期累计回报 状态状态是用于决定下一步发生什么的信息形式上，状态是一个关于历史信息的表示历史是一个状态、动作和奖励组成的序列 环境状态 完全可观测性：智能体能够直接观测到环境状态$O_t = s_t$部分可观测性：智能体间接观察环境$O_t != s_t$ 目标智能体的目标：最大化

概述 特点：不同于在样本上做多个独立预测，而是假设样本之间存在关联，进而在样本序列上做预测 采用链式法则表示一个观测序列的联合概率：考虑一个观测和所有历史观测之间的依赖关系复杂度随着观测个数指数级增长 马尔可夫模型：马尔可夫模型假设当前观察只和较近的观测有关 考虑两个不同的序列（如输入和输出序列），可以使用隐马尔可夫模型： 联合分布为： 最可能的隐状态为： 循环神经网络（Recurrent neu