图神经网络
图是一种描述样本间关系的通用语言 图神经网络图神经网络是一种基于图结构数据的深度学习方法，学习图结构数据中的节点特征、边特征、图级表示 图是图神经网络研究的基本对象;𝐺=(𝑉,𝐸) 是描述复杂事务的数据表示形式，由节点和边组成； 可描述不规则数据（非欧式数据），充分利用数据间关系信息 使用神经网络变换、聚合来自目标节点其邻居的信息，迭代生成节点嵌入表示 对于单个节点，求取邻居
实验 用numpy搭建全连接神经网络用于手写数字识别
【代码+原理讲解】使用Numpy实现一个简单的四层全连接神经网络（手写数字识别，mnist数据集，正确率98.58%） - 知乎入门讲解：使用numpy实现简单的神经网络（BP算法）-CSDN博客结合代码和公式对全连接神经网络的实现进行分析 数据处理1234567891011121314151617181920# 标准化处理 if normalize: for _ in ('
强化学习
强化学习一种试错型学习范式随即环境，智能体的动作引起环境的变化评价：包含噪声的延迟奖励目标：最大化长期累计回报 状态状态是用于决定下一步发生什么的信息形式上，状态是一个关于历史信息的表示历史是一个状态、动作和奖励组成的序列 环境状态 完全可观测性：智能体能够直接观测到环境状态$O_t = s_t$部分可观测性：智能体间接观察环境$O_t != s_t$ 目标智能体的目标：最大化
循环神经网络
概述 特点：不同于在样本上做多个独立预测，而是假设样本之间存在关联，进而在样本序列上做预测 采用链式法则表示一个观测序列的联合概率：考虑一个观测和所有历史观测之间的依赖关系复杂度随着观测个数指数级增长 马尔可夫模型：马尔可夫模型假设当前观察只和较近的观测有关 考虑两个不同的序列（如输入和输出序列），可以使用隐马尔可夫模型： 联合分布为： 最可能的隐状态为： 循环神经网络（Recurrent neu
生成对抗网络
VAE通过引入隐变量z定义了一个显式的密度函数生成对抗网络（GANs）通过对抗网络生成样本，而无需显式的密度函数对抗学习是一种机器学习领域常用的学习策略，通过引入假样本迷惑模型 基本思想：训练两个网络 生成器G：生成虚假样本，试图迷惑判别器 判别器D：试图区分真实样本和虚假样本 对抗学习：二者对抗训练 零和博弈：最终通过充分训练，渴望算法收敛于一个好的关于数据分布的估计$p_g$，由$p_g
神经网络与深度学习
教材： 神经网络与深度学习，邱锡鹏 神经网络与深度学习 动手学深度学习 阿斯顿·张、李沐 深度学习，Ian Goddfellow 公开课： 李宏毅：机器学习 CS224n CS231n 考核：平时作业80（选够100分的题量）+其他20（随堂考试、问答） 随堂考试： 前馈神经网络的反向传播 [[前馈神经网络#反向传播算法]] 循环神经网络的反向传播 [[循环神经网络#随时间反向传播（B
生成模型
有监督：给定数据(x,y)，x为输出，y是对应的标签目的：学习一个映射f: x→y用于分类、回归、目标检测、语义分割、图像描述等 无监督：数据：只有x，没有标签目标：学习隐藏的信息（数据背后隐藏的结构、主题、情感等）用于聚类、特征降维、特征学习、密度估计等 判别模型：同时需要输入X和标签Y，试图通过某个判别函数建模条件分布P(Y|X)例如softmax回归，SVM等不能建模P(X)，即观测到某个样