深度学习理论，特别是关于几何深度学习和图神经网络的理论，和传统深度学习理论比较相似，研讨重点主要包含以下几个方面： 深度学习的表白才干，触及到很多的数学理论，当然也可能触及一些物理的解释； 例如，学习理论、调和剖析、统计学关于研讨深度学习的泛化才干十分重要； 深度学习主要依赖于反向传播算法，所以最优化理论也是一个重要的研讨工具； 一些特别有效的算法的设计基本原理，也依赖于诸多数学理论。 图神经网络是几何深度学习的一部分，研讨具有结构属性、拓扑性质的数据的学习和预测任务。图神经网络的每一个特征提取层都会对节点的特征和衔接的特征中止更新，这种更新方式被叫作音讯传送方式。 音讯传送方式指的是要更新某一个点的特征，需求思索周边和它相连的点的特征，这里就要用到推进函数。推进函数通常是由一个网络对节点和周边节点关系的描写。然后用另一个网络整合周边节点信息，接着加和到这个节点自身的特征中，这两步更新方式就构成了一个基本的音讯传送方式。 图神经网络特征提取模块能够写成图卷积的方式，与传统的 CNN 卷积相似，只不外在图上定义卷积不如 CNN 直观，不能用空间域窗口的方式平移得到，但是能够仿照傅里叶卷积的方式，定义图卷积的模块。这种卷积被证明和传统 CNN 具有相似的特征提取功用，共享了参数，并坚持了重要的图结构性质，从而在图神经网络的学习中起到了很好的特征提取作用。其中一个很重要的模块是由谱图神经网络衍生出来的经典 GCN 模型，假如写成谱图的方式就是 Laplacian 正则化的过程。
接下来看我们的分享学习布置内容。 1. 人工智能、深度学习的展开进程 2. 深度学习框架 3. 神经网络锻炼措施 4. 卷积神经网络，卷积核、池化、通道、激活函数 5. 循环神经网络，长短时记忆LSTM、门控循环单元GRU 6. 参数初始化措施、损失函数Loss、过拟合 7. 对立生成网络GAN 8. 迁移学习TL 9. 强化学习RF 10. 图神经网络GNN 一、算法和场景融合了解 1.空间相关性的非结构化数据，CNN算法。典型的图像数据，像素点之间具有空间相关性，例如图像的分类、分割、检测都是CNN算法。 2.时间相关性的非结构化数据，RNN算法。这类场景普遍的一个现象就是数据之间具有时序相关性，也就是数据之间存在先后依赖关系。例如自然言语处置、语音相关算法都是基于RNN算法。 3.非欧氏数据结构， GNN。这类场景典型的能够用图来表示。例如社交网络等。 案例摘要解说 医疗范畴：如盛行疾病、肿瘤等相关疾病检测 遥感范畴：如遥感影像中的场景辨认 石油勘探：如石油油粒大小检测 轨道交通：如地铁密集人流检测 检测范畴：如毛病检测 公安范畴：如立功行为剖析 国防范畴：目的检测、信号剖析、态势感知… 经济范畴：如股票预测 二、数据了解及处置 剖析典型场景中的典型数据，分离细致的算法，对数据中止处置 1.结构化数据，如何对数据中止读取，中止组织。 2.图像数据，在实践应用过程中的处置措施，怎样做数据的预处置、中止数据增强等。 3.时序信号，将单点的数据如何组合成一个序列，以及对序列数据处置的基本措施。 三、技术途径设计 针对细致的场景设计特定的神经网络模型，对典型数据适配的网络结构进引见。 1.DNN模型搭建的基本准绳 2.CNN模型中常见的网络结构，以及参数剖析。 3.RNN中支持的一些基本算子，如何对序列数据中止组织。 四、模型考证及问题排查 简单的算法或者模型对典型的场景中止快速考证，并且针对一些频发的问题中止解说。 1. 模型收敛状态不佳 2. 分类任务重最后一层激活函数对模型的影响 五、高级-模型优化的原理 不同的模型需求采用的优化函数以及反向传播中参数的优化措施 1.模型优化的算法引见，基于随机梯度降落的算法引见。 2.不同场景顺应的损失函数引见。 3.针对典型场景的反向传播梯度的推到过程。 总之图神经网络还遭到信号处置、神经科学、物理学思想的启示，取得了新的灵感。很多人以为图信号处置将重新点燃人们对图机器学习的兴味，并提供一套数学工具，好比广义傅里叶变换，即图上的傅里叶变换，或图上的小波变换等。经典的信号处置和物理学所依赖的基本技术（好比表示论），在图神经网络上的应用曾经于 2021 年取得了一些重要停顿，并且仍有很多开发空间。经典的线性变换、傅里叶变换、小波变换的吸收人之处在于提供了一种具有数学属性的通用隐式空间 (latent space) 和完备的数据表示，好比平滑信号具有低频傅里叶系数，而分段平滑信号具有稠密和部分的小波系数。过去有构建线性变换来提示信号特性的传统，特别是有些物理学家在设计基于群作用下的不同对称性的等变变换方面，会采用仿射群的连续小波变换等，这些技术都有可能用到图机器学习或几何深度学习里。 |
名表回收网手机版
