引见

图像语义分割，简单而言就是对图片中的每一个像素点中止分类

主要的贡献：

• 为语义分割引入了 端到端 的全卷积网络，并盛行开来
• 重新应用 ImageNet 的预锻炼网络用于语义分割
• 运用 反卷积层 中止上采样
• 引入腾跃衔接来改善上采样粗糙的像素定位

背景

CNN能够对图片中止分类，可是怎样样才干辨认图片中特定部分的物体，在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑，于是无量无尽的人往坑里面跳。

全卷积网络 Fully Convolutional Networks

CNN 与 FCN

全衔接层 -> 成卷积层

• 针对第一个衔接区域是[7x7x512]的全衔接层，令其滤波器尺寸为F=7，这样输出数据体就为[1x1x4096]了。
• 针对第二个全衔接层，令其滤波器尺寸为F=1，这样输出数据体为[1x1x4096]。
• 对最后一个全衔接层也做相似的，令其F=1，最终输出为[1x1x1000]

upsampling

缺陷

通常CNN网络在卷积层之后会接上若干个全衔接层, 将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量。以AlexNet为代表的经典CNN结构合适于图像级的分类和回归任务，由于它们最后都希冀得到整个输入图像的一个数值描画（概率），好比AlexNet的ImageNet模型输出一个1000维的向量表示输入图像属于每一类的概率(softmax归一化)。

栗子：下图中的猫, 输入AlexNet, 得到一个长为1000的输出向量, 表示输入图像属于每一类的概率, 其中在“tabby cat”这一类统计概率最高。

FCN对图像中止像素级的分类，从而处置了语义级别的图像分割（semantic segmentation）问题。与经典的CNN在卷积层之后运用全衔接层得到固定长度的特征向量中止分类（全联接层＋softmax输出）不同，FCN能够接受恣意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map中止上采样, 使它恢复到输入图像相同的尺寸，从而能够对每个像素都产生了一个预测, 同时保存了原始输入图像中的空间信息, 最后在上采样的特征图上中止逐像素分类。

最后逐一像素计算softmax分类的损失, 相当于每一个像素对应一个锻炼样本。下图是Longjon用于语义分割所采用的全卷积网络(FCN)的结构表示图：

简单的来说，FCN与CNN的区域在把于CNN最后的全衔接层换成卷积层，输出的是一张曾经Label好的图片。

其实，CNN的强大之处在于它的多层结构能自动学习特征，并且能够学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些部分区域的特征；较深的卷积层具有较大的感知域，能够学习到愈加笼统一些的特征。这些笼统特征对物体的大小、位置和方向等敏理性更低，从而有助于辨认性能的进步。

分享布置

1. 人工智能、深度学习的展开进程

2. 深度学习框架

3. 神经网络锻炼措施

4. 卷积神经网络，卷积核、池化、通道、激活函数

5. 循环神经网络，长短时记忆LSTM、门控循环单元GRU

6. 参数初始化措施、损失函数Loss、过拟合

7. 对立生成网络GAN

8. 迁移学习TL

9. 强化学习RF

10. 图神经网络GNN

一、算法和场景融合了解

1.空间相关性的非结构化数据，CNN算法。典型的图像数据，像素点之间具有空间相关性，例如图像的分类、分割、检测都是CNN算法。

2.时间相关性的非结构化数据，RNN算法。这类场景普遍的一个现象就是数据之间具有时序相关性，也就是数据之间存在先后依赖关系。例如自然言语处置、语音相关算法都是基于RNN算法。

3.非欧氏数据结构， GNN。这类场景典型的能够用图来表示。例如社交网络等。

案例摘要解说

医疗范畴：如盛行疾病、肿瘤等相关疾病检测

遥感范畴：如遥感影像中的场景辨认

石油勘探：如石油油粒大小检测

轨道交通：如地铁密集人流检测

检测范畴：如毛病检测

公安范畴：如立功行为剖析

国防范畴：目的检测、信号剖析、态势感知…

经济范畴：如股票预测

二、数据了解及处置

剖析典型场景中的典型数据，分离细致的算法，对数据中止处置

1.结构化数据，如何对数据中止读取，中止组织。

2.图像数据，在实践应用过程中的处置措施，怎样做数据的预处置、中止数据增强等。

3.时序信号，将单点的数据如何组合成一个序列，以及对序列数据处置的基本措施。

三、技术途径设计

针对细致的场景设计特定的神经网络模型，对典型数据适配的网络结构进引见。

1.DNN模型搭建的基本准绳

2.CNN模型中常见的网络结构，以及参数剖析。

3.RNN中支持的一些基本算子，如何对序列数据中止组织。

四、模型考证及问题排查

简单的算法或者模型对典型的场景中止快速考证，并且针对一些频发的问题中止解说。

1. 模型收敛状态不佳

2. 分类任务重最后一层激活函数对模型的影响

五、高级-模型优化的原理

不同的模型需求采用的优化函数以及反向传播中参数的优化措施

1.模型优化的算法引见，基于随机梯度降落的算法引见。

2.不同场景顺应的损失函数引见。

3.针对典型场景的反向传播梯度的推到过程。

六、高级-定制化思绪

分离往期学员的一些项目，简单引见一下处置一个细致问题的思绪。

遥感成像中，地块农作物种类的辨认。

实操解析与锻炼

第一阶段：

神经网络理论

实验：神经网络

1.神经网络中基本概念了解：epoch、batch size、学习率、正则、噪声、激活函数等。

2.不同的数据生成模型、调整网络参数、调整网络范围

3.神经网络分类问题

4.不同数据特征的作用剖析、隐含层神经元数目

5.过拟合

高频问题：

1.输入数据与数据特征 2.模型设计的过程中的参数与功用的关系。

关键点：

1.控制神经网络的基本概念 2.学会搭建简单的神经网络结构

3.了解神经网络参数

实操解析与锻炼

第二阶段：

深度学习三种编程思想

实验：Keras理论

1.了解Keras基本原理 2.学会Keras编程思想

3.三种不同的深度神经网络构建编程方式

4.给定数据集，采用Keras独立完成实践的工程项目

高频问题：

1.如何编程完成深度神经网络 2.三种开发方式的细致运用

关键点：

1.控制Keras编程思想 2.采用三种不同方式编写深度神经网络

实操解析与锻炼

第三阶段：CNN理论

实验：图像分类

1.运用CNN处置图像分类问题 2.搭建AlexNet 3.VGG16/19

4.GoogleNet 5.ResNet

高频问题：

1.CNN更复杂的模型在哪里能够找到代码

关键点：

1.运用卷积神经网络做图像分类 2.常见开源代码以及适用的问题

实验：视频人物行为辨认

1.基于C3D的视频行为辨认措施 2.基于LSTM的视频行为辨认措施

3.基于Attention的视频行为辨认措施

高频问题：

1.2D卷积与3D卷积 2.视频的时空特征

关键点：

1.C3D网络的构建 2.Attention机制

实操解析与锻炼

第四阶段：

R-CNN及YOLO理论

实验：目的检测

1.目的检测展开示状及代表性措施

2.两阶段目的检测措施：R-CNN系列模型

3.一阶段目的检测措施：YOLO系列模型

高频问题：

1.提名与分类 2.BBOX完成战略 3.YOLO Loss函数

关键点：

1.提名措施 2.ROI Pooling 3.SPP Net 4.RPN 5.YOLO

实操解析与锻炼

第五阶段：

RNN理论

实验：股票预测

1.股票数据剖析 2.同步预测 3.异步预测

高频问题：

1.历史数据的运用

关键点：

1.构建RNN 2.采用Keras编程完成

实操解析与锻炼

第六阶段：

Encoder-Decoder理论

实验：去噪剖析

1.自编码器 2.去噪自编码器

高频问题：

1.噪声的引入与去除

关键点：

1.设计去噪自编码器

实验：图像题目生成

分离计算机视觉和机器翻译的最新停顿，应用深度神经网络生成真实的图像题目。

1.控制Encoder-Decoder结构 2.学会Seq2seq结构

3.图像CNN +文本RNN 4.图像题目生成模型

高频问题：

1.如何能够依据图像生成文本？

关键点：

1.提取图像特征CNN，生成文本RNN 2.构建Encoder-Decoder结构

实操解析与锻炼

第七阶段：

GAN理论

实验：艺术家作品生成

1. 生成对立网络原理 2.GAN的生成模型、判别模型的设计

高频问题：

1.生成模型与判别模型的博弈过程

关键点：

1.控制GAN的思想与原理 2.依据需求学会设计生成模型与判别模型

实操解析与锻炼

第八阶段：

强化学习理论

实验：游戏剖析

1.游戏场景剖析 2.强化学习的要素剖析 3.深度强化学习

高频问题：

1.DNN 与DQN 2.探求与应用

关键点：

1.深度强化学习的原理 2.依据实践需求，设计深度强化学习模型

实操解析与锻炼

第九阶段：

图卷积神经网络理论

实验：社交网络剖析

1.图神经网络的原理 2.图卷积神经网络的思想

3.设计图卷积神经网络中止社交网络剖析

高频问题：

1.如何从图神经网络的原理转化到实践编程

关键点：

1. 控制图神经网络原理 2. 图卷积神经网络编程完成

实操解析与锻炼

第十阶段：

Transformer理论

实验：基于Transformer的对话生成

1. Transformer原理 2. 基于Transformer的对话生成

3.基于 Transformer 的应用

高频问题：

1.如何应用自留意力机制 2.如何应用于自然言语处置与计算机视觉

关键点：

1.self-Attention机制 2.position

学习和关注人工智能技术与咨询，更多详情可咨询175-3102-1189（v同号）。