01引言 近年来人工智能蓬勃展开，在量化买卖中应用深度学习措施也逐步被业界注重起来。目前深度学习还是主要应用于有监视学习，实质是基于数据驱动的统计措施，对样本中止非线性的预测和分类。 从展开脉络上看，深度学习是机器学习的子集，企图在有限数据中总结规律，并应用于新数据。贡献度分配问题（Credit Assignment Problem，CAP）是深度学习中不可避免的问题。以围棋为例，棋手会思索哪几步棋带来了正的收益，或者又是哪几步棋招致了最后的败局。如何判别每一步棋的贡献就是贡献度分配问题，在深度学习中这一点关系到模型如何学习每个组件中的参数。 神经网络普通采用误差反向传播算法，能够比较好地处置贡献度分配问题，该模型受人脑神经系统的工作方式启示，并在深度学习中被普遍采用。国际电子电气工程界的著名学者Simon Haykin曾这样描画神经网络：“神经网络是一种大范围的并行散布式处置器，自然具有存储并运用阅历学问的才干．它从两个方面上模仿大脑：（1）网络获取的学问是经过学习来获取的；（2）内部神经元的衔接强度，即突触权重，用于贮存获取的学问。” 深度学习能够采用神经网络模型，也能够采用其他模型（深度信心网络采用概率图模型）。随着深度学习的快速展开，神经网络运用了更复杂和更深层次的网络结构，特征表示的才干也越来越强，如卷积神经网络（CNN）、循环神经网络（RNN）等来处置图像、声音和文本数据。 02深度学习网络架构 神经网络的基本单位是神经元（Neuron），最基本操作就是对当前的特征中止线性组兼并中止（非线性）变换。设当前的特征向量，中止如下线性组合 ，之后中止非线性变换。在神经元中，以当前特征的加权和作为神经元接纳的总输入，以θ作为神经元的阈值，变换g为神经元的激活函数，t为神经元处置后产生的输出，能够用如下所示的模型描写该操作：
图1神经元模型 关于人工神经网络，能够在理论上证明一个通用近似定理：“一个包含足够多隐层神经元的多层前馈网络，能以恣意精度迫近恣意预定的连续函数。”通用近似定理通知我们，神经网络能够看做是躲藏在黑箱中的的近似器。但是，通用近似定理假定无量无尽地添加神经元，这在理论中显然不可行。生成对立网络（GAN）发明者 Ian Goodfellow就曾发表意见说，“仅含有一层的前馈网络，的确足以有效地表示任何函数，但是，这样的网络结构可能会格外庞大，进而无法正确地学习和泛化。”所以，这启示我们神经网络向深层的方向展开，固然知道这样一个能够无限迫近函数的网络的存在，我们也要权衡计算的性能。 神经网络不同架构的区别主要在于激活函数、拓扑结构以及参数的更新学习算法等不尽相同，下面扼要引见三种不同的深度学习网络架构： 深度前馈神经网络：由输入层、隐层和输出层组成，逐层排列神经元，每个躲藏层都有一定数量的神经元需求肯定。神经元之间的互连仅局限于相邻层的神经元完整互连，其互连权重在网络锻炼阶段经过梯度降落优化措施最小化成本函数来计算，没有同层或跨层的神经元互连。
资料来源：《神经网络与深度学习》，邱锡鹏 图2：多层前馈神经网络 卷积神经网络 (CNN)：由 Fukushima在1980年提出，其灵感来自于生物学上的感受野机制，并普遍应用于图像处置和计算机视觉范畴。CNN包含卷积层、池化层和全衔接层。卷积层经过卷积提取学习数据特征，卷积核起到相似滤波器的作用，下图展示了简单的二维卷积细致完成方式。
资料来源：《神经网络与深度学习》，邱锡鹏 图3：二维卷积示例 池化层起到数据降维作用，池化措施有平均值池化和最大池化，将数据划分不同区域并对不同区域运用平均值或最大值来汇总数据。数据流经过卷积层和池化层后，将输出特征一维展开中止扁平化处置，就能够运用全衔接层中止预测。 第一个现代深度卷积网络模型是2012年呈现的AlexNet，完成了深度学习技术在图像分类上的真正突破，运用了很多现代深度网络的技术，好比运用GPU 、采用ReLU 激活函数、运用Dropout、数据增强等。 规范的RNN会遇到梯度消逝的问题，梯度随着层数的增加而降低，阻止了网络的学习。引入线性衔接和门控机制（Gating Mechanism）的长短期记忆 (LSTM) 循环网络的呈现就是为理处置梯度消逝问题，这种机制也能够用在深层的前馈网络中，好比残差网络和高速网络都经过引入线性衔接来锻炼十分深的卷积网络。 03深度学习理论 框架 在深度学习的参数学习过程中，采用手工方式计算梯度再写代码完成的方式的效率较低。此外，深度学习模型需求的比较多的计算机资源，普通需求在CPU 和GPU 之间不时中止切换，开发难度也比较大。因而，一些支持自动梯度计算、无缝CPU 和GPU 切换等功用的深度学习框架就应运而生。比较有代表性的框架包含：Theano、Caffe、TensorFlow、Pytorch、飞桨、Chainer 和MXNet 等。 在这些基础框架之上，还有一些树立在这些框架之上的高度模块化的神经网络库，使得构建一个神经网络模型就像搭积木一样容易。其中比较有名的模块化神经网络框架有：1）基于TensorFlow的Keras；2）基于Theano的Lasagne；3）面向图结构数据的DGL。运用高级库除了便于完成之外，还能够将语法重用于另一个基础框架，但是相比之下也会丧失灵活性。 超参优化 在深度学习中有两种类型的超参数：模型相关参数和优化相关参数。想要取得最佳模型性能就需求在模型的锻炼阶段运用数据集调整优化参数。
资料来源：Big Data,国信证券经济研讨所整理 图4：深度学习中的超参数 下面引见四类超参优化措施： 试错：手动调整每个超参数，耗时长且具有低搜索空间。由于在深度学习中超参数数量庞大，该措施并分歧理。 网格：对设定的一组超参数的不同可能组合中止尝试。具有很高的搜索空间，但是同时计算成本也较高，这使得这种措施无法应用于深度学习。 随机：基于元启示式的搜索战略，该搜索战略成本中等并且搜索范围普遍，是优化深度学习模型的最佳措施之一。包含遗传算法、粒子群优化或增强拓扑算法的神经进化等。 概率：最常见算法是基于贝叶斯措施的算法，跟踪每次评价的结果，用于生成概率散布模型，为不同的超参数分配值。 硬件性能 深度学习算法在CPU上能够运转，但CPU 物理资源缺乏，可能会耗费漫长的时间。由于深度学习需求中止大量的矩阵运算，GPU多核并行计算的特性使其成为深度学习的宠儿。目前，英伟达以其大范围的并行GPU和专用GPU编程框架CUDA主导着当前的深度学习市场。但是越来越多的公司开发出了用于深度学习的加速硬件，好比谷歌的张量处置单元(TPU)、英特尔的Xeon Phi Knight's Landing，以及高通的神经网络处置器(NNU)。 04结语 就目前的阅历来看,深度学习在金融范畴中理论应用还是有限的，且与传统的机器学习算法相比，并没有显现出庞大的优势。由于国内金融范畴数据量的积聚未几，并未能够应用到深度学习处置大数据时的优势，反而会由于数据量过少容易产生样本内的过拟合招致模型的泛化才干差。此时传统机器学习的表示反而优于深度学习模型。但是也正因数据量的需求，之后我们可能会在日内或高频买卖的方向看到深度学习的有效应用。同时我们需求思索的是对个别问题能否要对模型中止针对性改进；如何设计更为适合的网络架构和剖析框架，这决议了应用深度学习所能行进的道路长短。 参考文献： [1] 《金融工程专题研讨-深度学习时间序列预测综述》,国信证券，2021.11. [2] 《神经网络与深度学习》，邱锡鹏，2021.5. [3] 《深度学习的措施引见及金融范畴应用实例》，长江证券，20180122. [4]“在了解通用近似定理之前，你可能都不会了解神经网络”, https://www.thepaper.cn/newsDetail_forward_14392843 . 声明： 本文仅代表作者观念，本文中的各种信息和数据等仅供参考，并不构成销售要约，或买入任何证券、基金或其它投资工具的倡议。 整编：新湖财富 声明： 本文行动系作者自己观念，不代表新湖观念，也不构成任何操作倡议，仅供读者参考。 精品引荐 中植企业集团总裁颜茂昆：乘风而行 共赢未来 投资者之家 | 进击的存款：真的进步了我们的保险感吗？ 首席察看 | 连平：当前降低存量房贷利率可行吗？ |
名表回收网手机版
