GPT系列讲演：经典深度学习算法拆解(1/16)

每个卷积层后引入非线性激活函数，确保整个网络的非线性。常用的激活函数为线性整流单元（Rectified Linear Unit，ReLU），其实质是将特征图上一切负数变成 0，而正数坚持不变。其他常用的激活函数还有 Sigmoid 函数、双曲正切函数（tanh）。激活函数使得神经网络模型具有非线性，从而能够表示非线性的函数，处置愈加复杂的任务。 [查看原文]

标签： 积家

全部图片

查看原图