在深度学习领域，卷积神经网络是个非常厉害的工具，在图像识别、语音识别等好多地方都有出色的表现。而在卷积神经网络里，激活函数就像是给网络注入活力的“兴奋剂”，它的选择会直接影响网络的性能。接下来，咱们就一起深入探讨一下激活函数的选择以及不同激活函数性能的对比。
一、什么是激活函数
简单来说，激活函数就是在神经网络里，对输入信号进行非线性变换的函数。为啥要进行非线性变换呢？这就好比我们解决问题不能总是用简单的直线思维，得有点“弯弯绕”才能处理更复杂的情况。如果没有激活函数，那神经网络就只能处理线性问题，好多复杂的任务就完成不了啦。
举个例子，我们用Python和TensorFlow来简单看看没有激活函数和有激活函数的区别：
# 技术栈名称：Python + TensorFlow
import tensorflow as tf
import numpy as np
# 定义输入数据
x = np.array([[1.0, 2.0, 3.0]])
# 构建没有激活函数的简单神经网络层
W = tf.Variable(tf.random.normal([3, 1])) # 权重矩阵
b = tf.Variable(tf.zeros([1])) # 偏置
output_without_activation = tf.matmul(x, W) + b
# 构建有激活函数（使用ReLU激活函数）的简单神经网络层
output_with_activation = tf.nn.relu(tf.matmul(x, W) + b)
print("没有激活函数的输出:", output_without_activation.numpy())
print("有激活函数的输出:", output_with_activation.numpy())
解释一下这个例子，输入数据x是一个一行三列的矩阵。首先构建了一个没有激活函数的简单神经网络层，就是简单的矩阵乘法加上偏置。然后又构建了一个有ReLU激活函数的神经网络层，ReLU激活函数会把小于0的值变成0，大于0的值保持不变。从输出结果就能看到，有激活函数和没有激活函数的输出是不一样的。
二、常见的激活函数
1. Sigmoid函数
Sigmoid函数可以把输入的值映射到(0, 1)这个区间内，就像一个“压缩器”，把很大或者很小的数都压缩到0到1之间。它的公式是$f(x)=\frac{1}{1 + e^{-x}}$。
在Python里可以这样实现：
# 技术栈名称：Python
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))
x = np.array([-1.0, 0.0, 1.0])
output = sigmoid(x)
print("Sigmoid函数的输出:", output)
Sigmoid函数的优点是输出值在0到1之间，很适合做概率输出。比如在二分类问题里，输出值接近0就可以认为是一类，接近1就认为是另一类。但是它也有缺点，当输入值很大或者很小时，函数的导数会趋近于0，这就会导致梯度消失的问题，网络训练就会变得很慢。
2. Tanh函数
Tanh函数和Sigmoid函数有点类似，不过它把输入值映射到(-1, 1)这个区间内，公式是$f(x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}$。
Python实现：
# 技术栈名称：Python
import numpy as np
def tanh(x):
return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
x = np.array([-1.0, 0.0, 1.0])
output = tanh(x)
print("Tanh函数的输出:", output)
Tanh函数的优点是它的输出是以0为中心的，这在一定程度上可以缓解梯度消失的问题。但是它还是存在梯度消失的问题，只是比Sigmoid函数好一些。
3. ReLU函数
ReLU函数是目前用得最多的激活函数之一，它的公式是$f(x)=\max(0, x)$，也就是把小于0的值变成0，大于0的值保持不变。
Python实现：
# 技术栈名称：Python
import numpy as np
def relu(x):
return np.maximum(0, x)
x = np.array([-1.0, 0.0, 1.0])
output = relu(x)
print("ReLU函数的输出:", output)
ReLU函数的优点是计算简单，而且在一定程度上缓解了梯度消失的问题。因为当输入值大于0时，导数恒为1。但是它也有缺点，就是当输入值小于0时，导数为0，这会导致神经元可能“死亡”，也就是不再更新参数。
4. Leaky ReLU函数
Leaky ReLU函数是对ReLU函数的改进，它在输入值小于0时，不是直接把值变成0，而是乘以一个很小的正数$\alpha$，公式是$f(x)=\max(\alpha x, x)$，通常$\alpha$取0.01。
Python实现：
# 技术栈名称：Python
import numpy as np
def leaky_relu(x, alpha=0.01):
return np.where(x > 0, x, alpha * x)
x = np.array([-1.0, 0.0, 1.0])
output = leaky_relu(x)
print("Leaky ReLU函数的输出:", output)
Leaky ReLU函数的优点是解决了ReLU函数神经元“死亡”的问题，在输入值小于0时，也有一个小的梯度。
三、激活函数的性能对比
为了对比不同激活函数的性能，我们可以用一个简单的图像分类任务来做实验。在这个实验里，我们使用MNIST手写数字数据集，用卷积神经网络来进行分类。
实验代码
# 技术栈名称：Python + TensorFlow
import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
# 加载MNIST数据集
(x_train, y_train), (x_test, y_test) = mnist.load_data()
# 数据预处理
x_train = x_train.reshape(-1, 28, 28, 1).astype('float32') / 255.0
x_test = x_test.reshape(-1, 28, 28, 1).astype('float32') / 255.0
y_train = tf.keras.utils.to_categorical(y_train, 10)
y_test = tf.keras.utils.to_categorical(y_test, 10)
# 定义不同激活函数的模型
def create_model(activation):
model = Sequential([
Conv2D(32, (3, 3), activation=activation, input_shape=(28, 28, 1)),
MaxPooling2D((2, 2)),
Conv2D(64, (3, 3), activation=activation),
MaxPooling2D((2, 2)),
Flatten(),
Dense(64, activation=activation),
Dense(10, activation='softmax')
])
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
return model
# 不同激活函数的模型训练和评估
activations = ['sigmoid', 'tanh', 'relu', 'leaky_relu']
for activation in activations:
if activation == 'leaky_relu':
model = create_model(tf.keras.layers.LeakyReLU(alpha=0.01))
else:
model = create_model(activation)
model.fit(x_train, y_train, epochs=5, batch_size=64, verbose=1)
_, accuracy = model.evaluate(x_test, y_test)
print(f"{activation}激活函数的测试准确率: {accuracy}")
在这个实验里，我们定义了一个简单的卷积神经网络，分别使用Sigmoid、Tanh、ReLU和Leaky ReLU作为激活函数，训练5个epoch，然后在测试集上评估准确率。
实验结果分析
从实验结果可以大致看出，Sigmoid和Tanh函数在训练过程中收敛比较慢，而且准确率相对较低，这是因为它们存在梯度消失的问题。而ReLU和Leaky ReLU函数收敛速度比较快，准确率也比较高，尤其是Leaky ReLU函数在一定程度上避免了ReLU函数神经元“死亡”的问题，表现可能会更好一些。
四、激活函数的应用场景
1. 二分类问题
在二分类问题里，Sigmoid函数是个不错的选择，因为它的输出值在0到1之间，可以直接看成是概率。比如在判断一张图片是不是猫的问题里，Sigmoid函数输出接近0就可以认为图片里不是猫，输出接近1就可以认为是猫。
2. 多分类问题
在多分类问题里，一般最后一层会使用Softmax函数，而前面的隐藏层可以使用ReLU或者Leaky ReLU等激活函数。Softmax函数可以把输入值映射到一个概率分布上，每个类别的概率相加等于1。
3. 深度神经网络
在深度神经网络里，ReLU和Leaky ReLU等函数比较适合，因为它们可以缓解梯度消失的问题，让训练更加稳定。
五、技术优缺点总结
优点
不同的激活函数有不同的优点。Sigmoid函数适合做概率输出，Tanh函数以0为中心可以缓解一定的梯度消失问题，ReLU和Leaky ReLU函数计算简单，能有效缓解梯度消失问题，让网络训练更高效。
缺点
Sigmoid和Tanh函数存在梯度消失问题，ReLU函数可能会导致神经元“死亡”，Leaky ReLU函数虽然解决了神经元“死亡”的问题，但是需要额外设置一个参数$\alpha$。
六、注意事项
1. 梯度消失问题
在选择激活函数时，要注意梯度消失的问题。尤其是在使用Sigmoid和Tanh函数时，要注意网络的深度，避免梯度消失导致训练不收敛。
2. 神经元“死亡”问题
使用ReLU函数时，要注意神经元“死亡”的问题。可以尝试使用Leaky ReLU等改进的激活函数。
3. 超参数调整
如果使用Leaky ReLU等需要设置超参数的激活函数，要注意超参数的调整，不同的超参数可能会对网络性能产生很大的影响。
七、文章总结
在卷积神经网络里，激活函数的选择非常重要，它会直接影响网络的性能。常见的激活函数有Sigmoid、Tanh、ReLU和Leaky ReLU等，它们各有优缺点，适用于不同的应用场景。在实际应用中，要根据具体的任务和数据特点来选择合适的激活函数，同时要注意梯度消失、神经元“死亡”等问题，合理调整超参数，让网络达到最佳性能。通过实验对比不同激活函数的性能，可以帮助我们更好地理解它们的特点，从而做出更合适的选择。
评论