什么是Tanh函数？

Tanh函数（双曲正切函数）是深度学习和神经网络中广泛使用的激活函数之一。它将输入值压缩到(-1, 1)的范围内，具有S形曲线特征。与Sigmoid函数不同，Tanh函数的输出以0为中心，这使得它在某些场景下表现更好。

在Python中实现Tanh函数

Python中有多种方式实现Tanh函数：

1. 使用math模块

Python标准库的math模块提供了tanh函数：

import math

x = 2.0
result = math.tanh(x)
print(f"tanh({x}) = {result:.4f}")  # 输出: tanh(2.0) = 0.9640

2. 使用NumPy库

对于数组计算，NumPy提供了高效的tanh实现：

import numpy as np

# 单个值计算
x = 0.5
print(np.tanh(x))  # 输出: 0.4621

# 数组计算
arr = np.array([-2, -1, 0, 1, 2])
print(np.tanh(arr))
# 输出: [-0.9640 -0.7616  0.      0.7616  0.9640]

3. 手动实现Tanh函数

理解数学原理后，我们可以手动实现：

import math

def tanh(x):
    """手动实现Tanh函数"""
    if x > 100:  # 避免溢出
        return 1.0
    elif x < -100:
        return -1.0
    e2x = math.exp(2 * x)
    return (e2x - 1) / (e2x + 1)

# 测试手动实现
print(tanh(1))  # 输出: 0.7615941559557649
print(math.tanh(1))  # 输出: 0.7615941559557649

Tanh与Sigmoid函数比较

Tanh与Sigmoid函数对比图：

  1.0 |        ***********         Sigmoid
      |       *         *
      |      *           *
      |     *             *
      |    *               *
  0.5 |*****                 ***************** Tanh
      |                         *           *
      |                          *         *
      |                           *       *
      |                            *     *
  0.0 |_____________________________***______________
      |                             |     |
     -5.0                          0.0   5.0

特点说明：
- Tanh关于原点对称，输出范围(-1,1)
- Sigmoid输出范围(0,1)，所有输出均为正
- 两者在两端都趋于饱和（梯度消失）
                        

Tanh函数的应用实例

在神经网络中作为激活函数

import numpy as np

def tanh(x):
    """Tanh激活函数"""
    return np.tanh(x)

def tanh_derivative(x):
    """Tanh函数的导数"""
    return 1.0 - np.tanh(x)**2

# 示例神经网络层
class NeuralLayer:
    def __init__(self, input_size, output_size):
        self.weights = np.random.randn(input_size, output_size) * 0.1
        self.bias = np.zeros((1, output_size))
    
    def forward(self, inputs):
        self.inputs = inputs
        self.z = np.dot(inputs, self.weights) + self.bias
        self.output = tanh(self.z)
        return self.output
    
    def backward(self, d_output, learning_rate):
        # 计算梯度
        d_z = d_output * tanh_derivative(self.z)
        
        # 计算参数的梯度
        d_weights = np.dot(self.inputs.T, d_z)
        d_bias = np.sum(d_z, axis=0, keepdims=True)
        
        # 更新参数
        self.weights -= learning_rate * d_weights
        self.bias -= learning_rate * d_bias
        
        # 返回输入的梯度
        return np.dot(d_z, self.weights.T)

# 使用示例
layer = NeuralLayer(3, 4)  # 输入3个特征，输出4个神经元
inputs = np.array([[1, 2, 3]])
output = layer.forward(inputs)
print("Layer output:", output)

数据归一化

Tanh函数可用于将数据归一化到(-1, 1)范围：

import numpy as np
from sklearn.preprocessing import MinMaxScaler

# 生成样本数据
data = np.random.rand(100, 1) * 100 - 50  # 范围在-50到50之间

# 使用Tanh归一化
def tanh_normalize(data):
    # 先缩放到(-1,1)范围，再应用tanh
    scaler = MinMaxScaler(feature_range=(-1, 1))
    scaled = scaler.fit_transform(data)
    return np.tanh(scaled)

normalized_data = tanh_normalize(data)
print("Original range:", data.min(), data.max())
print("Normalized range:", normalized_data.min(), normalized_data.max())

Tanh函数的优缺点总结

总结

Tanh函数是深度学习中重要的激活函数之一，特别适用于需要输出负值的场景。虽然现代神经网络中ReLU及其变体更为流行，但Tanh在RNN、LSTM等结构中仍有重要地位。

理解Tanh函数的数学特性、优缺点以及在Python中的实现方式，对于构建和优化神经网络模型具有重要意义。在实际应用中，应根据具体问题和网络结构选择合适的激活函数。

关键点：Tanh以零为中心的特性使其在优化过程中比Sigmoid更具优势，但仍需注意梯度消失问题。