为什么需要按行遍历DataFrame？

在Pandas数据分析中，DataFrame是最常用的数据结构。虽然向量化操作通常是首选，但在某些场景下按行遍历是必要的：

• 需要基于多列值进行复杂条件判断
• 行间计算（如时间序列分析中的前后行比较）
• 调用不接受向量输入的第三方库或API
• 处理需要逐行操作的文本数据

DataFrame行遍历方法对比

1. 使用iterrows()方法

iterrows()是最常用的行遍历方法，它返回每行的索引和行数据（Series对象）。

import pandas as pd

# 创建示例DataFrame
data = {
    '姓名': ['张三', '李四', '王五', '赵六'],
    '年龄': [25, 30, 35, 28],
    '城市': ['北京', '上海', '广州', '深圳'],
    '工资': [15000, 22000, 18000, 25000]
}
df = pd.DataFrame(data)

# 使用iterrows遍历
for index, row in df.iterrows():
    # 访问行数据
    name = row['姓名']
    age = row['年龄']
    city = row['城市']
    salary = row['工资']
    
    # 示例处理：计算税后工资
    tax_rate = 0.1 if salary < 20000 else 0.15
    net_salary = salary * (1 - tax_rate)
    
    # 打印结果
    print(f"{name}（{age}岁，{city}）: 税前{salary}元，税后{net_salary:.0f}元")

2. 使用itertuples()方法

itertuples()返回命名元组，比iterrows()更快，内存效率更高。

# 使用itertuples遍历
for row in df.itertuples():
    # 通过属性访问数据
    name = row.姓名
    age = row.年龄
    city = row.城市
    salary = row.工资
    
    # 复杂条件判断
    if city == '北京' and salary > 20000:
        bonus = salary * 0.1
    elif city == '上海' and age > 28:
        bonus = salary * 0.08
    else:
        bonus = salary * 0.05
        
    # 添加到新列（实际应用中应避免在循环中修改DataFrame）
    df.at[row.Index, '奖金'] = bonus

# 显示结果
print(df[['姓名', '城市', '工资', '奖金']])

3. 使用apply()方法

apply()结合lambda函数或自定义函数，提供更函数式的行处理方式。

# 定义处理函数
def calculate_raise(row):
    """根据城市和年龄计算加薪比例"""
    base_raise = 0.05
    
    # 基于条件的调整
    if row['城市'] in ['北京', '上海']:
        base_raise += 0.02
    if row['年龄'] > 30:
        base_raise += 0.03
    
    # 上限检查
    return min(base_raise, 0.1)

# 应用函数到每行
df['加薪比例'] = df.apply(calculate_raise, axis=1)

# 计算新工资
df['新工资'] = df.apply(lambda row: row['工资'] * (1 + row['加薪比例']), axis=1)

# 显示结果
print(df[['姓名', '城市', '年龄', '工资', '加薪比例', '新工资']])

性能比较与选择指南