# 最佳实践：使用pathlib处理路径
from pathlib import Path
import pandas as pd

# 创建相对路径
data_dir = Path('data/')
csv_file = data_dir / 'dataset.csv'

# 检查文件是否存在
if csv_file.exists():
    df = pd.read_csv(csv_file)
else:
    print(f"文件不存在: {csv_file}")

# 获取当前脚本所在目录
current_dir = Path(__file__).parent
data_path = current_dir / 'data' / 'sales.xlsx'
df_sales = pd.read_excel(data_path)
            

import chardet

def detect_encoding(file_path):
    with open(file_path, 'rb') as f:
        result = chardet.detect(f.read(10000))  # 读取前10,000字节检测编码
    return result['encoding']

file_path = 'data/sales_data.csv'
encoding = detect_encoding(file_path)

# 尝试读取，遇到错误字符跳过
try:
    df = pd.read_csv(file_path, encoding=encoding)
except UnicodeDecodeError:
    # 如果检测失败，尝试常见编码
    for enc in ['utf-8', 'gbk', 'latin1']:
        try:
            df = pd.read_csv(file_path, encoding=enc)
            break
        except UnicodeDecodeError:
            continue

# 处理无法解析的字符
df = pd.read_csv(file_path, encoding=encoding, errors='replace')
            

# 指定数据类型
dtype_spec = {
    'customer_id': 'str',        # 防止前导零丢失
    'price': 'float32',          # 节省内存
    'quantity': 'int16',
    'is_active': 'boolean'       # 布尔类型
}

df = pd.read_csv('data/products.csv', dtype=dtype_spec)

# 处理混合类型列
# 方法1：转换为字符串后再处理
df['mixed_column'] = pd.read_csv('data/data.csv', dtype={'mixed_column': 'str'})['mixed_column']

# 方法2：自定义转换器
def convert_mixed(value):
    try:
        return float(value)
    except ValueError:
        return value

df = pd.read_csv('data/data.csv', converters={'mixed_column': convert_mixed})

# 检查数据类型
print(df.dtypes)
            

数据类型选择建议

遵循这些最佳实践，可以确保您的Python数据导入过程高效、可靠且可维护，为后续数据分析打下坚实基础。