86 lines
3.3 KiB
Python
86 lines
3.3 KiB
Python
|
import pandas as pd
|
|||
|
|
import os
|
|||
|
|
|
|||
|
|
def load_new_data(file_path='data/old_5shops_50skus.parquet'):
|
|||
|
|
"""
|
|||
|
|
加载并适配新的Parquet数据文件，为现有系统提供兼容的数据格式。
|
|||
|
|
|
|||
|
|
核心原则:
|
|||
|
|
1. 保证新数据的完整性，不丢弃任何原始特征。
|
|||
|
|
2. 优先适配新数据，通过重命名和创建代理列来兼容旧代码。
|
|||
|
|
|
|||
|
|
参数:
|
|||
|
|
file_path (str): 新数据文件的路径。
|
|||
|
|
|
|||
|
|
返回:
|
|||
|
|
pandas.DataFrame: 经过适配处理的、包含所有原始特征的DataFrame。
|
|||
|
|
"""
|
|||
|
|
if not os.path.exists(file_path):
|
|||
|
|
raise FileNotFoundError(f"数据文件不存在: {file_path}")
|
|||
|
|
|
|||
|
|
print(f"正在从 {file_path} 加载新数据...")
|
|||
|
|
df = pd.read_parquet(file_path)
|
|||
|
|
print("数据加载完成，开始进行适配处理...")
|
|||
|
|
|
|||
|
|
# 创建一个副本以进行修改，保留原始df的纯净
|
|||
|
|
df_adapted = df.copy()
|
|||
|
|
|
|||
|
|
# --- 1. 列名映射 (适配旧代码的命名习惯) ---
|
|||
|
|
# 步骤1.1: 安全地删除新数据中多余的 'date' 列，以 'kdrq' 为准
|
|||
|
|
if 'date' in df_adapted.columns and 'kdrq' in df.columns:
|
|||
|
|
df_adapted.drop(columns=['date'], inplace=True)
|
|||
|
|
print("已删除新数据中多余的 'date' 列，以 'kdrq' 为准。")
|
|||
|
|
|
|||
|
|
rename_map = {
|
|||
|
|
'subbh': 'store_id',
|
|||
|
|
'hh': 'product_id',
|
|||
|
|
'kdrq': 'date', # 现在可以安全地将 kdrq 重命名为 date
|
|||
|
|
'net_sales_quantity': 'sales', # 将目标变量映射为 'sales'
|
|||
|
|
'temperature_2m_mean': 'temperature',
|
|||
|
|
'day_of_week': 'weekday'
|
|||
|
|
}
|
|||
|
|
df_adapted.rename(columns=rename_map, inplace=True)
|
|||
|
|
print(f"已完成列名映射: {list(rename_map.keys())} -> {list(rename_map.values())}")
|
|||
|
|
|
|||
|
|
# --- 2. 数据类型转换 ---
|
|||
|
|
# 将 'date' 列转换为标准的datetime对象
|
|||
|
|
df_adapted['date'] = pd.to_datetime(df_adapted['date'])
|
|||
|
|
print("已将 'date' 列转换为 datetime 类型。")
|
|||
|
|
|
|||
|
|
# --- 3. 关键特征工程 (创建代理列) ---
|
|||
|
|
# 现有模型依赖 'is_promotion' 和 'is_weekend' 特征。
|
|||
|
|
# 'is_weekend' 在新数据中已存在，无需处理。
|
|||
|
|
# 'is_promotion' 在新数据中不存在，创建一个默认值为0的代理列。
|
|||
|
|
if 'is_promotion' not in df_adapted.columns:
|
|||
|
|
df_adapted['is_promotion'] = 0
|
|||
|
|
print("创建了代理列 'is_promotion' 并填充默认值 0。")
|
|||
|
|
|
|||
|
|
# 确保 'month' 列存在，如果不存在则从日期中提取
|
|||
|
|
if 'month' not in df_adapted.columns and 'date' in df_adapted.columns:
|
|||
|
|
df_adapted['month'] = df_adapted['date'].dt.month
|
|||
|
|
print("从 'date' 列中提取并创建了 'month' 列。")
|
|||
|
|
|
|||
|
|
print("数据适配处理完成。")
|
|||
|
|
|
|||
|
|
# 返回包含所有列的适配后DataFrame
|
|||
|
|
return df_adapted
|
|||
|
|
|
|||
|
|
if __name__ == '__main__':
|
|||
|
|
# 用于直接运行此脚本进行测试
|
|||
|
|
print("--- 测试数据加载器 ---")
|
|||
|
|
try:
|
|||
|
|
adapted_df = load_new_data()
|
|||
|
|
print("\n--- 适配后数据信息 ---")
|
|||
|
|
adapted_df.info()
|
|||
|
|
|
|||
|
|
print("\n--- 检查关键列 ---")
|
|||
|
|
key_cols = [
|
|||
|
|
'store_id', 'product_id', 'date', 'sales',
|
|||
|
|
'temperature', 'weekday', 'is_promotion', 'month'
|
|||
|
|
]
|
|||
|
|
print(adapted_df[key_cols].head())
|
|||
|
|
|
|||
|
|
print(f"\n测试成功！适配后的DataFrame包含 {len(adapted_df.columns)} 列。")
|
|||
|
|
|
|||
|
|
except Exception as e:
|
|||
|
|
print(f"\n测试失败: {e}")
|