OneTree/ShopTRAINING

Fork 0

gdtiti 71a6975159 临时版本

2025-07-02 11:05:23 +08:00

5.3 KiB

Raw Blame History

中文乱码问题解决方案总结

📋 问题回顾

原始问题

训练时控制台无日志输出 - API服务器训练模型时控制台没有任何显示
中文字符乱码 - 控制台输出中文显示为乱码或问号
表情符号无法显示 - 🚀 📊 等表情符号显示异常

环境背景

运行环境: Windows + uv Python包管理器
项目特点: 大量使用中文注释和表情符号增强可读性
问题影响: 开发调试体验严重受影响

🔍 根本原因分析

1. Python运行环境编码

uv run 启动的Python进程默认编码可能不是UTF-8
Windows系统默认使用GBK编码
环境变量 PYTHONIOENCODING 未正确设置

2. 控制台输出流配置

sys.stdout 和 sys.stderr 编码配置不正确
缓冲机制导致输出延迟或丢失
Windows控制台代码页设置不当

3. 脚本文件编码

Python脚本文件保存编码与运行时编码不匹配
UTF-8 BOM头处理问题

✅ 解决方案实施

第一步：环境变量修复

# 核心解决方案：设置环境变量
PYTHONIOENCODING=utf-8 uv run server/api.py

原理: 强制Python使用UTF-8编码处理输入输出流

第二步：代码内编码强化

在 server/api.py 中添加：

import sys
import os

# 设置环境变量强制UTF-8编码
os.environ['PYTHONIOENCODING'] = 'utf-8'
os.environ['PYTHONLEGACYWINDOWSSTDIO'] = '0'

# Windows系统特殊处理
if os.name == 'nt':
    try:
        os.system('chcp 65001 >nul 2>&1')  # 设置控制台代码页
        if hasattr(sys.stdout, 'reconfigure'):
            sys.stdout.reconfigure(encoding='utf-8', errors='replace')
            sys.stderr.reconfigure(encoding='utf-8', errors='replace')
    except Exception as e:
        print(f"Warning: Failed to set UTF-8 encoding: {e}")

第三步：批处理文件方案

创建 启动API服务器.bat：

@echo off
chcp 65001 >nul 2>&1
set PYTHONIOENCODING=utf-8
set PYTHONLEGACYWINDOWSSTDIO=0
cd /d %~dp0
echo 🚀 启动药店销售预测系统API服务器...
uv run server/api.py
pause

第四步：训练器输出修复

在 server/trainers/transformer_trainer.py 中：

def emit_progress(message, progress=None, metrics=None):
    # 强制刷新输出缓冲区
    print(f"[{time.strftime('%H:%M:%S')}] {message}", flush=True)
    import sys
    sys.stdout.flush()
    sys.stderr.flush()

📊 修复效果验证

Before (修复前)

使用设备: cuda
成功加载数据文件: pharmacy_sales_multi_store.csv
数据标准化完成，可用特征列: ['sales', 'price', ...]
模型训练失败: 'gbk' codec can't encode character '\U0001f916'

After (修复后)

============================================================
🧪 控制台编码测试开始
============================================================
📝 基本测试:
   ✅ 简体中文: 药店销售预测系统
   🚀 表情符号: 启动 📊 数据 🤖 模型
   💾 混合文本: Product P001 - 感冒灵颗粒

🚀 开始训练测试 - 产品: P001
========================================
🤖 使用Transformer模型训练产品 '感冒灵颗粒' (ID: P001) 的销售预测模型
🖥️  使用设备: cuda
📁 模型将保存到目录: saved_models
[03:14:22] 开始Transformer模型训练...
[03:14:29] Epoch 1/1, Train Loss: 0.0968, Test Loss: 0.0188
📊 模型评估指标:
   MSE: 226.7259
   RMSE: 15.0574
   ✅ 训练成功完成

🎯 最佳实践总结

1. 统一启动方式

强制要求: 所有 uv run 命令前添加环境变量

PYTHONIOENCODING=utf-8 uv run [script_name]

2. 代码防御性编程

在关键脚本开头添加编码配置代码，确保兼容性

3. 使用批处理文件

为常用操作创建预配置的启动脚本，避免重复设置

4. 测试验证机制

创建编码测试脚本，每次修改后验证编码正常

📋 问题预防清单

开发阶段

新脚本复制已验证的编码配置代码
文件保存时确保UTF-8编码
使用统一的启动方式

部署阶段

环境变量正确设置
控制台支持UTF-8显示
批处理文件配置正确

维护阶段

定期运行编码测试
团队成员统一开发规范
文档保持更新

🚀 后续优化建议

自动化设置: 在项目根目录创建环境配置脚本
IDE集成: 配置开发环境默认使用UTF-8
CI/CD集成: 在持续集成中包含编码测试
文档完善: 在README中明确说明编码要求

💡 经验教训

环境变量优先: PYTHONIOENCODING=utf-8 是最简单有效的解决方案
代码容错: 即使环境配置失败，代码内配置可以作为后备
用户体验: 表情符号和中文大大提升了日志的可读性，值得保留
文档重要性: 详细记录解决方案避免重复踩坑

📚 相关资源

创建时间: 2025-06-21
修复版本: v2.1.0
状态: 已解决并验证
影响范围: 所有使用uv run的Python脚本

5.3 KiB Raw Blame History Unescape Escape