ocpub/oc9-trl repository overview

⁠trl 1.0.0 on OpenCloudOS 9

⁠基本信息

• 框架版本：1.0.0
• 基础镜像：opencloudos/opencloudos9-minimal:latest
• Python 版本：3.11
• CUDA 版本：N/A
• 开源地址：https://github.com/huggingface/trl⁠

⁠简介

TRL（Transformer Reinforcement Learning）是 HuggingFace 出品的大语言模型微调与对齐训练库，支持 SFT、DPO、PPO、GRPO 等主流训练范式。

⁠构建

docker build -t oc9-trl:1.0.0 .

⁠使用示例

# 验证版本
docker run --rm oc9-trl:1.0.0 python3.11 -c "import importlib.metadata; print(importlib.metadata.version('trl'))"

# 运行基础测试（在版本目录下执行）
bash test.sh oc9-trl:1.0.0

⁠已知问题

无