Add Seed-OSS model support#4681
Conversation
|
Thanks for your contribution! |
836ff73 to
58ecbc4
Compare
58ecbc4 to
69f1e4b
Compare
risemeup1111
left a comment
There was a problem hiding this comment.
已复查最新提交,之前关于默认配置、模板注册和 sequence parallel 形状路径的功能性问题看起来已经处理。
当前仍有一个 lint 阻塞项,另外 README 里还有一处说明需要和实际模板注册对齐,细节已放在行内评论。请先按行内意见修复/回复后再继续复查。
| <tr> | ||
| <td>Seed-OSS</td> | ||
| <td>ByteDance-Seed/Seed-OSS-36B-Base、ByteDance-Seed/Seed-OSS-36B-Instruct</td> | ||
| <td>seed_oss</td> |
| @@ -0,0 +1 @@ | |||
|
|
|||
There was a problem hiding this comment.
PaddleFormers Log Analysis
日志分析报告
失败的测试case: 根本原因分析: 本PR新增了
修复建议:
🔄 每次 Re-run 后自动更新 |
Add seed_oss
添加了seed_oss模型的PaddlePaddle 实现,包含模型代码、配置文件、单元测试。
对齐验证
精度对齐
前 20 个 token 的 logits 对齐结果如下:
训练loss对齐
训练数据
训练结果