能否实现多个不同模型，轮流调用npu核，进行并行推理加速呢？ #66

Open

opened

on Jun 11, 2025

目前的代码测试，发现是可以有效提升npu利用率。。但如果是多个模型并行推理单个流，再将结果进行合并，是否可以实现呢？？

Metadata

Assignees

No one assigned

Labels

No labels

No labels

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests