目前在保持灵活性和性能之间找到一个较好的平衡。
vit, llm仍然使用onnx->trt_engine的路径,量化可以通过https://github.com/NVIDIA/Model-Optimizer.git支持。同时支持通过cutedsl手写算子进行进一步优化
denoise因为步数多,kernel launch多,因此完全通过手写融合算子实现,将所有steps进行一次大的cuda graph capture.
输入: 3张图片 + 256 prompt + 10 denoise steps
性能数据
总推理耗时
[summary:engine] sample_actions n=38 mean=
订阅专栏 解锁全文
270



被折叠的 条评论
为什么被折叠?



