【笔记】一行代码让大模型推理的 overlap scheduler 失效 - -银光-

【摘要】1. 先说结论 overlap scheduler 的前提是「GPU 上的推理」和「CPU 上的前后处理」能同时跑。任何一次 CPU 与 GPU 之间的同步等待，都会把这个并行切断——只要 cudaStreamSynchronize 一出现，CPU 就得停下来等 stream 空出来。 两种最常见的 阅读全文