社区讨论LinuxDo 最新
GPT 响应速度疑问
网络走的我自己部署的VPS,没用sub2api、或者cpa之类的代理,相当于直连,ccs统计的这个TPS正常吗,首字我觉得挺快的,体感上0.5秒就开始输出了,推理强度用的high,没开fast。或者有推荐不代理情况下有插件或者软件统计TPS和首字之类的吗
内容摘要
作者:#future
板块:#开发调优
网络走的我自己部署的VPS,没用sub2api、或者cpa之类的代理,相当于直连,ccs统计的这个TPS正常吗,首字我觉得挺快的,体感上0.5秒就开始输出了,推理强度用的high,没开fast。或者有推荐不代理情况下有插件或者软件统计TPS和首字之类的吗
资讯来源
LinuxDo