技术社区掘金
GPT-6 发布“Better prompt cache”,提示词缓存,带来了什么?
“新故相推,日生不滞。” ——王夫之,《尚书引义·太甲二》[1] 模型收到的每一次请求,都会由“旧(上下文)”与“新(提示词)”进行交接。 Prompt Cache 要处理的就是这交界处的一笔账:旧的
内容摘要
“新故相推,日生不滞。” ——王夫之,《尚书引义·太甲二》[1] 模型收到的每一次请求,都会由“旧(上下文)”与“新(提示词)”进行交接。 Prompt Cache 要处理的就是这交界处的一笔账:旧的
资讯来源
掘金