社区讨论LinuxDo 最新
长文本 + 固定 JSON 输出场景,怎么样用API成本能低一点?
佬们,现在在做一套录音文字稿分析的简单的工作流项目,中间需要AI按固定格式分析来输出固定json格式 之前用dpf没涨价的成本那是真省钱,现在开思考的话那是真撑不住了,输出涨价太多了,都不敢开思考了,但不开思考质量感觉还是差点。 目前7天用量大概600-700万token左右,但是缓存命中率比较低,一天成本大概要6-7块,这还没有全量用起来,用起来的话大概要翻个三四倍,这种场景下是不是买个plan套餐会好一些?
内容摘要
作者:#尝一口木可
板块:#开发调优
佬们,现在在做一套录音文字稿分析的简单的工作流项目,中间需要AI按固定格式分析来输出固定json格式
之前用dpf没涨价的成本那是真省钱,现在开思考的话那是真撑不住了,输出涨价太多了,都不敢开思考了,但不开思考质量感觉还是差点。
目前7天用量大概600-700万token左右,但是缓存命中率比较低,一天成本大概要6-7块,这还没有全量用起来,用起来的话大概要翻个三四倍,这种场景下是不是买个plan套餐会好一些?
资讯来源
LinuxDo