技术社区博客园首页
用 crontab 给 LLM 使用量装上“监控眼” - AlfredZhao
【摘要】在把大模型接入日常工作流之后,笔者很快遇到了一个新问题:模型到底被用了多少次?每天的高峰时段是什么时候?周末是不是真的没人调用?如果对这些数据一无所知,就谈不上优化成本、排查异常,更谈不上为后续扩容做规划。 于是,笔者为 LLM 使用量加了一层可观测性,做法很简单——用 Linux 自带的 cron 阅读全文
内容摘要
【摘要】在把大模型接入日常工作流之后,笔者很快遇到了一个新问题:模型到底被用了多少次?每天的高峰时段是什么时候?周末是不是真的没人调用?如果对这些数据一无所知,就谈不上优化成本、排查异常,更谈不上为后续扩容做规划。 于是,笔者为 LLM 使用量加了一层可观测性,做法很简单——用 Linux 自带的 cron 阅读全文
资讯来源
博客园