返回 AI 资讯
技术社区博客园首页

用 crontab 给 LLM 使用量装上“监控眼” - AlfredZhao

【摘要】在把大模型接入日常工作流之后,笔者很快遇到了一个新问题:模型到底被用了多少次?每天的高峰时段是什么时候?周末是不是真的没人调用?如果对这些数据一无所知,就谈不上优化成本、排查异常,更谈不上为后续扩容做规划。 于是,笔者为 LLM 使用量加了一层可观测性,做法很简单——用 Linux 自带的 cron 阅读全文

内容摘要

【摘要】在把大模型接入日常工作流之后,笔者很快遇到了一个新问题:模型到底被用了多少次?每天的高峰时段是什么时候?周末是不是真的没人调用?如果对这些数据一无所知,就谈不上优化成本、排查异常,更谈不上为后续扩容做规划。 于是,笔者为 LLM 使用量加了一层可观测性,做法很简单——用 Linux 自带的 cron 阅读全文

资讯来源

博客园

原文链接

打开原文