社区讨论LinuxDo
随着opus sol luna的降价，本地端侧模型的世纪骗局快圆不下去了
随着opus sol luna的降价，本地端侧模型的世纪骗局快圆不下去了 你部署一套设备+运维+电费+人工，总成本估计够买opus/sol订阅额度10年，够luna额度20年，即便为了数据的相对安全，去买国产api，那也够小10年，还要被蒸馏和路由 要想绝对安全，同时还要全公司爽用v4.1 flash这个体量的模型，不来几个H200 B200 是不现实的，自己算算能买多少年api 端侧模型这个世纪骗局快圆不下去了，下一步估计是改成吹100M级的开发板/树莓派 边缘模型，但是随着几乎无延迟几乎不要钱的jev的发布，…
内容摘要
随着opus sol luna的降价，本地端侧模型的世纪骗局快圆不下去了
你部署一套设备+运维+电费+人工，总成本估计够买opus/sol订阅额度10年，够luna额度20年，即便为了数据的相对安全，去买国产api，那也够小10年，还要被蒸馏和路由
要想绝对安全，同时还要全公司爽用v4.1 flash这个体量的模型，不来几个H200 B200 是不现实的，自己算算能买多少年api
端侧模型这个世纪骗局快圆不下去了，下一步估计是改成吹100M级的开发板/树莓派 边缘模型，但是随着几乎无延迟几乎不要钱的jev的发布，边缘计算这种场景会不会被jev类的判断模型完全覆盖还不好说了
65 个帖子 - 60 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: gobert)
相关链接：
https://linux.do/t/topic/2942047