社区讨论LinuxDo 最新
用了几天自部署的 ds v4.1f,说说实际使用中会遇到的问题
实验室里有闲置的算力,我就拿来部署 ds v4.1f 尝尝鲜了。 权重使用的是官方的权重,vLLM 使用的是针对 Ampere 特定实现的版本。 模型是接入到 Pi Agent 中使用的,我用他来开发一些网安相关的科研原型框架。 使用中我认为几个明显影响使用的问题: 模型循环输出,跳不出来。当然这个问题不是 DS 的专属问题,但是我确实遇到了好几次(甚至之前用官方 API + dsh 也出现过这个问题),所以在 Pi Agent 里面添加了检测循环的插件(npm:@isr4el-silv4/loop-guard)…
内容摘要
作者:#Grub
板块:#开发调优
实验室里有闲置的算力,我就拿来部署 ds v4.1f 尝尝鲜了。
权重使用的是官方的权重,vLLM 使用的是针对 Ampere 特定实现的版本。
模型是接入到 Pi Agent 中使用的,我用他来开发一些网安相关的科研原型框架。
使用中我认为几个明显影响使用的问题:
模型循环输出,跳不出来。当然这个问题不是 DS 的专属问题,但是我确实遇到了好几次(甚至之前用官方 API + dsh 也出现过这个问题),所以在 Pi Agent 里面添加了检测循环的插件(npm:@isr4el-silv4/loop-guard)用来缓解;
凭空捏造用户指令。这个问题我觉得也很奇怪,但是不只是我一个遇到了这个问题,Github Discussion 里面有人提到了这个事情([BUG] An agent acted on an instruction the user never sent, and the assembled prompt is not recorded · deepseek-ai/deepseek-harness · Discussion #6378 · GitHub),但是目前没有好的解决方法,可能得等官方了;
DSML 标签解析(或生成)错误。这个问题我不清楚是 vllm parser 实现问题还是模型生成问题。DS 中的这个标签本应该是被转换成格式化的工具调用的,但是偶尔会失败,直接作为 AIMessage 出现在聊天记录里面,并导致 Agent 结束当前轮的运行。而且如果把这条消息留在上下文让其继续工作,那么后面的 DSML 标签将会继续出错;
过度思考。这个就不多说了。官方定义的 low 思考深度转换成数值是 50,而这个数值的范围是 0~100,所以这个 low 也不是那么 low,依旧会有雷霆大思考。
抛开这几个问题 DS 还是很不错的。毕竟我能免费用,接到 Agent 里把我电脑搞炸了我都得夸他能力强。但是佬们如果要考虑深度使用的话,或许还要多考虑一下。
资讯来源
LinuxDo