社区讨论LinuxDo 最新
做过Dify/RAG/Agent项目的佬友,你们上线前怎么验收?
发帖前搜索过“Dify评测”“Agent验收”和“RAG评测”,相关结果大多是课程、资源、求职或具体项目介绍,暂时没找到集中讨论个人开发者和小团队实际交付验收流程的帖子,所以新开一帖请教。 最近在了解一个问题:现在用Dify、n8n或其他框架搭建知识库、AI客服和Agent已经比较快了,但真正交付或上线之前,大家一般怎么判断它“可以用了”? 我查了一些现有方案,LangSmith、Langfuse、阿里云百炼、腾讯云等都已经提供评测能力,不过不太清楚个人开发者和小团队实际交付时是否会使用,所以想请教有真实经验的佬…
内容摘要
作者:#mumu
板块:#开发调优
发帖前搜索过“Dify评测”“Agent验收”和“RAG评测”,相关结果大多是课程、资源、求职或具体项目介绍,暂时没找到集中讨论个人开发者和小团队实际交付验收流程的帖子,所以新开一帖请教。
最近在了解一个问题:现在用Dify、n8n或其他框架搭建知识库、AI客服和Agent已经比较快了,但真正交付或上线之前,大家一般怎么判断它“可以用了”?
我查了一些现有方案,LangSmith、Langfuse、阿里云百炼、腾讯云等都已经提供评测能力,不过不太清楚个人开发者和小团队实际交付时是否会使用,所以想请教有真实经验的佬友:
你做过哪类知识库、客服或Agent项目?
上线前是人工问几遍,还是会准备专门的测试集?
最容易出现什么问题:幻觉、知识库没召回、工具调用错误、格式错误,还是多轮对话跑偏?
如果是给客户交付,客户会要求提供什么验收结果?
现有平台的评测功能够用吗?最缺的是什么?
目前只是做需求调研,不卖服务,也不向站外引流。
如果有不包含隐私信息的公开Demo,我也可以帮忙手工整理一份10项基础功能测试清单,只进行正常业务问答,不做攻击测试、高频请求,也不需要账号密码。
欢迎直接在帖子下面交流,感谢各位佬友。
资讯来源
LinuxDo