AI 资讯

跟进 AI 的项目、产品与讨论

已同步 36981 条公开资讯，来源和发布时间保留在每条记录中。

AIGOOD 已同步公开来源；每条资讯详情保留来源和原文链接。

技术社区博客园首页

基于 HuggingFace Tokenizers 训练自定义分词器 - lyshark

【摘要】在大模型开发流程中，分词器（Tokenizers）是文本预处理的核心组件。神经网络无法直接理解人类的原始文本，分词器的核心作用，就是将自然语言转换为模型可用于计算的数值序列。Hugging Face Tokenizers 是底层由 Rust 编写的高性能开源分词库，原生支持 BPE、WordPiec... 阅读全文

查看详情打开原文
技术社区开源中国

Termexo v0.9.0：Antigravity 加入工作台，CLI 安装与 Diff 导航升级

AI 生成概念封面，非界面截图。 我是 Termexo 的维护者。v0.9.0 已正式发布：这次把 Antigravity 接入现有的 AI 编程终端工作台，同时改善安装入口、代码审阅和运行状态显示。Termexo 面向 Windows 10/11 x64，采用 MIT 开源许可证。 四个 Agent，在同一个工作台里继续工作 现在可以在 Claude Code、Codex CLI、OpenCod...

查看详情打开原文
社区讨论LinuxDo 最新

【学习笔记】从零开始的OCR-1

引入OCR，以及对OCR整体流程的解释。 该系列为学习OCR的过程，后续会发布有关OCR经典论文的讲解以及技术探讨 OCR是什么 Optical Character Recognition，全称为光学字符识别，简称OCR。是目前各个公司都在发展的技术，基本上聊到VLM就绕不开OCR。例如 百度（PaddleOCR 系列），阿里巴巴（LayoutLM 系列），商汤（ABCNet），旷视（DBNet），合合信息，腾讯（优图）… 核心就是一句话，把 图片上的文字信息 转化为 计算机的文字 难点在于，图片中的各种不稳定因…

查看详情打开原文
社区讨论LinuxDo 最新

分享一些glm5.3

之前分享小克确实不耐用，所以思来想去，就选个能干点活且相对便宜的glm5.3，方便佬们能用上。 使用须知：仅支持anthropic message协议，总共为20并发上限 声明：本站为个人站点，部署的是原生sub2api项目，未经过任何修改，所以我不能也不会保存佬们除使用记录外的任何数据，但我仍然不建议在任何非官方站点的请求中包含敏感隐私内容。 同时，我仅在claudecode环境中测试过，对于其它agent无法保证一定可用。 也不推荐有正经大型项目和工作需求的佬使用，因为可能存在各种情况的报错或负载不稳定。 如…

查看详情打开原文