社区讨论LinuxDo 最新
使用Colab+免费T4运行测试OneJev
看到OneJev OneJev：全面开源的多模态决策模型, 在huggingface跑了几下, 觉得还可以, 但是huggingface太小气了,只能试几次就提示付费了. 那想到Colab下载快又免费, 于是自己动手了 只能跑4B, 占用13G显存, 注意原模型使用bf16, TG不支持bf16, 要使用float16, 不然速度慢几十倍 跑一次要3秒左右 , 简单的全对, 全开源, 微调也容易,
内容摘要
作者：#William
板块：#开发调优
看到OneJev OneJev：全面开源的多模态决策模型, 在huggingface跑了几下, 觉得还可以, 但是huggingface太小气了,只能试几次就提示付费了. 那想到Colab下载快又免费, 于是自己动手了
只能跑4B, 占用13G显存, 注意原模型使用bf16, TG不支持bf16, 要使用float16, 不然速度慢几十倍
跑一次要3秒左右 , 简单的全对, 全开源, 微调也容易,
资讯来源
LinuxDo