目前有什么可以本地部署的大模型推荐?

2025-06-22 05:40:10

这里推荐一个本地微调大模型的框架。

ZO2,一个仅用18G显存就能全参微调175B大模型的框架(当然也支持微调小一些的模型)。

更新:现在ZO2支持Qwen3啦,全参微调32B的版本只需要6GB显存。

Code: ***s://github***/liangyuwang/zo2 Paper: ***s://arxiv.org/abs/2503.12668。

目前有什么可以本地部署的大模型推荐?
广告位810*200
相关阅读
有没有了解最近广西贵港女孩被撞的事情?

有没有了解最近广西贵港女孩被撞的事情?

最了解的已经把带当作造谣, 带走拘留15天。 剩下的都是不...

2025-06-28
J***a 除了 Spring 还有什么?

J***a 除了 Spring 还有什么?

J***a能做的事还挺多。 著名的沙盒游戏《我的世界》,J...

2025-06-28
为什么索尼和任天堂已经不存在竞争关系,两家关系却还这么差?

为什么索尼和任天堂已经不存在竞争关系,两家关系却还这么差?

任天堂曾经委托索尼制造一款光碟游戏机,当时任天堂光环太亮了把...

2025-06-28
大部分语言都用尖括号<>表示泛型,为什么golang要标新立异用中括号?

大部分语言都用尖括号<>表示泛型,为什么golang要标新立异用中括号?

最新的设计文档里面对这一块做了一个解释。 Why not ...

2025-06-28
如何评价茅台暂停京东供货?

如何评价茅台暂停京东供货?

6月15日左右,茅台某地区域发出内部通知,原文如下: 为响应...

2025-06-28