目前有什么可以本地部署的大模型推荐?

2025-06-22 07:00:10

这里推荐一个本地微调大模型的框架。

ZO2,一个仅用18G显存就能全参微调175B大模型的框架(当然也支持微调小一些的模型)。

更新:现在ZO2支持Qwen3啦,全参微调32B的版本只需要6GB显存。

Code: ***s://github***/liangyuwang/zo2 Paper: ***s://arxiv.org/abs/2503.12668。

目前有什么可以本地部署的大模型推荐?
广告位810*200
相关阅读
MacOS真的比Windows流畅吗?

MacOS真的比Windows流畅吗?

MacOS的流畅,像是你在五星级酒店洗了个澡,毛巾有熏香、镜...

2025-06-22
如何看待凤凰传奇取消天津场演唱会?

如何看待凤凰传奇取消天津场演唱会?

据说今年的演唱会都取消了,曾毅就戴了一块表,威力这么大吗?哪...

2025-06-22
服务器能否拒绝非浏览器发起的HTTP请求?

服务器能否拒绝非浏览器发起的HTTP请求?

有一个很新的东西,叫做tls指纹,服务器可以根据这个判断是否...

2025-06-22
软路由怎么没有人玩了?

软路由怎么没有人玩了?

本文来自专栏VHDX 19英寸机柜de奇幻漂流2017年,还...

2025-06-22
27寸显示器是否有必要到4K?

27寸显示器是否有必要到4K?

看用途和预算。 不差钱的电影发烧友和单机游戏玩家上顶配4K(...

2025-06-22