我要投稿

王小川旗下百川智能发布Baichuan-13B大模型 130亿参数开源可商用

AI老司机 AI行业动态

2025-02-20 0 656

继Baichuan-7B之后，近日，王小川旗下百川智能再次发布Baichuan-13B大模型。

据介绍，Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含130亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练（Baichuan-13B-Base）和对齐 (Baichuan-13B-Chat) 两个版本。

Baichuan-13B 有如下几个特点:

更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到130亿，并且在高质量的语料上训练了1.4万亿 tokens，超过 LLaMA-13B40%，是当前开源13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为4096。

同时开源预训练和对齐模型:预训练模型是适用开发者的『基座』，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。

更高效的推理:为了支持更广大用户的使用，我们本次同时开源了 int8和 int4的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia3090这样的消费级显卡上。

开源免费可商用:Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。

【HuggingFace】

预训练模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Base

对话模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Chat

【GitHub】

https://githuB.com/Baichuan-inc/Baichuan-13B

【Model Scope】

预训练模型：https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Base/

对话模型：https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Chat/

收藏点赞 (0)

若非本站原创的文章，特别作如下声明：
本文刊载所有内容仅供提供信息交流和业务探讨而非提供法律建议目的使用，不代表任何监管机构的立场和观点。
不承担任何由于内容的合法性及真实性所引起的争议和法律责任。
凡注明为其他媒体来源的信息，均为转载，版权归版权所有人所有。
如有未注明作者及出处的文章和资料等素材，请版权所有者联系我们，我们将及时补上或者删除，共同建设自媒体信息平台，感谢你的支持！

AI老司机 AI行业动态王小川旗下百川智能发布Baichuan-13B大模型 130亿参数开源可商用 https://www.ailsj.cn/231.html