大模型不稀奇,现在开始卷「小模型」了?

Geekpark.net - 2024年2月3日

大模型不稀奇,现在开始卷「小模型」了?

在通往 AGI 的路上,绝大多数公司的路线是不断做大参数,但面壁智能却走了一条相反的路线——尽可能把模型参数做小。 2 月 1 日,面壁智能推出了只有 2B(注:20 亿)参数量级的模型 MiniCPM,而其性能却超过了大参数模型 Mistral-7B(法国大模型公司 Mistral 旗下知名模型)、且部分超越 Llama-13B(Meta 旗下知名开源大模型)等,内部称之为「以小博大」。 这个结果揭露了这样一个事实:很多超大参数的大模型,它们的模型效率或许并没有最大化。 「我们希望探索模型性能的天花板。」面壁智…

查看完整新闻
国际分析

其他重要新闻

第一步

欢迎

注册时,您声明同意我们的使用条款和隐私政策。
今日机会

抓住机会

您的全球投资护照

Ivar推荐瑞士银行Swissquote进行您的国际投资。通过以下链接开设账户并交易5手或更多,您将获得$200可用于Ivar AI,并激活您的订阅。立即享受今天提供的独家优惠!

Swissquote

适用于您尚未在瑞士银行开设账户的优惠。
全球提供服务除以下国家外::阿尔及利亚,比利时,加拿大,中国,朝鲜,美国,法国,香港,伊朗,伊拉克,尼日利亚,新加坡,叙利亚,土耳其和津巴布韦。