马斯克旗下公司宣布开源 Grok-1 模型,参数量达3140亿

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 最近,Meta基础人工智能研究(FAIR)团队发布了名为Branch-Train-MiX (BTX)的方法,可从种子模型开始,该模型经过分支,以高吞吐量和低通信成本的并行方式训练专家模型。Meta FAIR的成员之一Jason Weston在其X上发文介绍了这一进展。

北京时间3月18日凌晨,马斯克旗下的人工智能初创公司xAI正式宣布开源大模型Grok-1,遵循Apache 2.0协议开放模型权重和架构。xAI官网显示,xAI已经将Grok-1的权重和架构在软件托管平台GitHub上开源。

官网介绍,Grok-1是3140亿参数的混合专家模型,这也让Grok-1成为迄今参数量最大的开源大语言模型,是Llama 2的4倍。相比之下,公开资料显示,OpenAI GPT-3.5的参数量为1750亿,Grok-1大幅领先。

2023 年 11 月,马斯克旗下的人工智能公司 xAI 发布了首款 AI 聊天产品,取名为 “Grok”。Grok 的名字来自罗伯特?安森?海因莱因的科幻小说《异乡异客》,意思是完全理解某事或某人。Grok 具备以下特点:

  • 「全面的知识」:Grok 在大量文本和代码数据集上进行了训练,使其能够从中汲取广泛的知识。
  • 「实时访问信息」:Grok 可以通过 X 平台获取实时信息,这是相对于其他大语言模型的一大优势。
  • 「幽默」:Grok 被设计成带有幽默感,可以回答一些尖锐的问题,这使得它与用户的互动更具吸引力。
  • 「理解复杂概念的能力」:Grok 能够理解复杂的概念并以清晰简洁的方式解释它们。
  • 「生成创意内容的能力」:Grok 可以生成不同类型的创意内容,例如诗歌、代码、图像和音乐作品。

马斯克表示,xAI将在GitHub上开源它的人工智能聊天机器人Grok,这将允许研究人员和开发人员在该模型的基础上对它进行开发,并能进一步影响Grok的下一步更新。

相关链接

参考

开源中国:https://www.oschina.net/news/283513/grok-open-source


好啦!小弹的分享到此为止。我们更欢迎您分享您对便宜云服务器产品的设想、对功能的建议或者各种吐槽,请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8

【扫码填写上方调研问卷】

欢迎每位来到弹性计算的开发者们来反馈问题哦~

相关文章
|
1月前
|
编解码 自然语言处理
重磅!阿里巴巴开源最大参数规模大模型——高达720亿参数规模的Qwen-72B发布!还有一个的18亿参数的Qwen-1.8B
阿里巴巴开源了720亿参数规模的Qwen-72B大语言模型,是目前国内最大参数规模的开源模型。该模型在3万亿tokens数据上训练,支持多种语言和代码、数学等数据。Qwen-72B模型具有出色的评估效果,在数学逻辑和意图理解等方面超过了其他开源模型,并且支持多语言扩展。此外,阿里巴巴还开源了18亿参数规模的Qwen-1.8B模型,虽然规模较小但效果不错。Qwen-72B模型已对学术和个人完全开放,商用情况下月活低于100万可直接商用。有兴趣的用户可以通过相关链接获取模型地址和资源信息。
|
11天前
|
存储 人工智能 C++
【PTA】L1-064 估值一亿的AI核心代码(详C++)
【PTA】L1-064 估值一亿的AI核心代码(详C++)
11 1
|
1月前
|
机器学习/深度学习 人工智能 Rust
马斯克兑现承诺,Grok模型携3140亿参数强势开源,商业用途全免费!
马斯克兑现承诺,Grok模型携3140亿参数强势开源,商业用途全免费!
98 2
|
1月前
|
人工智能 算法 安全
南加州大学最新研究:ChatGPT或只有70亿参数规模
【2月更文挑战第28天】南加州大学最新研究:ChatGPT或只有70亿参数规模
23 2
南加州大学最新研究:ChatGPT或只有70亿参数规模
|
1月前
|
人工智能 安全 数据处理
今年 1 月全美新增 AI 相关职位较 ChatGPT发布时增加42%,IT 职位较同期减少31%
【2月更文挑战第16天】今年 1 月全美新增 AI 相关职位较 ChatGPT发布时增加42%,IT 职位较同期减少31%
25 1
今年 1 月全美新增 AI 相关职位较 ChatGPT发布时增加42%,IT 职位较同期减少31%
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
语言模型的研发公司排行
全球范围内有很多公司在研发语言模型,以下是其中一些比较知名的公司和机构:
170 1
|
人工智能
7-118 估值一亿的AI核心代码 (20 分)
7-118 估值一亿的AI核心代码 (20 分)
124 0
7-118 估值一亿的AI核心代码 (20 分)
|
自然语言处理 搜索推荐 API
160亿参数,新增多项能力,复旦MOSS开源了
160亿参数,新增多项能力,复旦MOSS开源了
|
机器人 PyTorch 算法框架/工具
300美元复刻ChatGPT九成功力,GPT-4亲自监考,130亿参数开源模型「小羊驼」来了
300美元复刻ChatGPT九成功力,GPT-4亲自监考,130亿参数开源模型「小羊驼」来了
306 0
|
存储 机器学习/深度学习 人工智能
谷歌没开源的PaLM,网友给开源了!千亿参数微缩版:最大只有10亿,8k上下文
谷歌没开源的PaLM,网友给开源了!千亿参数微缩版:最大只有10亿,8k上下文
290 0

热门文章

最新文章


http://www.vxiaotou.com