AI2 开源新 LLM,重新定义 open AI

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 艾伦人工智能研究所(Allen Institute for AI,简称 AI2)宣布推出一个名为 OLMo 7B 的新大语言模型,并开源发布了预训练数据和训练代码。OLMo 7B 被描述为 “一个真正开放的、最先进的大型语言模型”。

2023 大语言模型技术报告.pdf

艾伦人工智能研究所(Allen Institute for AI,简称 AI2)宣布推出一个名为 OLMo 7B 的新大语言模型,并开源发布了预训练数据和训练代码。OLMo 7B 被描述为 “一个真正开放的、最先进的大型语言模型”。

AI2 是由已故的微软公司联合创始人保罗 - 艾伦(Paul Allen)于 2014 年在西雅图创办的一家非营利组织。该组织表示,他们开源 OLMo 模型旨在让 AI 研究社区充分了解最先进的大语言模型(LLM),从而推动自然语言处理的发展,并以科学的方式正视现有 LLM 存在的问题。

“通过向公众完全开放 OLMo 及其训练数据,AI2 在协作构建世界上最好的开放语言模型方面迈出了一大步。”

image.png

OLMo 框架具有一套完全开放的 AI 开发工具,包括:

  • 完整的预训练数据:该模型建立在 AI2 的 Dolma 语料库上,该语料库具有三万亿个用于语言模型预训练的 token 开放语料,包括生成训练数据的代码。
  • 训练代码和模型权重: OLMo 框架包括 7B 规模的四个模型变体的完整模型权重,每个模型至少训练有 2T token。提供了推理代码、训练指标和训练日志。
  • 评估:开发中使用的评估套件已发布,每个模型包含 500 多个 checkpoints,来自训练过程中的每 1000 个步骤,以及 Catwalk 项目下的评估代码。

在接下来的几个月中,AI2 计划继续迭代 OLMo,并将不同的模型大小、模式、数据集和功能引入 OLMo 系列。

OLMo 项目负责人、AI2 NLP 研究高级主管、华盛顿大学艾伦学院教授 Noah Smith 表示:

“有了 OLMo,open 就是真正意味上的 'open',AI 研究界的每个人都可以访问模型创建的各个方面,包括训练代码、评估方法、数据等。AI 曾经是一个以活跃的研究社区为中心的开放领域,但随着模型的发展、成本的增加以及开始转化为商业产品,AI 工作开始闭门造车。我们希望通过 OLMo 扭转这一趋势,让研究界能够团结起来,以科学的方式更好地理解和使用语言模型,从而开发出更负责任的 AI 技术,造福于每个人。”

原文链接:https://www.oschina.net/news/277396

来源:OSCHINA - 中文开源技术交流社区

相关文章
|
2天前
|
人工智能 机器人 API
OpenAI发布新AI模型GPT-4o和桌面版ChatGPT
OpenAI发布新AI模型GPT-4o和桌面版ChatGPT
|
2天前
|
人工智能 安全 机器人
OpenAI发布Model Spec,揭示其期望AI如何行动
OpenAI发布Model Spec,揭示其期望AI如何行动
|
2天前
|
机器学习/深度学习 人工智能 Rust
全球最大开源大模型!马斯克正式开源Grok AI
全球最大开源大模型!马斯克正式开源Grok AI
|
2天前
|
机器学习/深度学习 人工智能 安全
开源AI与专有AI的角力
开源AI与专有AI的角力
|
4天前
|
人工智能 算法 数据中心
这场ICT市场趋势大会,将定义云、算力和AI的里程碑
这场ICT市场趋势大会,将定义云、算力和AI的里程碑
|
5天前
|
人工智能 API 流计算
[AI Stability] 开源AI新利器:Stable Diffusion 3 Medium震撼发布!文本到图像再升级!
探索 Stable Diffusion 3 Medium(SD3),Stability AI 的最新开源模型,正在彻底改变文本到图像的生成。了解其功能、许可选项和集成可能性。
[AI Stability] 开源AI新利器:Stable Diffusion 3 Medium震撼发布!文本到图像再升级!
|
11天前
|
机器学习/深度学习 人工智能 监控
[AI OpenAI] 提取GPT-4中的概念
研究人员采用新的可扩展方法,将GPT-4的内部表示分解为1600万个通常可解释的模式,这些模式被称为“特征”,目的是提高语言模型的透明度和可解释性。
[AI OpenAI] 提取GPT-4中的概念
|
12天前
|
人工智能 JSON 自然语言处理
智谱AI GLM4开源!支持多模态&长序列,魔搭推理、微调最佳实践来啦!
GLM-4-9B是智谱AI推出的新一代预训练模型GLM-4系列的开源版本,它在多个数据集上的测试中表现出高绩效,包括语义理解、数学问题解决、推理和代码理解等方面。GLM-4-9B模型有四个变体:基础版GLM-4-9B(8K)、对话版GLM-4-9B-Chat(128K)、超长上下文版GLM-4-9B-Chat-1M(1M)和多模态版GLM-4V-9B-Chat(8K)。用户可以通过魔搭社区提供的链接体验这些模型,包括在CPU上运行的版本和支持vLLM推理的版本。
智谱AI GLM4开源!支持多模态&长序列,魔搭推理、微调最佳实践来啦!
|
12天前
|
存储 人工智能 Kubernetes
[AI OpenAI] 保护前沿AI研究基础设施的安全
概述支持OpenAI前沿AI模型安全训练的架构。
[AI OpenAI] 保护前沿AI研究基础设施的安全
|
13天前
|
SQL 自然语言处理 API

热门文章

最新文章


http://www.vxiaotou.com