Grok-1遴荐了夹杂行家（MoE）架构产品

发布日期：2024-03-19 01:45    点击次数：84

ChatGPT反馈亮了

马斯克言出必行：产品

旗下大模子Grok现已开源！

代码和模子权重已上线GitHub。官方信息闪现，这次开源的Grok-1是一个3140亿参数的夹杂行家模子——

即是说，这是现时开源模子中参数目最大的一个。

音讯一出，Grok-1的GitHub仓库已揽获4.5k标星，况兼还在库库猛涨。

样子包们，第一时候被吃瓜宇宙们热传了起来。

而ChatGPT本Chat，也现身Grok商酌区，开动了和马斯克新一天的斗嘴……

那么，话未几说，来望望马斯克这波为怼OpenAI，究竟拿出了什么真东西。

Grok-1说开源就开源

这次开源，xAI发布了Grok-1的基本模子权重和网罗架构。

具体来说是2023年10月预熟练阶段的原始基础模子，莫得针对任何特定诓骗（举例对话）进行微调。

结构上，Grok-1遴荐了夹杂行家（MoE）架构，包含8个行家，总参数目为314B（3140亿），处理Token时，其中的两个行家会被激活，激活参数目为86B。

单看这激活的参数目，就仍是逾越了密集模子Llama 2的70B，关于MoE架构来说，这么的参数目称之为小巧玲珑也绝不为过。

不外，在GitHub页面中，官方也指示，由于模子边界较大（314B参数），需要有充足GPU和内存的机器才调运行Grok。

这里MoE层的完满死亡并不高，取舍这种完满相貌是为了幸免考证模子的正确性时需要自界说内核。

模子的权重文献则所以磁力纠合的体式提供，文献大小接近300GB。

而且这个“充足的GPU”，条款不是一般的高——YC上有网友推断，若是是8bit量化的话，可能需要8块H100。

通过上面的游戏介绍和图片，可能大家对摸鱼大师 清凉一夏有大致的了解了，不过这么游戏要怎么样才能抢先体验到呢？不用担心，目前九游客户端已经开通了测试提醒了，通过在九游APP中搜索“摸鱼大师 清凉一夏”，点击右边的【订阅】或者是【开测提醒】，订阅游戏就不会错过最先的下载机会了咯！

除了参数目前所未有，在工程架构上，Grok亦然别具肺肠——

莫得遴荐常见的Python、PyTorch或Tensorflow，而是选用了Rust编程讲话以及深度学习框架少壮JAX。

而在官方秘书以外，还有很多大佬通过扒代码等相貌揭露了Grok的更多技能细节。

比如来自斯坦福大学的Andrew Kean Gao，就针对Grok的技能细节进行了详备诠释。

当先，Grok遴荐了使用旋转的embedding相貌，而不是固定位置embedding，旋转位置的embedding大小为 6144，与输入embedding疏通。

天然，天津专门做市场调研的公司还有更多的参数信息：

窗口长度为8192tokens，精度为bf16

Tokenizer vocab大小为131072（2^17），与GPT-4接近；

embedding大小为6144（48×128）；

Transformer层数为64，每层王人有一个解码器层，包含多头提防力块和密集块；

key value大小为128；

多头提防力块中，有48 个头用于查询，8 个用于KV，KV 大小为 128；

密集块（密集前馈块）扩张因子为8，隐敝层大小为32768。

除了Gao，还有英伟达AI科学家Ethan He（何宜晖）指出，在行家系统的处理方面，Grok也与另一有名开源MoE模子Mixtral不同——

Grok对一齐的8个行家王人诓骗了softmax函数，然后从中取舍top2行家，而Mixtral则是先采用行家再诓骗softmax函数。

而至于有莫得更多细节，可能要看官方会不会发布进一步的音讯了。

另外，值得一提的是，Grok-1遴荐的是Apache 2.0 license，也即是说，商用友好。

为怼OpenAI怒而Open

群众伙知说念，马斯克因为OpenAI不Open，仍是向旧金山高级法院拿告状讼，隆重把OpenAI给告了。

不外那时马斯克我方搞的Grok也并莫得开源，还只面向𝕏的付用度户灵通，未免被质疑双标。

大致是为了堵上这个bug，马斯克在上周宣布：

本周，xAI将开源Grok。

天然时候点上似乎又是马斯克一贯的迟到作风，但xAI的这波Open如今看来如实不是口嗨，如故给了网友们一些小小的荡漾。

有xAI新晋职工感叹说：

这将是快活东说念主心的一年，快系好安全带吧。

有东说念主仍是期待起Grok算作一个开源模子，进一步搅拌大模子竞争的这一池水。

不外，也并不是每个东说念主王人买马斯克的账：

神秘顾客_赛优市场调研

不外说归说，多线并进的马斯克，最近大事不啻开源Grok这一件。

算作多公司、多业务的时候处分行家，马斯克旗下，特斯拉刚刚全线推出了端到端纯视觉的自动驾驶系统FSD V12，总计北好意思车主用户，王人OTA更新升级，不错完满总计说念路场景的随性点到点AI驾驶。

SpaceX则完成了第三次星舰放射，天然临了功败垂成，但又史无先例地迈进了一大步。

推特则开源了保举算法，然后迎来了一波天然流量新岑岭。

别东说念主王人是 you can you up， no can no bb…马斯克不相似，bb up不取舍，边喊边干，还王人干成了。

• 遴荐
• 夹杂
• MoE
• 行家
• Grok-1