GPT-4 由 8 个 MoE 模型组成,真的吗?|环球快看点
(相关资料图)
让大家没想到的是,被传的神乎其神的GPT-4依旧是大力出奇迹的产物。回到ensemble的老路上去了,OpenAI一直在画的AGI的大饼感觉又离我们远了。
黑客 George Hotz 在一个播客中透露,GPT-4 是由 8 个 2200 亿参数的 MoE 模型组成的,每个模型都针对不同的数据和任务分布进行了训练,然后通过一些小技巧将它们混合起来。他还说,这样做是因为单个模型的参数规模已经达到了极限,而且训练时间越长效果越差,所以他们采用了多模型集成的方法来提高性能。他认为,OpenAI 对此保密的原因是不想让别人知道他们的模型并不是那么先进,只要花更多的钱就能复制。
这个说法得到了 PyTorch 创始人 Soumith Chintala 的认可2,他表示自己也听过类似的传闻,但只有 George Hotz 在公开场合说出来了。不过,也有人对这个说法表示怀疑或质疑134,认为这样的模型推理成本太高,而且没有充分利用 GPT-4 的潜力。目前,OpenAI 还没有对这个爆料做出任何回应或证实。
这件事情很可能是真的,理由如下:
已知的Prior:
1.多个信源认为GPT4比GPT3.5参数量大至少一个数量级,也就是1.7万亿以上。
2. OpenAI去年六月发表过技术报告说他们训练LLM用了MoE.
现在的观测:
有人说GPT4是一个1.76万亿参数的MoE
网友得知秘诀后,打算自己也要训练一个LLaMA集合体与GPT-4竞争。
关键词:
您可能也感兴趣:
今日热点
为您推荐
大量《王者荣耀》主播参与盲盒宣传:现已道歉退款!_每日关注
街拍禁止,三里屯太古里潮牌变迁史
天天快消息!绯色是什么颜色 玄色(绯色是什么颜色)
排行
最近更新
- GPT-4 由 8 个 MoE 模型组成,真的吗?|环球快看点
- 异动快报:ST通脉(603559)6月26日13点2分触及涨停板
- 厦门:461个省市重点项目建设提速 世界速递
- 今日聚焦!公安部:快侦快破打架斗殴、寻衅滋事等夏季多发案件
- 中国今年做到的,“超过美国过去50年的总和”
- 世界看热讯:中央气象台:我国近海海域将有5-7级风
- 蛋仔派对熊猫保育员皮肤怎么获得 熊猫保育员皮肤获取方法[多图]
- 持续做强养老“第三支柱”(财经眼·创新金融服务 助力“...
- 看点:年轻人为养老行业带来“新机” 托举起更美的夕阳红
- “上汽红岩杯”第四届上海市集装箱运输行业驾驶员(新能源车...
- 环球热资讯!什么牌子的化妆品好(女士化妆护肤品哪个牌子好?)
- 环球滚动:【受权发布】北京26日发布雷电黄色预警
- 东离剑游纪官网在哪下载 最新官方下载安装地址_环球短讯
- 转发学习精密减速器人形机器人关键零部件,产业格局解析 每...
- 每日播报!社企联盟聚力 共创幸福邻里 ——浦发银行福州路支...
- 世界微动态丨让幼儿成长环境更安全,他们走进幼儿园
- 均价没涨 距离7号线仅500米!宝山大华“亲儿子”又来了
- prada全球代言人有哪些?十大高奢品牌一览表
- 焦点消息!即将召开的全国人大常委会会议看点前瞻
- 快讯:志愿填报系统、志愿填报辅助系统和志愿填报智能参考系...
- SHEIN推出“希有引力”百万卖家计划 今日精选
- 武汉集中供地第二日:联发、中铁、德信东西湖区各得一宗
- 天天速读:无处方贩卖管制精神药品 诊所经营者被判有期徒刑八年
- 天天新消息丨未来两天将有对流性降水,大部地区伴有雷暴、短...
- 【全球热闻】杨浦区军工路快速路高架桥梁主体结构成型
- 海南碧城黎客国际酒店二手房子怎么样?三亚二手房的利弊~|天...
- 世界快播:基金业绩“中考”临近 “含AI量”成决胜关键...
- 天天微速讯:2021奇妙陪伴季开启 万科上海区域60多万户家庭...
- 2023对讲机发展需求与未来行业趋向预测|世界速递
- 太阳兜售艾顿却无人问津 沃格尔能将他调教为新版希伯特吗?