悟道2.0用神威超算训练的

C
Caravel
楼主 (未名空间)

哈哈,看来这个magapop也不是胡说一气啊

全球最大预训练模型“悟道2.0”发布
就在刚刚,北京智源人工智能研究院发布了“悟道2.0”,达到1.75万亿参数,超过之
前由谷歌发布的Switch Transformer,成为全球最大的预训练模型。

今年3月22日,智源才发布了“悟道1.0”,这是由智源研究院学术副院长、清华大学教授唐杰领衔,来自北大、清华、中科院等单位的100余位AI科学家团队联合攻关完成。

2个多月后,悟道进化到2.0,模型规模爆发级增⻓,而参数越大,意味着越强的通⽤⼈⼯智能潜能。

“悟道2.0”不仅仅是个语言模型,它是一个全能选手,一统文本和视觉两大领域,在
问答、绘画、作诗、视频等任务中正在逼近图灵测试。

“悟道2.0”一举在世界公认的9项Benchmark上获得了第一的成绩。

尤其值得⼀提是,这个世界最⼤万亿模型,完全基于国产超算平台打造,其基础算法是在中国的神威超算上完成模型训练。

对于AI研究者和企业来说,最重要的是,“悟道2.0”和GPT-3小批量付费使用的模式不同,将向AI社区和企业公开预测模型,并从今天起公开API,所有人都可以免费申请使
用。
magagop

我從來沒有胡說過,只不過是你們太弱了,根本聽不懂,GPT-3需要4096塊A100算n天,或者用4096塊TPUv4算m天,這些是DL最前沿,跟HPC很像

magagop

幾年前分析過汽車SoC,版上也沒有人懂,現在Arm早都發佈了。這個版的人都是小作坊搞app的,不懂modern soc

g
guvest

既然如此。你何不把你的分析发到EE。

【 在 magagop(magagop) 的大作中提到: 】

: 幾年前分析過汽車SoC,版上也沒有人懂,現在Arm早都發佈了。這個版的人都是小作坊

: 搞app的,不懂modern soc

C
Caravel

小有小的好处,如果都是悟道这种才能做AI,这个领域很快就跟高能一样夕阳了。

【 在 magagop(magagop) 的大作中提到: 】

: 我從來沒有胡說過,只不過是你們太弱了,根本聽不懂,GPT-3需要4096塊A100
算n天,

: 或者用4096塊TPUv4算m天,這些是DL最前沿,跟HPC很像

g
guvest

所以我让他把分析发EE,看下同业怎么讲。

【 在 Caravel(克拉维尔) 的大作中提到: 】
<br>: 小有小的好处,如果都是悟道这种才能做AI,这个领域很快就跟高能一样夕阳了。
<br>: 算n天,
<br>

digua

呵呵,Pat pat...

最近几年mitbbs的喷文化越来越强盛了,对技术性讨论来说是一个干扰。

【 在 magagop (magagop) 的大作中提到: 】
: 幾年前分析過汽車SoC,版上也沒有人懂,現在Arm早都發佈了。這個版的人都是小作坊
: 搞app的,不懂modern soc