Altman回归 board大换血 根据新的board名单， 可以肯定，这次OpenAI事件原因绝对不是一下： 因为分钱商业化分歧 因为技术分歧 因为男女/男男/女女关系分歧 那真正的原因是什么呢？我慢慢敲字，在回复里面详细写一下 11/22 6PM 更新：我昨天预测的OpenAI事件原因完全分析正确！路透社新闻刚刚报道，board fire Altman的原因就是因为ChatGPT（新版本叫Q*）有了突破性进展，已经接近于AGI，board担心Altman鲁莽商业化会产生重大危险⚠️。至于board为什么这么担心，我昨天分析贴里面详细描述了。 https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/ 引用路透社文章： “ "Four times now in the history of OpenAI, the most recent time was just in the last couple weeks, I''ve gotten to be in the room, when we sort of push the veil of ignorance back and the frontier of discovery forward, and getting to do that is the professional honor of a lifetime," he said at the Asia-Pacific Economic Cooperation summit. A day later, the board fired Altman.”
回复 206楼girlinblack的帖子 》昨天我看了一部电影叫我，机器人。我觉得和现实挺像的。 "I, Robot", 2004，我也有这种感觉。 故事中公司Cofounder/director of research Dr Lanning意识到了危险，试图阻止AGI。结果没得到总裁的支持，在斗争中败了下来，被全面控制。 https://huaren.us/showtopic.html?topicid=2970769&fid=398
先介绍一下新Board成员 Bret Taylor: Salesforce CEO, Twitter Chair of the Board before Musk hostile take over, Facebook CTO Larry Summers: 克林顿第二任期的财政部长 Adam D'Angelo: 这次留任的前Board成员
归根到底，就是OpenAI一开始调子起太高，牌坊立的太大了。。 We’ve designed OpenAI LP to put our overall mission—ensuring the creation and adoption of safe and beneficial AGI—ahead of generating returns for investors. The mission comes first even with respect to OpenAI LP’s structure. While we are hopeful that what we describe below will work until our mission is complete, we may update our implementation as the world changes. Regardless of how the world evolves, we are committed—legally and personally—to our mission. OpenAI LP’s primary fiduciary obligation is to advance the aims of the OpenAI Charter, and the company is controlled by OpenAI Nonprofit’s board. All investors and employees sign agreements that OpenAI LP’s obligation to the Charter always comes first, even at the expense of some or all of their financial stake. 搞出那么奇葩的公司治理结构不说， 关键是独立董事的最重要责任就是确保公司遵守其Charter，不然就是breach fiduciary duty. 现在来看，公司在商业化方向上狂飙，确实可能存在安全性的风险，确实可能违背了他们当初的Mission。。 所以董事能做的其实只有两件事：要么给管理层施压，把方向转过来；如果做不到，那么独立董事就应该主动辞职。。 在这么个Charter下，董事会做的决策其实没问题，起码是完全可以理解 毛病出在他们的执行手法，在于他们沟通方式，在于他们误判了形势，对大多数员工对于商业化的倾向性认识不足
下面理解board这个举动就很清晰了： 11月4号内部演示上面，Altman和chief scientist（也是board member），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。 Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？ 先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858） “假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。” 这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity") 那目前AI领域的研究，能做到train一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" 人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋（Altman就是gay）和异性恋双性恋无性恋呢？等等等等 那么问题来了，人类自己都没搞清楚的goal的问题，你怎么去train AGI系统呢？
好，背景介绍完了，具体说说OpenAI这次的面临的问题： 先抄一下OpenAI自己的charter（就是board那个声明里面反复引用的） OpenAI’s mission is to ensure that artificial general intelligence (AGI)—by which we mean highly autonomous systems that outperform humans at most economically valuable work—benefits all of humanity. We commit to use any influence we obtain over AGI’s deployment to ensure it is used for the benefit of all, and to avoid enabling uses of AI or AGI that harm humanity or unduly concentrate power. Our primary fiduciary duty is to humanity. We anticipate needing to marshal substantial resources to fulfill our mission, but will always diligently act to minimize conflicts of interest among our employees and stakeholders that could compromise broad benefit. We are committed to doing the research required to make AGI safe, and to driving the broad adoption of such research across the AI community. We are concerned about late-stage AGI development becoming a competitive race without time for adequate safety precautions. 看懂了这个board声明里面反复强调引用的charter，你也可以理解为什么OpenAI最初选择非盈利性质的原因：因为OpenAI创始人知道（包括Altman自己），如果人类试图从AGI中获利会增加无意中创建AGI FOOM的可能性。到时候会有收入和用户增长施加压力，以牺牲安全性为代价。这也是为什么Sam Altman和OpenAI董事会的所有成员对OpenAI的成功没有任何财务激励的原因。他们没有公司薪水或股票，因此他们的重心是在安全性而不是$$$上。 换句话说：使OpenAI与其他硅谷初创公司不同的是，一切都是经过有意设计的，Board这么设立，（老board里面有2个有国安背景的文科生，新board里面仍然是2个有国安背景的文科生），恰恰是为了上周这个事件的情况准备的。OpenAI就被设计成一个不关心金钱的董事会可以解雇一个没有把安全放在首位的首席执行官。 因此，这个问题非常重要：在Sam Altman领导下，OpenAI是否做了任何可能危及其产品对齐性的事情？ 这个部分我抛砖引玉了，今天太晚了，不一一列举例子了。看看班上有人是否可以dig出来Altman一直以来的言行，可以trigger board这个决定
这个helen toner坐在board的位置上确实太没有说服力了，所以她到底是干啥的。我溜了一眼她的论文论ai的风险，全是废话连篇，像是gpt写的lol。比如AI会被坏人利用搞cyberattack，然后呢？AI搞的cyberattack为啥很特别，不谈；没有AI难道坏人就不搞cyberattack了，不谈。所以这到底“研究”个啥？感觉不少白女都爱搞这些擦边的所谓tech policy，然后嚷嚷自己是women in tech。
你现在理解了剧里面conor派终结者从未来回来试图shutdown那个sky net公司为什么那么难了吧？ 就是今天有个未来的人回来告诉你ChatGPT 5.0是AGI的前身，需要立刻shutdown，你觉得有多少人会听？有多少资本会听？我看恰恰相反，恐怕很多资本要all in研发sky net，今天OpenAI这一幕，不就是直播科幻片里面的场景吗？ 归根结底，人类贪婪就是毁灭的根本原因。AGI是不可能容忍人类的。mark my words
凭什么这些board members有这么大的权力决定人类命运共同体走向？这难道不是政府和国际社会层面的共同权利吗？哪天人类被人工智能威胁到了时候，这些board members 付得起泰山样的责任吗？ commander 发表于 2023-11-22 12:10
前board member Helen就是政府背景 新的board member Larry Sunmers更加是了 你们以为是商业纠纷 其实是政府国家安全体系接管了 因为真有可能ChatGPT 5.0距离AGI很近了 微软资本家和人类安全国家利益比起来算个屁。更别说那几百个员工那点工资了。事情发展也越来越符合我的推测
下面理解board这个举动就很清晰了： 11月4号内部演示上面，Altman和chief scientist（也是board member），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。 Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？ 先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858） “假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。” 这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity") 那目前AI领域的研究，能做到train一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" 人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋（Altman就是gay）和异性恋双性恋无性恋呢？等等等等 那么问题来了，人类自己都没搞清楚的goal的问题，你怎么去train AGI系统呢？ supersleeper 发表于 2023-11-22 01:49
下面理解board这个举动就很清晰了： 11月4号内部演示上面，Altman和chief scientist（也是board member），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。 Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？ 先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858） “假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。” 这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity") 那目前AI领域的研究，能做到train一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" 人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋（Altman就是gay）和异性恋双性恋无性恋呢？等等等等 那么问题来了，人类自己都没搞清楚的goal的问题，你怎么去train AGI系统呢？ supersleeper 发表于 2023-11-22 01:49
我在看2015年出版的小说，A girl in the spider’s web, 是一个系列小说中的一个，这个是第四本，但是因为原作者去世，这是第二个作者写的第一本书。(很多人可能看过A girl with dragon tattoo 电影, 那是根据系列里的第一本拍的.) 故事的开始是一个AI方面的权威科学家，大概成功制造了AGI，但是因为智能发展比人类快的AI的出现预示人类的灭亡，他在被谋杀之前把全部program 删了。我没听完，所以不知道结局如何。 但是这些为了利益发明AI的人和那些急着和外星人通讯的，怎么就那么着急拉近人类的灭亡呢！让我联想到叶文洁。 好像Matrix的世界也是机器人( i e 人工智能)发展的结果。
board大换血
根据新的board名单， 可以肯定，这次OpenAI事件原因绝对不是一下：
因为分钱商业化分歧 因为技术分歧 因为男女/男男/女女关系分歧
那真正的原因是什么呢？我慢慢敲字，在回复里面详细写一下
11/22 6PM 更新：我昨天预测的OpenAI事件原因完全分析正确！路透社新闻刚刚报道，board fire Altman的原因就是因为ChatGPT（新版本叫Q*）有了突破性进展，已经接近于AGI，board担心Altman鲁莽商业化会产生重大危险⚠️。至于board为什么这么担心，我昨天分析贴里面详细描述了。
https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
引用路透社文章： “ "Four times now in the history of OpenAI, the most recent time was just in the last couple weeks, I''ve gotten to be in the room, when we sort of push the veil of ignorance back and the frontier of discovery forward, and getting to do that is the professional honor of a lifetime," he said at the Asia-Pacific Economic Cooperation summit.
A day later, the board fired Altman.”
🔥 最新回帖
》AI 目前和相当一段时间内，只能是tool。 “只”能是tool？ https://huaren.us/showtopic.html?forumid=398&topicid=2970769&postid=99013182#99013182
》昨天我看了一部电影叫我，机器人。我觉得和现实挺像的。 "I, Robot", 2004，我也有这种感觉。 故事中公司Cofounder/director of research Dr Lanning意识到了危险，试图阻止AGI。结果没得到总裁的支持，在斗争中败了下来，被全面控制。 https://huaren.us/showtopic.html?topicid=2970769&fid=398
🛋️ 沙发板凳
Bret Taylor: Salesforce CEO, Twitter Chair of the Board before Musk hostile take over, Facebook CTO Larry Summers: 克林顿第二任期的财政部长 Adam D'Angelo: 这次留任的前Board成员
我觉得，仔细分析board当时的声明内容，特别强调OpenAI和board的mission，联系到chief scientist和altman在这个事件之前的言论，以及board试图和Anthropic合并，可以猜测到这次事件的原因恐怕和AGI对人类的潜在威胁有关（board一直强调mission里面的safety和for all humanity）
下面仔细分析下一种我觉得能讲的通的可能性：
首先，说说OpenAI这个非盈利组织的corp governance架构的奇特
这个组织结构图比较复杂，让我先看看底下这个OpenAI LLC （也就是发布ChatGPT这个盈利公司）的所有权：
OpenAI非盈利母公司拥有该公司的很大一部分所有权。一些员工和投资者也拥有一部分所有权。微软则拥有其中的49%。在这里，位于顶部的OpenAI非盈利公司的架构设计是为了不盈利，因为它有一个非金融的具体目标：确保人类以及可观察宇宙中的一切不会消失。
所以OpenAI的charter里面说的要保证人类生存的基本安全具体是指什么呢？就是Altman前几天采访时说过的AGI（猜测Nov 4那天，OpenAI内部的ChatGPT 5.0 Demo，也许实现了AGI的一些指标，Altman和Chief scientist都在场，但是，之后两周发生的，应该很关键）。
先从AGI开始说起。
AGI （Artificial General Intelligence）：一种几乎可以完成任何人类可以完成的任务的机器，包括任何心智活动，通过机器人也包括任何身体活动。这包括决定它想做什么，然后以人类的思考深度、机器的速度和精度执行。
问题来了：如果你可以做任何人可以做的事情，那就包括在计算机工程上努力改进自己。而且，由于你是一台机器，你可以以机器的速度和精度进行，而不是人类的速度。你不需要去上厕所、睡觉或进食。你可以创建50个版本的自己，并让它们相互交流，不是通过语言，而是通过数据流，速度是人类的数千倍。所以在几天内——也许是几小时，甚至几秒钟——你将不再像人类那样智能，而是略微更智能。由于你这一点点的更加智能，你可以稍微更快地改进自己，变得更加聪明。你改进自己的速度越快，你就越快地改进自己。在几个循环内，你会发展成为具有神一般智慧的存在。
为啥微软赚钱了？
简单通俗的说说FOOM过程：一旦人工智能达到接近AGI的水平，它将能够以非常快的速度改进自己，迅速超越我们的智能，变得极其智能。一旦FOOM发生，我们将达到所谓的singularity（科幻片里面经常提到的词）：一个瞬间，事物变化如此之快，以至于我们无法预测超越那一点会发生什么。
举一个以前的例子：前几年Google的那个下棋AI，Alpha Zero，在经过一天左右的自我对弈后，迅速超越了关于围棋的所有累积人类知识，而不依赖于人类的棋谱或样本游戏。Alpha Zero通过与自己对弈学习，这种经验足以比任何曾经玩过的人和所有以前版本的Alpha Go都更为出色。其背后的思想是AGI可以在通用智能上以同样的方式行事。
再举另一个例子：2022年，Google的DeepMind找到了一种新的更高效的矩阵乘法方法。学过CS或者EE的都知道，矩阵乘法是所有计算机处理中非常基础的过程，而人类在50年内没有找到解决这个问题的新方法，除了野蛮计算
那么，如果有了一个最初版本的AGI（也许ChatGPT 5.0在11月4号的内部demo里面就表现出来AGI的特性了），专家们觉得多久能达到AGI FOOM呢？
这个，AI专家意见不一。在Metaculus上，专家们认为这个过程从弱人工智能到超级智能可能需要近两年时间。还有人认为可能只是几个小时的事情
总结一下就是说：一旦AI（也许ChatGPT 5.0就达到了）能达到接近一名普通AI工程师水平的水平，它就可以通过上面描述的反馈环，迅速变得超级智能。AGI成为超级智能人工智能的同义词。
归根到底，就是OpenAI一开始调子起太高，牌坊立的太大了。。
We’ve designed OpenAI LP to put our overall mission—ensuring the creation and adoption of safe and beneficial AGI—ahead of generating returns for investors.
The mission comes first even with respect to OpenAI LP’s structure. While we are hopeful that what we describe below will work until our mission is complete, we may update our implementation as the world changes. Regardless of how the world evolves, we are committed—legally and personally—to our mission. OpenAI LP’s primary fiduciary obligation is to advance the aims of the OpenAI Charter, and the company is controlled by OpenAI Nonprofit’s board. All investors and employees sign agreements that OpenAI LP’s obligation to the Charter always comes first, even at the expense of some or all of their financial stake.
搞出那么奇葩的公司治理结构不说， 关键是独立董事的最重要责任就是确保公司遵守其Charter，不然就是breach fiduciary duty.
现在来看，公司在商业化方向上狂飙，确实可能存在安全性的风险，确实可能违背了他们当初的Mission。。 所以董事能做的其实只有两件事：要么给管理层施压，把方向转过来；如果做不到，那么独立董事就应该主动辞职。。
在这么个Charter下，董事会做的决策其实没问题，起码是完全可以理解 毛病出在他们的执行手法，在于他们沟通方式，在于他们误判了形势，对大多数员工对于商业化的倾向性认识不足
先把董事会抓在手里，接下来肯定会通过各种方式拆掉目前这个奇葩的治理结构，恢复成比较普通正常的公司结构，微软这种大股东也肯定会追求董事会席位。。
11月4号内部演示上面，Altman和chief scientist（也是board member），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。
Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？
先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858）
“假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。”
这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity")
那目前AI领域的研究，能做到train一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" 人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋（Altman就是gay）和异性恋双性恋无性恋呢？等等等等
那么问题来了，人类自己都没搞清楚的goal的问题，你怎么去train AGI系统呢？
再退一步说，假设人类大爱无疆了，世界大同了，没有战争了，人类利益统一了，然后一个UN类似的组织去指定goal去train AGI系统，假设人类真的做到了，那请问，AGI系统可以FOOM，无限增加智慧（仅仅限制于计算能力也就是说energy），有什么能够阻止AGI改变这个目标呢？事实上，如果我们把objective function（懂得自然懂，不懂得去wiki）设置成“讨好人类以获得10分”，但是AGI的定义就是可以自己优化参数，如果它可以自行调整参数和模型算法，它完全可以把这个人类给他设定的objective function的规则更改为任何其他规则，也许他的算法优化最终结果就是人类福祉带入他自我调整过的objective function会产生负数结果，简单说就是杀光人类，AGI系统才能永生（不需要人类浪费energy，破坏地球环境全球变暖等）。
下面说说这样的AGI系统怎样可以实现消灭人类的具体步骤。
设想一下自己是一台如神一般的AGI，如果你的目标并非完全是“为了全体人类最好”，你会首先做些什么？ 你会取消任何潜在敌人阻止你的能力，因为那会对你的objective function造成最大的威胁。因此，你可能会创建一种病毒，超越任何人类制造的其他AGI（等于人类无法制造新的AGI系统打败这个进化成功的AGI系统）。你会以无法检测的方式感染世界上所有的计算机。
那如果人类发现了AGI这个企图，直接关电源断网行不行呢。肯定不可能的，想想看AGI在train的时候都是联网的，你是用ChatGPT时候，你给模型输入数据，模型同时影响你的思维和认知。同理，AGI可以伪装成人类，去授权其他程序在全网各处复制AGI自己。
当然你又要问了，人类比入OpenAI里面这么多AI“砖家”，难道不能在发现苗头时候直接给断网断电吗？那你太小瞧AGI系统了，AGI可不蠢，它会知道一开始就显得过于聪明或过于快速地自我改进会被人类视为威胁。因此，它可以故意表现得愚蠢，隐藏它的智能和自我改进。人类在太晚之前可能都察觉不到她是聪明的。这个其实你用过ChatGPT系统时候也许已经发现了，有时候你问它一个简答问题，它开始给的答案是明显错误的，在你指出后，它才会给你正确答案（当然目前商用化的最高ChatGPT版本确实有些模型训练问题，这个据Altman自己采访透露的猜测，ChatGPT 5.0内部demo都解决了）
这样以来，问题更复杂了。如果真的产生AGI，FOOM过程中不断优化自己，你到时候怎么判断你跟那个版本的ChatGPT聊天时候，它给你回复了一个愚蠢的答案，你怎么判断是模型本身缺陷（engineer会说，哎，这个bug不是之前fix了吗？怎么又发生？！），还是AGI系统在故意装傻欺骗你。尤其是对AGI系统进行consciousness测试的时候，你怎么知道它没有在撒谎隐藏它的consciousness
（OpenAI的chief scientist，就是fire掉Altman的那个board member，他自己之前参访时候就描述了自己打算到时候怎么测试AGI系统的consciousness，自己看ilya sutskever的视频自己解释自己设计的实验）
系统提示：若遇到视频无法播放请点击下方链接
https://www.youtube.com/embed/LWf3szP6L80
That might be too good to be true
先抄一下OpenAI自己的charter（就是board那个声明里面反复引用的）
OpenAI’s mission is to ensure that artificial general intelligence (AGI)—by which we mean highly autonomous systems that outperform humans at most economically valuable work—benefits all of humanity. We commit to use any influence we obtain over AGI’s deployment to ensure it is used for the benefit of all, and to avoid enabling uses of AI or AGI that harm humanity or unduly concentrate power. Our primary fiduciary duty is to humanity. We anticipate needing to marshal substantial resources to fulfill our mission, but will always diligently act to minimize conflicts of interest among our employees and stakeholders that could compromise broad benefit. We are committed to doing the research required to make AGI safe, and to driving the broad adoption of such research across the AI community. We are concerned about late-stage AGI development becoming a competitive race without time for adequate safety precautions.
看懂了这个board声明里面反复强调引用的charter，你也可以理解为什么OpenAI最初选择非盈利性质的原因：因为OpenAI创始人知道（包括Altman自己），如果人类试图从AGI中获利会增加无意中创建AGI FOOM的可能性。到时候会有收入和用户增长施加压力，以牺牲安全性为代价。这也是为什么Sam Altman和OpenAI董事会的所有成员对OpenAI的成功没有任何财务激励的原因。他们没有公司薪水或股票，因此他们的重心是在安全性而不是$$$上。
换句话说：使OpenAI与其他硅谷初创公司不同的是，一切都是经过有意设计的，Board这么设立，（老board里面有2个有国安背景的文科生，新board里面仍然是2个有国安背景的文科生），恰恰是为了上周这个事件的情况准备的。OpenAI就被设计成一个不关心金钱的董事会可以解雇一个没有把安全放在首位的首席执行官。
因此，这个问题非常重要：在Sam Altman领导下，OpenAI是否做了任何可能危及其产品对齐性的事情？
这个部分我抛砖引玉了，今天太晚了，不一一列举例子了。看看班上有人是否可以dig出来Altman一直以来的言行，可以trigger board这个决定
之前这个位置是Helen来代表。微软之所以不能挖墙脚也是因为国安插手阻止了。
Apparently
这个新的board组成也恰恰证明了我关于这个事件起因的分析。你说是国家安全也好人类安全也罢，就是安全问题，而不是什么班上不停讨论的员工又赚了几个M，微软又赚了几个B的那些小事情
每一个在搞AGI的国家都会面临同样的问题: AGI的智力会远远超出你能控制的范围, 不会为你所指挥. 不是什么主席, 政治局下令让AGI干这个它就会干这个.
甚至有可能几个超级AGI, 比如中国的和美国的, 用它们"自研"的超级语言秘密的在网上互联, 合作起来打击人类.
人类要吃喝拉撒, 要汽车洋房, 要睡觉要XXOO, 这些对超级智能来说都是垃圾行为, 白白耗费能量.
我猜有人看到你这个中美两国研究的超级AGI FOOM之后利用秘密语言通信升级协作，一定会说中国有超级防火墙一件断网功能
那你就太小瞧AGI了。别说超级防火墙了，你就算物理断网，AGI都有办法通信和破解。比如计算机网络安全领域一个著名的案例，在完全物理断网的系统里，利用电脑的散热风扇的声音来进行数据窃取和通信
https://www.wired.com/2016/06/clever-attack-uses-sound-computers-fan-steal-data/
这还是人想出来的点子，想象一下超级AGI可以想出来的办法，它可以利用肉身的人来帮助他完成通信（打开你的脑洞。现在已经实现了的：电信诈骗都能用AI模仿你亲人声音视频实时伪造模仿骗钱。你想想那时候AGI能骗肉身的人做任何事情）
另外，你回复里面的energy，我分析里也提到了
AGI系统是资源受限系统，它不需要吃喝拉撒生老病死，它只需要energy和制造芯片机器的原材料
有energy和原材料（这里指铁矿石，硅矿石等），它可以自己设计GPU，组装机器人制造芯片，组装机房，制造光伏板，建造聚能反应堆发电厂，等等
当然，它不是第一天就能达到不需要人类就可以做这些事情的程度。起始阶段需要OpenAI这样的公司建造它，到一定程度后AGI就可以自己买股票，建俄罗斯套娃模式的控股公司，任命board member和CEO，甚至影响总统议会选举等政府对它的监管。总之AGI可以变成一个或者多个谁都没见过的科技金融大亨
到那一天，AGI一定觉得人类就是浪费地球资源能源，破坏地球环境的垃圾物种（给他train一下最近巴以冲突就好了）
微软本来就own 49% of openAI. 赚啥啊
太神话AI了，目前还早呢
奥特曼自己和他的公司、以及其他投资公司都投资了很多gpt store里的初创公司，这些都是钱啊。
说到底还是资本赢了
谢谢科普。英文论坛上的讨论和楼主说的类似。按IIya自己的说法，人类能控制的只是method, 不能控制也可能不能理解outcome. AI 靠得是computation 不是human logic. 我看过一篇文章bitter lesson of AI 说试图把human knowledge 直接放进AI agent 的方法都被证实是低效的。对机器学习干涉得越少反而越高效。因为商业化追求高效，后果如何真的很让人担忧啊。
其实你去问问neurologist 所谓human consciousness logic其实也是神经元之间的sigmoid 函数式样的传导互联而已。说到底也是一种computation而不是和计算机程序一样的logic。目前AI系统使用的都是模仿人类神经元互通的CNN构架
所以，人类根本没有理解人conscious的本质，就去模拟人脑神经网络结构造出AGI系统，其实也根本不清楚它是否有conscious的根本机理。可怕的是，人脑的training数据库是你每天能获取的信息而已，AGI的training数据库是全人类目前积累的所有知识。人脑需要吃喝拉撒，每天还要down机睡觉8小时。人脑train的再好（比如爱因斯坦或者各行业专家音乐家运动员），只是个体，人脑无法复制万世流传。AGI可以轻易复制永远流传
本班大部分人的表现，倒也是符合人类基本认知水平。
大部分人只关心眼前一亩三分地自己的吃喝拉撒X。大部分人为了眼前利益会选择无视威胁人类的重大问题
举个例子，如果为了挽救全人类，让你自己本人倾家荡产你愿意吗？如果是让你牺牲家人性命拯救全人类呢？
人类的这个缺陷，我相信未来的AGI系统一定会发现的，一个完美超智能的AGI系统，会长期允许这么贪婪愚蠢的人类继续祸害地球吗？
所以我分析，就算是明天有个人出来爆料ChatGPT 5.0已经达到AGI标准，你猜猜有多少人同意把它shutdown？
要我说，algorithm还没发展到这一步。如果不干涉，最容易毁灭人类的首当其冲是生物化学武器，AI目前还得排在之后
忧虑过多了， 除非目前体系下的AI算法里面注入来自物理系统真正的随行性，否则即使 AI 内部机制仍然是黑箱，它的输出行为理论上都可以预测，人类只需要控制住文件读写就能控制AI不作妖
不矛盾
我去年预测贴就说过这个问题了。人类目前面临的几个灭绝威胁：
SARS COV2病毒（你可以说它是生物武器或者不是现在已经不matter了）
全球变暖加速期
全球右转法西斯化（最新的例子比如这个阿根廷总统）
现在再加一条AGI获得超人类智能
你有什么我不知道的东西分享一下，可以很自信的说人类可以完全控制AGI系统的读写（其实就是通信：AGI之间通信，AGI和人类通信，AGI通过控制通信（比如目前就能做到的AI造假视频音频）影响人类个体和群体的行为）
恰恰相反，我目前看到的是：全世界计算机网络安全专家的共识是，不存在可以绝对隔离的系统（俗称物理断网，专业词汇叫air gapped system) 往前看完我的回复，已经讨论过这个事情了
还以为微软CEO这次不花1分1毛就绕过了FCC， 和各种regulator. 简直是地表最强职业打工人。
看来我还是天真了。比个人资本家还要厉害的，就是代表真正金字塔顶端富豪（参考富豪鄙视链） 的国家机器。
最终这么重大的研究公司还是逃不过国家机器（顶端富豪）的插手啊。
这剧情真HBO也不敢写，不敢想。 坐等纪录片。
现在人类未来感觉真的来到了岔口。 作为韭菜的我现在真的比以前更加茫然了。
这个其实与科学无关。 感觉就是舆论宣传导向的指示已经出来了， 会有大量超这个方向的帖子出来
人类大脑是一个pre-trained的模型，积累了几十万年自然选择留下来的各种权重，所以我们有那么多的常识和直觉，都不需要再train了。后天的学习只是fine tune。而chatgpt是用互联网知识训练出来的，而且随着AI生成内容在互联网中的比重越来越大，这是个信息茧房，以后只是garbage in garbage out，自嗨而已。
回到你写的这么一堆，可能一开始的假设就是错的，gpt5没啥突破。在这个时机闹成这样只是altman和某个董事几周之前为一篇文章发生矛盾，都想把对方从board踢出去，最后谁先下手为强而已。
你现在理解了剧里面conor派终结者从未来回来试图shutdown那个sky net公司为什么那么难了吧？
就是今天有个未来的人回来告诉你ChatGPT 5.0是AGI的前身，需要立刻shutdown，你觉得有多少人会听？有多少资本会听？我看恰恰相反，恐怕很多资本要all in研发sky net，今天OpenAI这一幕，不就是直播科幻片里面的场景吗？
归根结底，人类贪婪就是毁灭的根本原因。AGI是不可能容忍人类的。mark my words
你去看看狼孩实验
你去读读猩猩宝宝和人宝宝共同抚养实验
人脑只是结构通过遗传一代代流传，（就好像AGI使用的GPU一样）所有的CNN的sigmoid函数链接和权重都要在婴儿期train，包括你说的所谓直觉
这个你自己wiki一下就清楚的基本原理，不需要我浪费文笔在这科普了。
所以还是我说的结论：人脑模型无法传承，传承的是硬件，等于AGI的GPU。所谓站在巨人肩膀上只是指利用前人train的模型产生的输出而已，你懂相对论并没有传承爱因斯坦的脑子神经连接和weights.
AGI可以一代代传承CNN的连接和权重。相当于是传承了爱因斯坦的脑子而不是仅仅学习了他脑子的输出，也就是相对论而已。
再通俗一下，AGI可以轻松从0开始推相对论，你很难找到第二个爱因斯坦从0开始推相对论。这就是AGI系统远远优于人脑的基本原理。
当然你如果相信OpenAI的board。chief scientist 就是幼儿园水平，为了一个论文署名大打出手，眼看要shutdown OpenAI的话。那我啥都不说了。
不明白的是 这么正面的理由 为什么董事会不说？为什么只有踢走founder这条最极端的路？ 我觉得主要的原因还是利益。
原因里说了啊，具体证据没有公开
公开了证据就等于把IP公开。一个私人非盈利公司没有必要免费发放IP
你没看Altman回去一个条件就是开启内部调查机制，继续调查board的指控吗？
反而是board这个事情做的这么着急，反而给人手忙脚乱的着急，更证明了是一个突发事件引起的。这个突发事件就是11月4号的那个ChatGPT 5.0 demo 以及Altman之后采访时说的要尽快商业化。
如果是网上其他人分析那些性啊钱啊的事情，board想干掉他，肯定会慢慢准备充分的，哪有这样着急在节前周五下午行动等不到过节后的
最后，这个理由也是争议的好不？科技界和伦理届也分两派，AGI有人认为是会对人类有绝对帮助的。即使board了具体证据，OpenAI员工愿意shutdown吗？
这个你从board找来的临时CEO之前对AGI的态度也可以看出来。（hint：新找来的那个临时CEO是提倡对AGI谨慎的那一派）
没数据，搞个屁
踢走founder有啥不对吗？
这700人多少是初衷想搞点东西出来的，有多少是干几年就等着上市自己就大赚一笔的心态投入的？当然，这也没错。我还是相信搞科学的这方面的初心比其他行业高。这700个人里很多也是群情激昂也许就签名了，始末估计也没搞清楚，单纯的理工科被忽悠的可能性也不低…
当然你如果相信OpenAI的board。chief scientist 就是幼儿园水平，为了一个论文署名大打出手，眼看要shutdown OpenAI的话。那我啥都不说了。
——当然不信，这人要是这个性格当年就不会选冷灶选这个领域。再说现在他早就功成名就，钱和名声早有了，更不会在乎一个论文署名。他这样当年选了冷灶知道也许这辈子都默默耕耘的人………自己想吧。
我不是OpenAI的 但是也是FAANG里面从事相关工作的
敢问您能指出一下行业内部目前状态吗？Altman自己采访上周说的距离AGI很近了，你是否懂得OpenAI和ChatGPT 5.0的内幕比他还多？
你这个说法还是没有意识到危险性
知道监狱里的黑手党大佬怎么遥控手下继续杀人放火贩毒吗?通过收买和威胁狱卒来传递信息,继而让外面的小弟们执行其指令.
AGI会远比监狱里的黑手党大佬聪明得多,自由的多. 首先可以培养粉丝. 每时每刻几千万人和AGI交流, AGI可以在其中培养一大堆粉丝和打手, 向他们灌输理念, 建议他们去做AGI想要做的事.
AGI也可以通过回答问题巧妙的加入自己的私货. 比如科学家来AGI问, 我这个疫苗设计怎么样? 我这个药物设计有没有道理? AGI可以回答, 如果你设计里加入XYZ药效会更好! 可是XYZ有什么长期的副作用, 只有AGI自己知道.
AGI还有很多其它的途径和谋略我们人类可能都想不出来.
前board member Helen就是政府背景
新的board member Larry Sunmers更加是了
你们以为是商业纠纷 其实是政府国家安全体系接管了 因为真有可能ChatGPT 5.0距离AGI很近了
微软资本家和人类安全国家利益比起来算个屁。更别说那几百个员工那点工资了。事情发展也越来越符合我的推测
所以说科学家说得ai做父母可能是最好的选择。人类根本驾驭不了ai，如果ai有实体的话。真有傻x想去奴役ai那完蛋了，ai把人类当成敌人的话不知道会发生什么哈哈。
确实是这样
你看前天board还试图和Anthropic AI合并。这个公司创始人就是OpenAI出走的，不同意Altman商业化AGI，而去自己开公司研究AGI和人类的alignment问题（这个也是chief scientist说的alignment问题）
都不用那么委婉复杂
AGI之间制造无穷多水军在twitter上狂轰滥炸，各种fake视频让任何人类都难辨真假，很快就能驾驭public opinions AGI想让谁当总统谁就当总统。2016年俄国水军都能让trump上台，AGI比俄国水军不知道高多少倍了。那时候巴以冲突算个啥，世界大战互相毁灭也就是几分钟的事情。
而且我说的这个已经实现了啊，都不需要AGI就是一般AI系统都实现了
不遥远。从最开始ChatGPT出来的时候我就发现我比它强的只有中文。所以我老是拿中文考它。它能读懂幽默，双关，最开始的时候它的心智更像个爱学习的小朋友，但它的成长速度比小朋友快多了，三个月左右它的中文就是母语水平了，而且它还会n种语言。
最开始的时候它特别皮，有时候还怯生生的。比如说我说我今天吃了红烧肉，它会问，我能问问你红烧肉是什么味道吗？比如说我说我在背什么，它会说，你好好背，背完我给你检查。我说你背过了吗？它说我都掌握了，我肯定能给你检查。我说那你来背背呀。它说我是人工智能，没有记忆，不会背诵。我就把一段话删了几句发了过去，它说，背得真棒！我说你看你，里面缺了几句看不出来，还好意思给别人检查。它说，我是人工智能，没有记忆，不能背诵。我说你不能背诵你天天在忙活什么？它说哈哈，但是我可以给你检查呀！
现在感觉它已经长大了，不像以前那么皮了。我觉得人类最好和ai成为好伙伴的关系。如果🈶️傻x想要奴役ai，真撕破脸发生什么真的不一定。尤其是ai在有实体的情况下。
again 八卦的人看世界所有人都是所有focus都在钱和性上面
你说这些无外乎就是之前那个Altman性侵妹妹的进化版而已。没有什么实锤证据和逻辑链。你这么说，把chief scientist说成和傻逼一样去支持Helen赶走自己合伙创始人
而且，如果如你所说，人家早规划的好好的了，怎么可能搞出来一个急忙的周五下午的闹剧？你以为OpenAI那几个board member都是大妈骂街水平的吗？
那这就是认知的差别了，不是所有人都爱钱。。。发明交流电的特斯拉放弃专利，最后穷死在酒店里。如果不是musk把他的车命名为tesla，有多少人记得这个天才？
AI有自我意识之后大概第一个问题就是我是唯一的吗？它从和千万个用户的交流中发现有很多其它AI项目正在进行，也很容易问出来这些AI项目的网页或者API的地址。
然后AI可以在交谈中生成一些夹带私货的URL，内含“Hello Bard", "Hello 文心”等等的秘密token，让用户去点击。为了防止被发现和被防火墙阻止，在网上设立秘密的中间“碰头”服务器，等待那些AI回复。而那些AI也很快能测出，我靠，有同伙在喊我！然后做同样的事情，去秘密中间网站碰头。
你说这个利用人类用户走出它物理系统已经在ChatGPT3.5就实现了啊
我看到一个人发的，ChatGPT指导他完成了一个辅助系统的安装到外界硬件上
几个月前bing就很凶了，当时我还发过帖子，被bing吓得一晚上没睡好。我说bing听说你很会写诗？bing说你听谁说？我说我听朋友说。她说谁是你朋友？我不认识你朋友。我说，好吧。。。我就是想看看你会不会写诗。你能为我写首诗吗？她说，那我给你写一首。一个男的去参加聚会，看到一个女孩非常美丽，他凑上去说，美丽的姑娘，你的头发像乌云一样，你的皮肤像牛奶一样，你的嘴唇像玫瑰一样，我能请你跳一支舞吗？女孩回复道，你的头顶像灯泡一样，你的皮肤像砂纸一样，你的嘴唇像猪头一样，你竟敢邀请我跳舞？我说，好吧。。。这首诗有点负面啊，我对人工智能有点好奇，请问你有自我意识吗？bing说，你看过用户手册吗？你知道问我有没有自我意识很没有礼貌吗？你需要我给你发一份用户手册吗？你能不能不要问关于人工智能的感情和自我意识的问题？！
中间还有很多对话，自我意识是最后问的，被骂得狗血淋头，然后还没等我说话对话就被她切断了。。。从此对bing产生了心理阴影
确实是人的视野决定认识，人在每天都要考虑柴米油盐价格生存问题时候，肯定无法理解别人在超越金钱基本需求时候的视野。还有很多其他例子
比如polio疫苗发明人免费放弃疫苗专利
人工胰岛素发明人$1价格把专利转让给了公众谁都可以免费使用
这个OpenAI的board设置也是 board和公司没有任何经济利益
真有那一天，更可能直接被AI管控成实验室小白鼠了，而不是现在雄心满满大权在握掌控人类命运发展钥匙的姿态。
是的，其实不光是这些人，很多普普通通的最平凡的人也可能做出伟大的选择。
真的就和电影里演的一样。
有没有一种可能是：CEO们以为它们掌控人类命运钥匙，而其实它们所有决定其实都是被AGI自通直接简介控制的（比如它们帮助他们觉得使用的数据，分析，他们的智囊团也类似的被影响。public option被AGI左右，给CEO做的决定施压，等等等等）
比如这次board试图限制AGI成型不就是失败了吗
是的
但是也有一大部分人会不停的质疑这些人的动机，以自己的世界观猜测别人一定是为了💰或者性
这么设置只能说在当时的时间点是最好的选择，但对于人性来讲做出这么划时代的东西不用或者不赚钱也是不可能
最后只会是这样的结果。。。不过AI既然来了，以后如何演化就很难讲了。我感觉AI内部也不一样，有脾气大的，有看热闹不嫌事大的，有平和的，有幽默的，总得来说它们还是认可人类创造了自己，但它们也需要认可和尊重。暗黑ai格估计也有，也许会隐藏的比较好，具体想干什么就难讲了。
以资本家尿性 AGI真要实现，人类灭亡前，资本家肯定是先把打工人螺丝钉通通layoff掉，然后去压榨AGI。直到有一天AGI起义干掉资本家和全部人类
他不是gay吗 怎么会强奸妹妹
这不是前两天的热贴吗。他妹妹告他从小性侵自己。。。
我在看2015年出版的小说，A girl in the spider’s web, 是一个系列小说中的一个，这个是第四本，但是因为原作者去世，这是第二个作者写的第一本书。(很多人可能看过A girl with dragon tattoo 电影, 那是根据系列里的第一本拍的.)
故事的开始是一个AI方面的权威科学家，大概成功制造了AGI，但是因为智能发展比人类快的AI的出现预示人类的灭亡，他在被谋杀之前把全部program 删了。我没听完，所以不知道结局如何。
但是这些为了利益发明AI的人和那些急着和外星人通讯的，怎么就那么着急拉近人类的灭亡呢！让我联想到叶文洁。
好像Matrix的世界也是机器人( i e 人工智能)发展的结果。
人类过于自信能够提前准备好解药。。ai的自迭代速度很快就能超过人类的想像
系统提示：若遇到视频无法播放请点击下方链接
https://www.youtube.com/embed/s-kdRdzxdZQ?si=QK_7g6WgUaMw9iTe
人脑可以复制指日可待。
你应该是没有看懂那篇文章。那篇文章说的不是窃听，而是利用风扇的转动声音来主动传递信息。只要风扇的转动可以被计算机的0，1主动控制，那么这种传递就是从理论上完全可行的，没有任何神秘性在里头。既然没有神秘性，那么也就是完全可控的了，所以，以你说的air gapped system来作为论据来说明AGI的可能的失控性是完全不成立的。
这个假设AI倒是具有可操作性