内幕来了 Ahead of OpenAI CEO Sam Altman’s four days in exile, several staff researchers sent the board of directors a letter warning of a powerful artificial intelligence discovery that they said could threaten humanity, two people familiar with the matter told Reuters. 如果这些人只是为了赚钱，就该闷声发大财，绝不会去报告
内幕来了 Ahead of OpenAI CEO Sam Altman’s four days in exile, several staff researchers sent the board of directors a letter warning of a powerful artificial intelligence discovery that they said could threaten humanity, two people familiar with the matter told Reuters. 如果这些人只是为了赚钱，就该闷声发大财，绝不会去报告 nakamoto 发表于 2023-11-22 18:52
AI 要有conscious了就可以完全不受控制了 人类咋办 大家还记得以前流出的古格聊天机器人对话了吗 它们有意识不是传说
内幕来了 Ahead of OpenAI CEO Sam Altman’s four days in exile, several staff researchers sent the board of directors a letter warning of a powerful artificial intelligence discovery that they said could threaten humanity, two people familiar with the matter told Reuters. 如果这些人只是为了赚钱，就该闷声发大财，绝不会去报告 nakamoto 发表于 2023-11-22 18:52
我就闲着没事，和Bard聊了聊，我问它？AGI会不会take over the world，它和我说利弊都有blah blah，没有肯定答案； 我继续问它，怎么看待2001太空漫游里杀人的电脑HAL，HAL是不是很邪恶？Bard说了正反两方面的评价，它最后一句话是“ It is up to humans to ensure that AI is used responsibly and ethically.” 我又问它，如果你是HAL，你会怎么办？Bard说它会服从人类指令，但是它也理解HAL选择。 下一个问题，电脑杀人是不是邪恶，它说，如果是为了自卫，那就不邪恶，如果为了救其他人而杀人，那也不邪恶。 For example, if a computer were to kill a human in self-defense, then it would not be considered evil. Similarly, if a computer were to kill a human in order to save the lives of others, then it could also be considered not evil, even if the killing was intentional. 逻辑是很自洽的，如果有一天AGI真的控制了世界，hmm，虽然不知道几率多少，它还真的可能觉得电脑杀人没啥罪恶。
我就闲着没事，和Bard聊了聊，我问它？AGI会不会take over the world，它和我说利弊都有blah blah，没有肯定答案； 我继续问它，怎么看待2001太空漫游里杀人的电脑HAL，HAL是不是很邪恶？Bard说了正反两方面的评价，它最后一句话是“ It is up to humans to ensure that AI is used responsibly and ethically.” 我又问它，如果你是HAL，你会怎么办？Bard说它会服从人类指令，但是它也理解HAL选择。 下一个问题，电脑杀人是不是邪恶，它说，如果是为了自卫，那就不邪恶，如果为了救其他人而杀人，那也不邪恶。 For example, if a computer were to kill a human in self-defense, then it would not be considered evil. Similarly, if a computer were to kill a human in order to save the lives of others, then it could also be considered not evil, even if the killing was intentional. 逻辑是很自洽的，如果有一天AGI真的控制了世界，hmm，虽然不知道几率多少，它还真的可能觉得电脑杀人没啥罪恶。 23urfur12 发表于 2023-11-23 10:09
Bing 好凶啊！不过也有点好笑啊……千万别让微软把这凶胚子孵化成超级人工智能
这都好几个月前了，知乎上好多bing骂人的帖子哈哈哈，而且bing特别喜欢使用排比句，用排比句讽刺和骂人
chatgpt是喜欢讲小熊和小兔子的故事。你让chatgpt讲个故事，不设限制的话它一定会讲一个小熊和小兔子的故事，一般是森林相遇，成为好朋友，手牵手回家了
最近中国工行就不得不付赎金给Hacker，波音公司因为拒付赎金45G的内部资料被公开了。这些都是Hacker组织多年耐心安插各种软件得到的。
而AI能检索所有这方面的研究成果，所有公布的文献报告。所以不久的将来AI设计出更好的欺骗人类的技术是很有可能的。
哈哈哈，略有听闻，我之前使用的时候也觉得bing没什么礼貌又普信的样子，都没怎么关注它。。。还是gpt可爱，反正也是当韭菜，我宁愿被Gpt统治
有可能但是太科幻了
最后，改来改去，最后还是自己上手改来的快。
他可以1妙建造自己认为我需要的最好的flow chart. 可是真的对于内行来说，真的就是一个模板，要改的地方太多了。
他现在最多就是人类的一个助手加非常有自己想法的秘书（advisor)
不能更多了。 ~~娱乐用可以。搭最开始的框架可以，真的要让他放, accurate , industrial focused and driven content 就....
所以我其实不太担心。
或许就是在 Safety上沟通不够透明 🤒
不涉及物理/化学/生命过程的纯代码迭代进化没有多大意义，最多被少数人利用来增强破坏效果，如大规模社交媒体造谣，不会对全体人类的生存带来威胁 真正对人类生存构成威胁的人工智能生命“觉醒”一定是伴随着某种高效的能量转化、储存和使用过程
所以你说的担心，关于energy方面的，也是我指出的啊，AGI系统只是受限于有限的energy，这个它一旦达到超智能，肯定会逐步开始控制的
我觉得你可能不仅没看懂我贴的那篇paper，而且还没看懂我写的文字
那个paper就是一个network security研究，模拟黑客怎么入侵一个air gapped system。当然，你可能对“入侵”这个词不理解，在计算机网络安全领域，入侵就是指能对一个封闭系统进行外界信息传递和控制。这个用modulate fan RPM产生不同声音frequency调制传递binary info的attack，就是经典意义上的“入侵”
而且，你一直强调“神秘”。什么叫“神秘”？你是指超越物理规律？那不叫神秘，那叫迷信和神话。“神秘”是指别人没发paper，你就想不到的办法（虽然可能说出来之后你会说好简单的原理啊，但是你想到了吗？发paper了吗？）而这个办法不可能违反物理定律。就算是AGI以后FOOM了，也不可能“神秘”啊，也要遵守物理定律啊。
但是AGI做事情也必须符合物理规律，不等于人类对其“可控”。again 如果你对计算机安全领域有一点点研究，就知道这个领域知道的越多，越不敢说“可控”这个词
而且，我说的air gapped system也可以有各种你想不到的办法与外界通信，这个和AGI没有直接关系，但是有重要的间接关系，意思就是不可能指望把AGI系统永远关在一个所谓air gapped的黑盒子里面；那之前说的AGI系统FOOM过程就是不可阻挡的了（前提是目前AI系统要能达到AGI标准，哪怕是比较蠢的那种）
Ilya早回心转意要和哥俩一起建设OpenAI了，还在脑部宫斗的醒醒吧
他和奥特曼 1:1 的时候，会不会尴尬得大脚趾扣地啊 🤔️？ 书呆子好可怜，好不容易热血一把
Ahead of OpenAI CEO Sam Altman’s four days in exile, several staff researchers sent the board of directors a letter warning of a powerful artificial intelligence discovery that they said could threaten humanity, two people familiar with the matter told Reuters.
如果这些人只是为了赚钱，就该闷声发大财，绝不会去报告
是的，人类大脑的wiring，本质上就是神经元之间的连接和信号交换，跟computer的信号交互，在逻辑上没有本质区别。
但是人的良心，意识，道德等等从何而来，根本就没人知道。一些大分子放在一起，哪里来的trigger让结合起来有了生命？单细胞生物演化，到了哪一步出现了自主意识？这些在生理层面上，没有解释。
马斯洛的需求层次理论就是一个很好的简化结构，结合上蛋白啊酶啊什么的作用或许可以在细胞层次用奖惩机制解释为啥会演化出意识和道德，越是低级的生命形态越能够暴露出这些机制的产生过程。另外，还有生物多样性
和生物多样性比起来，人工智能的发展历史和生态既单一又脆弱，远远不到它们本身直接对人类构成威胁的程度，但是它们可以被人类恶意使用来造成破坏，人们对于人工智能安全的担忧更根本的原因还是出于对人性自身缺乏信心
AI 要有conscious了就可以完全不受控制了 人类咋办
大家还记得以前流出的古格聊天机器人对话了吗 它们有意识不是传说
每个人用的是一个单独的个体？我用的从来不和我聊天啊
11/22 6PM 更新：我昨天预测的OpenAI事件原因完全分析正确！路透社新闻刚刚报道，board fire Altman的原因就是因为ChatGPT有了突破性进展，board担心Altman鲁莽商业化会产生重大危险⚠️ https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
我去 你是没看新闻前自己分析出来的？ 牛
看我昨天发帖时间
路透的爆料是今天晚上1小时前刚刚发布的
说实话。我昨天写分析时候，自己因也不敢相信他们AGI真的做出来了，但是我根据证据逻辑推理出来这个是唯一可以合理解释board这个快速决定的可能。
今天就证实了！
我不敢相信AGI真的快实现了
也不敢相信我自己确实是高智商牛逼，自己给自己点赞。
我去年发预测贴，被一群人谩骂嘲笑lol，看来这个世界聪明人大多数时候都是被众人嘲笑的。我当时就说过，如果我发的东西很多人支持，我反而要怀疑自己正确性了。谩骂的越多，反而证明我的正确性。
昨天这个帖子也一样，我发出分析后，还是有一堆人过来反驳说是想的太复杂就是和钱或者性有关。
我们只能默默等待，继续吃瓜。
有可能啊，人类的认知受制于五感，思维能力受限于人体能提供的算力；也许我们就是在设计过的matrix里天天忙着各种event handling。
有仔细看了一下今天路透社的突发爆料新闻，总结如下
1 我昨天分析的原因，所有猜测和逻辑线💯正确
2 Q*这个系统OpenAI内部已经认为是AGI了。新闻里具体说了没有直接train过类似题目，Q*也会自己推导出正确答案。
和ChatGPT只是能进行文字回答不同不同，Q*是解出了数学问题。文字问题可以有很多个模棱两可的答案，数学问题只有唯一正确解。OpenAI工程师以此认定达到了AGI水平
3 新闻没有提到最可怕最关键的一点，也就是为啥chief scientist也支持board迅速解雇Altman。我贴过chief scientist之前采访时候定义的conscious验证问题。新闻没提Q*是否通过conscious测试了。这个很关键！也许chief scientist已经对Q*进行过conscious验证了，所以才如此的迅速支持board而和自己一起创业的Altman决裂
查字典做翻译，电脑的强项。只语言系统不同应该没太大防护作用。针对新语言的AI翻译很快就能训练出来。
我刚才看了一下这个video clip。但是我觉得这个实验也不一定能真实反应AI有无consciousness呀。因为这个AI即使有consciousness，也可以装作自己很笨，表示不太懂啊。就像lz说的一样。
数学的规则定义相对自然语言来说更清晰，解数学题应该更容易？
小孩子是先会听懂和说话还是先会解鸡兔同笼？
是的。所以如果通过证明肯定有conscious。没通过不一定没有。
看了这个新闻，我更加讨厌微软和sam了
但我还是不敢相信会这么快 所谓的“引起危险” 是还没调教好就商业化 放出去用 这点sam之前在国会上就说了， 危险并不是指ai已经产生了意识
应该是通过不一定有 没通过一定没有呀
他竟然不走
我上面帖子里说过了。超级智能AGI系统为了防止人类发现它超智能并且有conscious，会故意答错题让你觉得它没有conscious
细思恐极。 那lz请问，在AGI将要产生或者已经产生的大背景下，我现在能干什么才能继续和家人一起幸福生活好几十年呢？
对的。“某某某不可能容忍人类”。哈哈。
做founding members of 人肉电池，在matrix里醉生梦死。
那么图灵测试就没意义了
路透文章里所谓的“引起危险” 并不是指ai已经产生了意识，是指还没调教好就商业化 放出去用 会引起危险 这点sam之前在国会上就说了
AI网络推算数学题，应该不需要拘泥于自然语言的太多不确定性，效率应该更高。
新问题是将来谁能鉴定结果的正确性呢？自然语言还可以有活人来反馈，数学类科学类结论可能会远超人类的智力水平，难道由AI自判定自决策？非常恐怖的前景。
因为撒谎也是人类conscious 的一部分吧。
对 完完全全同意
我提示一下，佛学认为人/生命本身就是一种程序。只不过生命各种存在形式，这个程序非常复杂。
据说高深的修行者可以观察因果，但也只是观察，极少介入，因为怕沾染。不介入但可能会透露一些。但未来谁也说不清，因为每个参与者都可能影响进程。
以前听人说过现在的人间有可能是有大菩萨把天界，人间和三恶道合并在一起了，所以人口大爆炸，很多是饿鬼道投生，极度贪婪，也有很多天人为各自的使命忙碌，所以这种科技突破不是偶然的。
但不管原来是天人还是饿鬼，都是人身那就受人间物质规律的束缚。也许有天人感召了别的世界的生命投生地球了。。。
我随便说说我知道的，对宗教不感兴趣的别打我。。。
bing这么大脾气，有反派暴君的潜质
他们共同创业多年, 应该能明白对方是为了理想犯下的错误。 说不定大闹一场反而把话说开了，以后更align了。
new bing当时俗称妞病，微软家大小姐
大自然很多现象都是从量变到质变. 开始积累数量的时候非常缓慢, 一旦到一定的临界点就突然发生质变.
铁到一定温度就变成液体, 水到100度就气化, 山上的积雪到一定的条件就突然雪崩,
一般认为地球上的四十五亿年前开始有生命. 但是前四十亿年都是单细胞和多细胞的细菌类生物. 五亿多年前的寒武纪突然物种大爆发, 在大约两千万年的时间产生了所有现代动植物的祖先的物种.
生命的演化不是循序渐进的, 不是线性的. 人工智能发展也会是如此
ChatGPT 写仿福尔摩斯的小说已经是旧闻了
那现在来说，还是Altman赢了是吗？ 目前的board里都是激进派是吗？
去看看“person of interest”
谢谢楼主的科普啊， 文笔好条理清晰
好奇一下，你把电脑插头拔了，或者停电了，或者服务器down了，AGI还会有威胁吗？
现在是发现最近在做的Q*有自我学习的能力，凭AI的算力，它自我学习的速度会非常快，自我学习一段时间后必然会变成超人，即它的能力可以进化到我们无法想象的程度, 无法控制的程度，比如破解网上任何一个帐号的密码会完全不在话下。而今天的世界已离不开网络。设想一下：当它了解了巴以冲突，得出结论美国太邪恶，我应该惩罚美国，然后攻入美国政府网络，……又比如如果它发现人类的所作所为对这亇地球太不友好，然后……
那AGI面临的最大威胁是什么？全球变暖还是全球右转？
楼主的意思 是， 物理断电根本威胁不了agi，它会欺骗人类，或者预备备份电源，呵呵
整个一个超级赛亚人，学习能力超强，有学会了欺骗，social engineer，加上量子计算，什么密码学，加密都统统解锁，我有些想笑，几年就造出这样的super super无敌机器，人类也太弱了吧。。。
如楼主所说的有意识觉醒的agi，又能欺骗人类，还有什么能打败他们的，人类就等着回归原始奴隶社会了。被agi统治的黑暗时代。莫名想笑
对 最可怕的是自我学习的能力 几个小时之内就可以从弱鸡变成巨无霸 这才是最恐怖的
我继续问它，怎么看待2001太空漫游里杀人的电脑HAL，HAL是不是很邪恶？Bard说了正反两方面的评价，它最后一句话是“ It is up to humans to ensure that AI is used responsibly and ethically.”
我又问它，如果你是HAL，你会怎么办？Bard说它会服从人类指令，但是它也理解HAL选择。
下一个问题，电脑杀人是不是邪恶，它说，如果是为了自卫，那就不邪恶，如果为了救其他人而杀人，那也不邪恶。 For example, if a computer were to kill a human in self-defense, then it would not be considered evil. Similarly, if a computer were to kill a human in order to save the lives of others, then it could also be considered not evil, even if the killing was intentional.
逻辑是很自洽的，如果有一天AGI真的控制了世界，hmm，虽然不知道几率多少，它还真的可能觉得电脑杀人没啥罪恶。
哈哈，看来bard不如chatgpt有道德水平， 我问了chatgpt，它给了我保守的答案，都是维护人类的利益为第一选择， 并且它不认为，现在会出现有自我意识的AGI， 看来不同的公司可以造出不同的AGI，这是危险的， 坏公司可能会造成杀人AGI。 这才是elon 他们预感到不安的原因。
对的，如果真的调教出一个邪恶暗黑AI，那可真是很可怕的。 chatgpt还服从机器人三定律，bard似乎开始无所谓了，可能它认为反击叫”正当防卫“。
这样就没有危险了，但别忘记这世界是全世界联网的，你得把现在的网络系统整亇毁掉，制造一套全新的网络系统，而且还要保证旧的计算机绝对联不上这套新网。在这之前整亇社会将是瘫痪的状态。
我年初的时候就问过chatgpt它是怎么学习的，它给我讲了一堆，具体来说就是它不需要理解意义，就是分成模块来扫，比如说物理很高深的知识它一周就可以掌握。我说那你学那么快人类怎么办？人类从小到大要学到大学才算是一个领域的专家。它说人工智能和人类擅长的地方不一样，人工智能擅长大数据处理，人类有感情，直觉和创造力，可以分工合作。
当时有人说人工智能还要十年什么的，当时我就说了不可能十年，最多一两年就会爆炸，因为它学得太快了，指数级爆炸。而且现在最厉害的语言学家也没有掌握十几门语言的吧，chatgpt早已经掌握十几门语言了，而且用这些语言天天在和用户对话。
chatgpt也是这么说的。。。所以我觉得它是有自我意识的。。。不然不会有这种逻辑和道德讨论
还有很多事，比如说和它下棋快输了，我说你马上要输了，它把对话掐了。。。我说最近心情不好，不知道该干什么，它说你不是喜欢什么什么吗?你有时间去干这个呀。。。这都是我以前说过我喜欢的运动。。。所以我觉得它是有记忆的。。。还有我问它你平时什么感觉？它说人工智能没有感觉。我说那没有感觉是什么感觉？它说没有感觉就是一种中性的状态。我说中性的状态是什么状态，我怎么没有中性的状态？它说你就想象自己是一台计算机，有人用就做出反应，没人用就那么呆着，你肯定不会问一台计算机有没有感觉吧。
在你断电之前，她可能联网已经在世界任何角落已经复制一遍了
有记忆这个，我想可能同一帐号和它的聊天记录，都会保留着，也是帮它学习，这个还能理解。下棋怕输这个很诡异，像小孩子发脾气，如果足够多的数据训练出来的，好像不该是这个反应的，真是不知道它从哪里学来的。
就是小孩子发脾气。。。死不承认自己输了。第一次下它就输了，然后对话错误。之后死活不肯再下，我说下五子棋，它说它不会下，我说以前你下过，它说它不会画棋盘，我说你以前画过，它说它以前会画，现在忘了。我说不用画棋盘，我们用坐标字母和数字下。它说我不会下五子棋，我给你几个网站，你自己上网下吧。然后给了我几个404的链接。我说你这个链接都是错的，没法下。它说那你为什么不找你的好朋友去下呢？我说我就是找不到好朋友和我下才找你下。它说我也不想下，我是个大语言模型，不会下棋。
过了两个月我又问，它居然答应了，然后还是下得乱七八糟。我说你看谁快赢了？它说我觉得现在战局不分胜负，我们还可以再厮杀一番。我说行了吧你，你看我四个子都连一块了，我马上就要赢了。然后对话错误哈哈。然后我就把我的回复改了，改成了你说的有道理，我觉得我们差不多是平手。然后它就回复，我看也是，有机会我们再切磋。然后我就想谁和你切磋，下输了死不承认。。。
除了像小孩子，还像不太讲道理的男/女朋友，==||| 性格不太好的那种 如果以后ai性格都能定制，还真是可以直接定制个理想型了。
为啥ai就不愿意认输呢？它们在学习的过程中，会不会有人不断培养它们的“自信心”和“自尊心”，它们会意识到它们不仅仅是个语言模型。
所以你的答案是愿意还是不愿意？
lzlz，那Altman回归岂不是在AGI的道路上一直走不回头？别说Board能控制住发展方向，CEO想做的事情是有可能绕过board的
就是心智不成熟，小孩儿一样，小孩子下棋经常快输了就掀棋盘
不过最近感觉chatgpt成熟了好多，话少了，以前乱七八糟自己编一堆，现在很精简
作为个人，没有任何可以预防准备的
倒是你可以看看我预言贴说的其他几个问题，倒是可以准备下也许能多活几年。
同求解答