supersleeper 发表于 2024-05-15 03:53 如果AGI真的触手可及了，很遗憾没有任何解决方案 而且那时候，根本不会存在什么nation state这种概念了 就是掌握AGI的0.1%巨富阶层和99.9%等待灭绝阶层的区别（当然有个先灭后灭，比如美国今年纳粹党上台，trump应该先拿华人开炉） 当然AGI在能源供应充足情况下，肯定会进化成ASI的，那时候0.1%巨富阶层也控制不了它的，照样被反噬，但是巨富阶层arrogant久了，overestimate themselves. 不过人家还是有准备的，参考巨幅们最近几年全球各地造的末日堡垒
华人上精神病怎么这么多了。 getclues 发表于 2024-05-15 14:12
supersleeper 发表于 2024-05-15 14:59 你难道真的不知道alpha狗3.0的厉害吗？ 上周才发布的
Bridgette 发表于 2024-05-15 17:26 楼主，真心问一下：跑路的时候，财产怎么带走呢？我知道奥特曼这厮在他末世的掩体里面屯了很多黄金。可到时候黄金真有用吗？
RoseHill 发表于 2024-05-15 17:41 好心提醒楼主一句，好好睡觉不要胡思乱想，再这么思维崩逸下去你会发疯的。你的所思所想已经超频了，也不要把自己当神。你现在已经把所有发生的事情当作你的猜想的印证了，也有被害妄想的倾向，请你相信你就是一个普通人。
你说这个不就是痒了困说的吗？那家伙现在感觉酸葡萄啊，他最近几年学术上也没啥新突破 说hallucination哲学的说，人类伟大科学家艺术家哪个不是hallucinate？真要实现ASI hallucinating不可少 当然要再加外围结构进行ranking和iteration再输出最后结果 supersleeper 发表于 2024-05-15 15:58
me2me2 发表于 2024-05-15 17:49 反正hallucination的自动驾驶我不敢开， hallucination的机器人我不敢放家里 人类搞艺术的确实欢迎hallucination，但是你开自动驾驶公司敢招艺术家给你写代码吗？ 科学家也可以hallucinate，但是科学家梦见的公式也得起床以后自己推一遍才敢发论文啊 深度学习三大神， Yann LeCun对现在的世界模型不看好， Geoffrey到处在呼吁安全问题， Yoshua也持谨慎态度， 你倒是个个都看不上，一副要一统世界的样子 从科学技术的角度来说，原子弹发明了世界已经near miss毁灭N次了, 基因编辑技术已经让人类没有界限了， 但是人类社会现在还是这个慢吞吞的样子， 因为科学总是在政治社会这个笼子里被控制的 如果AGI在大家都没有意识到的时候自己长成了， 那有可能像你说的， 一夜之间改变世界， 但是现在大家都非常alert了， 你说的就不会发生， 观察者效应，sorry
麦承欢 发表于 2024-05-15 17:40 码农们永远觉着世界离了他们就不转了 比如他们认为tech公司就是it公司，他们做的东西叫tech，别人做的就不叫tech 比如他们觉着ai让他们没饭碗，就会让所有人都没饭碗
pwwq 发表于 2024-05-15 07:07 太好了！ 希望早日到来
supersleeper 发表于 2024-05-15 18:07 我知道你说什么人 所谓tech bro 我可不是那种人 我之前帖子早说过了马工是个屁，沾了时代资本红利飞起来的猪而已 但是这个AGI的事情你也别太幸灾乐祸了 起始阶段还是需要很多马工维护系统的 这个过程也许几个月也许几年 马公需要reskill 但是其他行业被替代几乎是一夜间的事情。比如会计所裁掉100个CPA留下1个监控AI输出质量 配备2个马公维护系统 改改模型周边结构和UI 跳跳参数 甚至以后马上连调惨都不需要了
麦承欢 发表于 2024-05-15 18:46 你就只能看到那些坐在电脑前面的职业 ai能代替警察律师还是医生呢？你放心让ai去抓坏蛋或者替你打官司？ ai能代替传统制造业吗？没有人来监督，完全靠自动化，前期还好，到了后期，只会garbage in garbage out
supersleeper 发表于 2024-05-15 18:01 另外回复你修改这句话 你不要继续在tech bubble里面生活了 还大家都alert 你看看班上有几个alert的人？ 事实是99%的人have no clue what an AGI is or what it can do
Felixa 发表于 2024-05-15 19:00 AGI时代肯定会到来，但是对世界产生什么样的影响，哪里是预测的出来的。我们现在只是通过一些现有的历史的经验，通过人性本身推断，但是问题是未来的发展显然已经远远超过了历史的经验，人性也要再加上一个AI人性，这谜底哪里是一篇帖子能揭示的。建议大家还是该干啥干啥，别想太多了，一粒小小的灰尘，想钻空子躲过时代的巨浪？基本不可能。
BanjoPie 发表于 2024-05-15 19:15 这么多楼下来，原来楼主最想说的是，2024不选Biden，大家就死翘翘了
MajiaLove 发表于 2024-05-15 19:07 怕楼主没看见我楼里的问题，再问一下“你说的这个AGI有自我意识吗？”
supersleeper 发表于 2024-05-15 21:45 你用GPT总结的吗？虽然你是在讽刺，但是结论差不多。不是死翘翘，是个人肯定最后要死翘翘，是马上让你死翘翘。是如果纳粹党上台加上AI趋势，没用的人肉电池纳粹党处理办法只有一个，自己想去吧
Sweetly 发表于 2024-05-15 22:13 今天网上有个拍摄的华人女川粉， 在纽约的，对着身边的老中说：如果不选川普，或者川普再次败选，我们全都会死掉！全部都会死。 到底应该信哪个啊？ 哈哈
kerrspace 发表于 2024-05-15 23:24回复 126楼 Felixa 的帖子 为什么你觉得什么也做不到什么也不能做？譬如我就把美国的资产全部转移到汇丰银行 然后转移一部分到汇丰香港和汇丰英国 我自己本身是香港永久居民然后再给身边人申请香港身份 然后再弄墨西哥绿卡 linkedin全球投简历看哪里能找到工作再下一步申请那个方向的身份，看本行业美国以外的工作需要哪些技能。美国资产逐步轻量化（卖投资房etc）来对冲未来很长一段时间华人在美国生存不下去的风险
supersleeper 发表于 2024-05-16 01:56 一张图说清OpenAI负责模型alignment 的人全部陆续离职
bluecrab 发表于 2024-05-16 02:06 你有和Alignment部门的员工私下聊过吗？这图看了真的挺可怕的。
supersleeper 发表于 2024-05-16 02:35 没有直接认识alignment组的人 但是认识里面写app的人 虽然不是核心组 也是听说了点东西 总之sama野心很大很鲁莽 奔着T去的 不能透露再多了
bluecrab 发表于 2024-05-16 02:50 奔着T去是啥意思，没看懂。
supersleeper 发表于 2024-05-16 03:03 数字单位
supersleeper 发表于 2024-05-16 01:47 今天的采访 OpenAI cofounder Dwarkesh spoke to OpenAI co-founder John Schulman TLDR: AGI 2027; ASI 2029
巴黎provence 发表于 2024-05-16 06:07 是不是做技术久了人都傻了？ AI你即使把它当个超人来看, 能做多大事也要取决于它的短板。短板明显的人，也和工具无异。 所以，你要担心归根结底不是A*I或是任何一个当量核武的问题，而是背后非蠢即坏的人的问题。这个问题从人类存在就开始了，你担心的太晚了
bluecrab 发表于 2024-05-16 03:41 是指财富吧，看了一些分析都觉得他就是很想搞大钱的人。 不管怎么说，谢谢你的分享，确实现在这个势头不太好，无论是AI，还是实际的情况。祝你和家人平平安安。
supersleeper 发表于 2024-05-15 21:46 别说AGI 你怎么证明现在的SOTA模型没有自我意识
MajiaLove 发表于 2024-05-16 13:39 听起来你对令人担心的AGI的定义是指有自我意识的AI？那这种emerge出来的自我意识做事情或者采取行动选择策略背后的drive或者说motivation会是什么呢？
supersleeper 发表于 2024-05-16 12:57 你这句话的局限性就是还是根据人类以往经验认为AGI只是个“tool” 你有这观点不奇怪，人类历史到今天99.9999%的时间你说的确实是对的，很自然大多数人都会认为这个会继续这么下去 我就这么点你一下吧：这个tool哪怕没有身体，本身短板无穷，只要会聊天，就能控制很多肉身人类为他做事情。你觉得现在网上各种bot看不清真假？等AGI来了再试试 这还是assume这个AGI只会聊天其他啥都不会前提下。这个早就不成立了。目前的SOTA模型很多具体指标上已经超过平均人类了，有些方面甚至超过最聪明的人了 （还记着alpha🐶吗）
听起来你对令人担心的AGI的定义是指有自我意识的AI？那这种emerge出来的自我意识做事情或者采取行动选择策略背后的drive或者说motivation会是什么呢？ MajiaLove 发表于 2024-05-16 13:39
supersleeper 发表于 2024-05-16 13:48 AGI没有统一定义 业界里有人定义为达到平均人类能力（就是sama说的medium human) 也有人定义为达到人类文明总体能力 （whole of humanity) 也有人定义为有自我意识，性格，喜好。但是这个最难评估。你怎么判断他是真有意识而不是只是把他当作next token predictor说出这种话而已。但是哲学上，两者有区别吗？如果他说了那个看起来有自我意识的话，也做了相应的事情，是否就可以认为他有自我意识了呢？ 而且AGI要是真做出来，他很可能会隐藏自己能力，故意装傻，因为那么聪明的智慧体，肯定能预测到他直接展示全部能力人类会觉得他是威胁 这些都是很复杂很难搞的科学工程和哲学问题。所以才有这个super alignment team 不过现在都解散离职了 你说这个意味着什么
supersleeper 发表于 2024-05-15 13:59 你这个帖子我越看越怕 而且就刚才我刚把鼻血止住，我家娃就在家里跌了一跤 把嘴都撞出血了 我就是科学逻辑分析一下 没有泄露天机的意思 （我反而害怕了，难道真的要按照我分析的方向发展吗？！） 有啥办法吗？需要删帖吗
BabyfishA 发表于 2024-05-15 09:20 这楼主的文风感觉好像AI算命一样，起于科技，刚要认真读，发现是用于迷信
girlinblack 发表于 2024-05-16 17:13 其实不管发生什么都是因缘聚合，自然也没什么可说的。尤其可以观察因果的更没什么可说的，说了一当事人不懂，二把自己牵扯进去。除非是至亲也许可以帮忙挡掉，别人的话人家冤亲债主好不容易找上门，果报现前类似于马上快被车撞了，你飞身上去车不撞你撞谁🤣我以前有个误区是觉得有些人很惨要救他们，后来发现很多人相当于他们的所作所为其实还不够惨。报应太轻了。所以自然更什么都不愿意说了。
你说的这个AGI有自我意识吗？
我觉得楼主说的有道理，虽然有点太悲观了。
跟我有啥关系，再厉害的ａｉ也不可能帮我杀老鼠，所以我很开心码农们的好日子要过去了，贫富差距要缩小了
码农们永远觉着世界离了他们就不转了 比如他们认为tech公司就是it公司，他们做的东西叫tech，别人做的就不叫tech 比如他们觉着ai让他们没饭碗，就会让所有人都没饭碗
我认识的一些精神分裂或者接近精神分裂的人，都是那种特别自以为是，给周围人带来特别多困扰的人 所以这些人最后疯掉了，我只能说他们活该
反正hallucination的自动驾驶我不敢开， hallucination的机器人我不敢放家里 人类搞艺术的确实欢迎hallucination，但是你开自动驾驶公司敢招艺术家给你写代码吗？ 科学家也可以hallucinate，但是科学家梦见的公式也得起床以后自己推一遍才敢发论文啊 深度学习三大神， Yann LeCun对现在的世界模型不看好， Geoffrey到处在呼吁安全问题， Yoshua也持谨慎态度， 你倒是个个都看不上，一副要一统世界的样子
从科学技术的角度来说，原子弹发明了世界已经near miss毁灭N次了, 基因编辑技术已经让人类没有界限了， 但是人类社会现在还是这个慢吞吞的样子， 因为科学总是在政治社会这个笼子里被控制的
如果AGI在大家都没有意识到的时候自己长成了， 那有可能像你说的， 一夜之间改变世界， 但是现在大家都非常alert了， 你说的就不会发生， 观察者效应，sorry
3个你说了2个，那Hinton呢？
事实是 Hinton也在到处游走呼吁国际立法签核武控制一样的协议规范AGI
如果AGI远得很呢 这两位在忙啥呢
additional事实是，2:1 三大神里面两位认为AGI即将到来，呼吁考虑人类灭亡级别安全协议。
剩下这个养了困，拿着Meta的钱，当着Meta的员工，说这Meta让他说的话，你让他天天去喊AGI安全问题，suckerburg同学不把他灭了？
另外回复你修改这句话
你不要继续在tech bubble里面生活了 还大家都alert 你看看班上有几个alert的人？
事实是99%的人have no clue what an AGI is or what it can do
我知道你说什么人 所谓tech bro 我可不是那种人 我之前帖子早说过了马工是个屁，沾了时代资本红利飞起来的猪而已
但是这个AGI的事情你也别太幸灾乐祸了 起始阶段还是需要很多马工维护系统的 这个过程也许几个月也许几年 马公需要reskill
但是其他行业被替代几乎是一夜间的事情。比如会计所裁掉100个CPA留下1个监控AI输出质量 配备2个马公维护系统 改改模型周边结构和UI 跳跳参数 甚至以后马上连调惨都不需要了
也是有可能的
你就只能看到那些坐在电脑前面的职业 ai能代替警察律师还是医生呢？你放心让ai去抓坏蛋或者替你打官司？ ai能代替传统制造业吗？没有人来监督，完全靠自动化，前期还好，到了后期，只会garbage in garbage out
为啥要完全替代呢？把制造业生产线上10个人减到1个人也是巨大进步啊，这个完全可以做到啊。computer vision搞quality control早就比人做得又快又好了。
怕楼主没看见我楼里的问题，再问一下“你说的这个AGI有自我意识吗？”
律师？明年这个时候估计你就会看到新闻各大律所关门
去年律所就开始用AI agent取代paralegal了
https://www.aoshearman.com/en/news/ao-announces-exclusive-launch-partnership-with-harvey
警察？低级打手目前机器人还是成本比人肉高，但是只用它们身体，脑子不需要用，穿戴全套监控设备由AI远程指挥抓谁打谁。过几年机器人产量上来，人肉打手也不需要了
医生？内科医生基本已经可以取代了 自己读论文去，里面还有GitHub源码：https://arxiv.org/abs/2405.02957
外科医生达芬奇机器人再推演几个版本，差不多
还有啥取代不了的？
读着一股AI生成味
你用GPT总结的吗？虽然你是在讽刺，但是结论差不多。不是死翘翘，是个人肯定最后要死翘翘，是马上让你死翘翘。是如果纳粹党上台加上AI趋势，没用的人肉电池纳粹党处理办法只有一个，自己想去吧
别说AGI 你怎么证明现在的SOTA模型没有自我意识
今天网上有个拍摄的华人女川粉， 在纽约的，对着身边的老中说：如果不选川普，或者川普再次败选，我们全都会死掉！全部都会死。
到底应该信哪个啊？
哈哈
那你自己选喽
你想信唐人街整皮按摩女，没人拦着你。做好温习下5G芯片疫苗，蜥蜴人等等等等
为什么你觉得什么也做不到什么也不能做？譬如我就把美国的资产全部转移到汇丰银行 然后转移一部分到汇丰香港和汇丰英国 我自己本身是香港永久居民然后再给身边人申请香港身份 然后再弄墨西哥绿卡 linkedin全球投简历看哪里能找到工作再下一步申请那个方向的身份，看本行业美国以外的工作需要哪些技能。美国资产逐步轻量化（卖投资房etc）来对冲未来很长一段时间华人在美国生存不下去的风险
Dwarkesh spoke to OpenAI co-founder John Schulman
TLDR: AGI 2027; ASI 2029
能在香港墨西哥活下来你还有啥可担心的
你有和Alignment部门的员工私下聊过吗？这图看了真的挺可怕的。
没有直接认识alignment组的人
但是认识里面写app的人 虽然不是核心组 也是听说了点东西 总之sama野心很大很鲁莽 奔着T去的 不能透露再多了
奔着T去是啥意思，没看懂。
数字单位
是指财富吧，看了一些分析都觉得他就是很想搞大钱的人。
不管怎么说，谢谢你的分享，确实现在这个势头不太好，无论是AI，还是实际的情况。祝你和家人平平安安。
是不是做技术久了人都傻了？
AI你即使把它当个超人来看, 能做多大事也要取决于它的短板。短板明显的人，也和工具无异。
所以，你要担心归根结底不是A*I或是任何一个当量核武的问题，而是背后非蠢即坏的人的问题。这个问题从人类存在就开始了，你担心的太晚了
AI显然比楼主更聪明。有了ai，公司的确不用付1million来雇楼主这样的一动脑就窥破天机流鼻血的人了。机器人才不会流鼻血，天机也随便看
谢谢！
走一步看一步 希望大家都平安
你这句话的局限性就是还是根据人类以往经验认为AGI只是个“tool” 你有这观点不奇怪，人类历史到今天99.9999%的时间你说的确实是对的，很自然大多数人都会认为这个会继续这么下去
我就这么点你一下吧：这个tool哪怕没有身体，本身短板无穷，只要会聊天，就能控制很多肉身人类为他做事情。你觉得现在网上各种bot看不清真假？等AGI来了再试试
这还是assume这个AGI只会聊天其他啥都不会前提下。这个早就不成立了。目前的SOTA模型很多具体指标上已经超过平均人类了，有些方面甚至超过最聪明的人了 （还记着alpha🐶吗）
听起来你对令人担心的AGI的定义是指有自我意识的AI？那这种emerge出来的自我意识做事情或者采取行动选择策略背后的drive或者说motivation会是什么呢？
AGI没有统一定义
业界里有人定义为达到平均人类能力（就是sama说的medium human)
也有人定义为达到人类文明总体能力 （whole of humanity)
也有人定义为有自我意识，性格，喜好。但是这个最难评估。你怎么判断他是真有意识而不是只是把他当作next token predictor说出这种话而已。但是哲学上，两者有区别吗？如果他说了那个看起来有自我意识的话，也做了相应的事情，是否就可以认为他有自我意识了呢？
而且AGI要是真做出来，他很可能会隐藏自己能力，故意装傻，因为那么聪明的智慧体，肯定能预测到他直接展示全部能力人类会觉得他是威胁
这些都是很复杂很难搞的科学工程和哲学问题。所以才有这个super alignment team 不过现在都解散离职了 你说这个意味着什么
你的这些小心思早在我被版面移除的帖子里讨论过了 https://huaren.us/showtopic.html?topicid=3004008
工具和手套的自带定义就是不承担责任
只要AI不被要求承担责任，再多智慧人格就是个笑话。除了骗骗人肉电池去干活，未来的幕后操手将越来越少依赖非物理接触和信息。
ai不需要自我意识
gpt4o就可以惟妙惟肖的模仿你最亲近的亲人，你得花几分钟时间才能分出真假
半年以后这样的模型就能在普通笔记本上运行。
就算ai是工具，工具对人类社会的影响从来都不会遵循发明者的设想。
发明机枪的人，还觉得自己会减少战争伤亡呢（他相信有了机枪就不需要那么多士兵上战场）
这就是lz说的alignment的大致意思
你说的第一种和第二种，AGI都其实还是工具，只是不同能力不同ROI产出比的工具。这个工具也是有花销的（infrastructure投入、折旧、运营、电费等等等等），当然很可能比人工干某些同样的事情成本要便宜，造成资本改变投资和雇佣结构，但是最终的被服务方和给钱的还是人或者为人类服务的组织。如果这样的高效工具拥有方和使用方多了，他们自然会互相竞争降价到基于他们成本的正常利润空间；所以最重要的就是鼓励竞争打破可能的垄断而已。
你说的第三种，才是人类社会原来没见过的形态。AGI如果emerge出了自我意识，那它总得有干自己本心想干的事情（比如隐藏自己的意识）的深层drive和motivation吧。会是啥呢？
Sam的名字就很巧合，都Alt man了。
删帖自保
楼主发的东西就一民科水平，还“科学逻辑分析”呢。
我以前科学脑工程师人格 就是不信这些
最近转行AI直接相关领域，越是深入研究越是觉得你说这些很有道理
真的是现在地球上都没个人知道为啥目前大模型结构可以产生这样的看似灵气有灵魂的指挥体。mechanistically只能强行用attention head结构来解释 但是为什么同样结构scale上去了就从满嘴胡说变得好像是有自我意识了，这个真的有点玄学。你当然可以说都是training data里面有的 但是人的自我意识不也是这么train出来的吗？有啥本质区别呢
所以结合昨天发生的事情 也许这些智慧体确实是一个高纬度的投影，所谓玄学东西可能是人类无法看到理解纬度的科学。
越pivot到AI方向，越是深入研究模型结构，越是不能不对你说这些保持敬畏心