写软件和挖矿是完全不同的一种经营模式：后者scale linearly,前者人越多效率越低（这也是Twitter裁一堆人影响不大的原因）。任何软件公司创始都有这样四五个大牛把框架搭好，其他人只是锦上添花做点重复劳动而已。码神和码农的区别是几何数量级的差别。这小伙儿就是个码神。 SAT 发表于 2023-01-20 09:15
回复 27楼nickbear的帖子 我倒是好奇这种分析的准确度百分比： 我的软件分析你这个作业有80%可能性是AI编造的（我认为80%已经想到牛了），但是拿80%的confidence level来断定并处罚学生，是远远不够的。 SAT 发表于 2023-01-20 13:27
转自极客公园 一位普林斯顿大学的学生，Edward Tian 推出了一个专杀 ChatGPT 的应用 ——「GPTZero」，有了这面「照妖镜」，内容是人写的，还是机器写的，真相马上就揭晓。 「GPTZero」在网络迅速爆红，吸引了 a16z 在内的硅谷创投的目光。但是应用创造者本人 Tian 却认为，最重要的事，是「让 AI 更加透明」。 01、「ChatGPT 杀手」 在 ChatGPT 成为学生们「偷懒」的神器后，教育和科研机构不得不开始抵制这个新的噩梦。 纽约教育部宣布禁止学生在公立学校使用 ChatGPT ；全球知名机器学习会议之一的 ICML 也宣布禁止发表包含由 ChatGPT 和其他类似系统生成内容的论文，以免出现「意外后果」。 出于对学术界，使用 ChatGPT 相关道德问题的担忧，华人小哥 Edward Tian 在一家当地的咖啡店里，花了一个寒假的时间，研发了 GPTZero，希望能让学术界恢复严谨性。 Tian 年仅 22 岁，目前仍是美国普林斯顿大学的大四学生，主修计算机科学专业，专门研究自然语言处理，同时辅修认知科学和新闻学。 他还曾是英国广播公司和开源情报网站 Bellingcat 的研究员，也曾是被微软收购的反恐初创公司 Miburo Solutions 的分析师。在那里，他监测虚假信息和机器人检测。Tian 说，「所有的这些经历，都是他研发 GPTZero 的动力」。 2023 年 1 月 2 日，Tian 将 GPTZero 发布到网络，预计只会有几十个人尝试它，完全没有想过，这会掀起一场世界级别的轩然大波。 在他把这款软件上传到互联网上的几个小时内，竟有超过 2000 人在 Steamlit 上测试了 GPTZero 的公开版本。 1 月 5 日，也就是发布的第三天，Tian 对 GPTZero 做出了更新和改善，还显著降低了误报率；此时，新程序已有超过 1 万的用户量了！Tian 也不禁对它的「爆炸性增长」和「病毒式传播」感到震惊。 据 NPR 报道，一周内有 3 万多人试用了 GPTZero，甚至「导致该应用由于出乎意料的高网络流量」而崩溃，托管 GPTZero 的免费平台 Streamlit 此后介入，以更多的内存和资源支持 Tian，以处理网络流量。 Edward Tian 通过在视频中展示其对一篇《纽约客》文章和 LinkedIn 上的 ChatGPT 生成器的帖子的分析，展示了该应用如何区分人类和人工智能撰写的文本。 GPT Zero 的工作原理就是检测文本的「困惑性」（Perplexity）和「突发性」（Burstiness）这两项指标，并分别对其打分，根据统计学特征来确定，文本是由人工智能写的还是人类写的。总体来说，如果这两项参数得分都很低，那么该文本很有可能出自 AI 之手。 这里所说的「困惑性」，是指来自人类所写作品的语言的复杂性和随机性。 这个指标主要是衡量文本在一个句子中的随机程度，以及一个句子的构造方式是否会让 GPTZero 感到困惑。 每当用户在 GPTZero 输入一段测试内容，它就会分别计算出：「文字总困惑度」、「所有句子的平均困惑度」、「每个句子的困惑度」。 这些数值越低，越能说明这个文本对 GPTZero 来说是非常「熟悉」的，那么它很可能是 AI 生成的；相反，如果这些数值越高，就越能说明文本中句子的构造或用词方式让 GPTZero 感到「惊讶」，那么它就更可能是出自人类之手。 这是因为，人工智能接受过数据库的训练，生成的文本在一段时间内，表现出的困惑度会更均匀和恒定，选词的可预测性也更高；而人类书写的文本则不会这样，真人的遣词造句一般会比较随机，比机器更容易写比较出乎意料的词句。 而「突发性」，则是指来自人类使用的句子结构的变化。 这个参数主要是比较句子复杂性的变化程度，衡量它们的一致性。 这是因为，人类倾向于写高度复杂的文本；而人工智能产出的文本则是低复杂度的；此外，由于人类的思维结构不是线性的，他们的句子结构也遵循类似的模式。 这意味着，人类使用句子结构，会在长而复杂的句子，和短而简单的句子之间摇摆不定，有着更多的句式变化，比如复杂和简单交替并存，一个长难句之后接着出现更简短的句子；而机器生成的句子则倾向于更加统一，很少会有一系列长度相差很大的句子。 简而言之，在选词上「简单」而「熟悉」，并使用「统一整齐」的句子，是人工智能生成作品的标志特征，而更复杂和多样的东西，则表明是人类写的。这也是「困惑性」和「突发性」这两项指标可以作为衡量标准的原因。 除了 Edward Tian 本人对 GPTZero 进行测试之外，也有不少网友用它对 ChatGPT、一些 GPT-3 衍生工具生成的内容进行了多次测试。最终结果显示，GPTZero 每次都能抓住 AI 生成的文本，并在十多个案例中正确识别了人类写的文本。 GPTZero 的一炮而红，让 Tian 获得了来自 a16z、 Menlo Ventures 和 Red Swan 等知名风投的青睐。不过，面对推特私信和电话轰炸，Tian 却显得异常冷静，他谦逊地表示自己不会拒接投资者打来的电话，但他不会忘记自己仍然是一位即将毕业的大四学生。 同时，他还表示自己的 GPTZero 尚未完成，仍需改进和进一步地开发，甚至计划让大家继续免费使用他的程序，用来支持各地新晋英文老师的工作。 02、急需的「AI 透明」 对于 GPTZero 这一甄别文字是否是 AI 写作的新程序，推特上的舆论褒贬不一，以教师为代表的成年人大多喜闻乐见，而学生却讽刺 GPTZero 的创造者 Tian 是「学术缉毒警察」。 的确，当 GPTZero 推出时，Tian 收到了众多教师对该应用程序在检测 AI 写的文章方面的积极反馈，来自世界各地的无数教师也都对 Tian 表达了他们的感激之情 —— 这让他们的教学难度大大减轻了。 当然，也不难理解，不少学生并不看好 Tian 这款打击学术偷工减料、不劳而获的软件。 事实上，不只是 Tian，就连 ChatGPT 的开发商 OpenAI 自己，也已经表明了对防止人工智能剽窃的承诺。 2022 年 12 月，OpenAI 专注于人工智能安全的研究员 Scott Aaronson 透露，该公司正在努力开发「缓解措施」，用一种「不易察觉的秘密信号」对 GPT 生成的文本打上「水印」，以识别其来源，从而打击作弊的系统。 这项技术将通过微妙地调整 ChatGPT 选择的特定单词选择来发挥作用，读者不会注意到这种方式，但对于任何寻找机器生成文本迹象的人来说，这在统计上都是可预测的。 公司发言人表示，「我们将 ChatGPT 作为新研究的预览技术，希望能从现实世界的应用中进行学习。我们认为这是开发和部署功能强大、安全的 AI 系统的关键部分。我们会不断吸取反馈和经验教训，」。 GPTZero 首页｜GPTZero 此外，OpenAI 还联合哈佛等高校机构联合打造了一款检测器：GPT-2 Output Detector。 作者们先是发布了一个「GPT-2 生成内容」和 WebText 数据集，帮助 AI 理解机器语言和人类语言之间的差异。 随后，用这个数据集对 RoBERTa 模型进行微调，就得到了这个 AI 检测器。其中人类语言一律被识别为 True，AI 生成的内容则一律被识别为 Fake。 值得一提的是，RoBERTa 是 BERT 的改进版。原始的 BERT 使用了 13GB 大小的数据集，但 RoBERTa 使用了包含 6300 万条英文新闻的 160GB 数据集。 尽管如此，还是有不少人认为，「AI 文本检测器」注定是一场失败的「军备竞赛」，其实际效果并不理想，更无法阻挡 ChatGPT 等 AI 语言模型的发展。 然而，尽管 Tian 建立了 GPTZero，他并不反对使用 ChatGPT 等人工智能工具，他认为 GPTZero 应用程序的目的不是阻止这些新技术的使用，而是提供一种负责任地使用这些技术的方法，并提供必要的保护。 同时，相对于对抗或者禁止一项技术，也许更重要的是如何为其使用定下规范和标准。例如，在广告、影视及娱乐等行业，对于 AI 生成类内容的容忍度可能适当提高一些；而在学术、教育和科研领域，非常强调准确性和原创性，毫无疑问，对于 AI 生成内容的容忍度就要低一些。 而如何确定 AI 工具使用的「透明度」，可能要比研究如何「反 AI」，要更有效，也更有意义一些。 octavy 发表于 2023-01-20 08:44
软件只负责给评分，怎么用和多少算抄袭的决定权在学校 和现在的查重软件一样，学校只会规定查重率要低于多少 nickbear 发表于 2023-01-20 13:48
shengsiwuwei 发表于 2023-01-20 08:46
这小伙子买了通稿吧 到处都是这个消息。实际上有人测试了，非常不准。而且对nlp有点理解的应该都知道这要鉴定应该非常难。 miavita 发表于 2023-01-20 16:42
好羡慕他妈妈 izhanzhan 发表于 2023-01-20 09:28
回复 1楼octavy的帖子 我来泼瓢凉水，感觉这个软件会对英语为第二语言的人造成不公。很多英语为第二语言的人只会写一些简单的句子，词汇量也低一些，句子复杂性会比较低，会不会被误判成AI写的？事实上美国政府是反对复杂写作的，还专门立法要求政府部门要用plain language，就是为了让普通人都能看懂，降低自然语言写作的歧义。从这个角度来说，从检测写作方式的复杂性来检测AI写作出发点就是错的。 另外，他用的检测算法就是machine learning，也是一种弱AI，ChatGPT用他的软件回头继续training，轻松就能生成能骗过这个算法的文章。 还有，为什么就一定要排斥AI写的文章？写出来的文章言之有物，通俗易懂，就是好文章，是AI写的还是真人写的又有什么关系？如果说纯属为了培养学生的写作能力不允许使用AI写作还勉强说得过去。但是在实际使用中，使用AI写作就不应该被排斥。就像使用计算器一样，人类并没有因为计算器计算能力比人类强就禁止使用计算器吧？ Leavesday 发表于 2023-01-21 08:43
一位普林斯顿大学的学生，Edward Tian 推出了一个专杀 ChatGPT 的应用 ——「GPTZero」，有了这面「照妖镜」，内容是人写的，还是机器写的，真相马上就揭晓。 「GPTZero」在网络迅速爆红，吸引了 a16z 在内的硅谷创投的目光。但是应用创造者本人 Tian 却认为，最重要的事，是「让 AI 更加透明」。
01、「ChatGPT 杀手」
在 ChatGPT 成为学生们「偷懒」的神器后，教育和科研机构不得不开始抵制这个新的噩梦。 纽约教育部宣布禁止学生在公立学校使用 ChatGPT ；全球知名机器学习会议之一的 ICML 也宣布禁止发表包含由 ChatGPT 和其他类似系统生成内容的论文，以免出现「意外后果」。 出于对学术界，使用 ChatGPT 相关道德问题的担忧，华人小哥 Edward Tian 在一家当地的咖啡店里，花了一个寒假的时间，研发了 GPTZero，希望能让学术界恢复严谨性。 Tian 年仅 22 岁，目前仍是美国普林斯顿大学的大四学生，主修计算机科学专业，专门研究自然语言处理，同时辅修认知科学和新闻学。
他还曾是英国广播公司和开源情报网站 Bellingcat 的研究员，也曾是被微软收购的反恐初创公司 Miburo Solutions 的分析师。在那里，他监测虚假信息和机器人检测。Tian 说，「所有的这些经历，都是他研发 GPTZero 的动力」。 2023 年 1 月 2 日，Tian 将 GPTZero 发布到网络，预计只会有几十个人尝试它，完全没有想过，这会掀起一场世界级别的轩然大波。 在他把这款软件上传到互联网上的几个小时内，竟有超过 2000 人在 Steamlit 上测试了 GPTZero 的公开版本。 1 月 5 日，也就是发布的第三天，Tian 对 GPTZero 做出了更新和改善，还显著降低了误报率；此时，新程序已有超过 1 万的用户量了！Tian 也不禁对它的「爆炸性增长」和「病毒式传播」感到震惊。 据 NPR 报道，一周内有 3 万多人试用了 GPTZero，甚至「导致该应用由于出乎意料的高网络流量」而崩溃，托管 GPTZero 的免费平台 Streamlit 此后介入，以更多的内存和资源支持 Tian，以处理网络流量。 Edward Tian 通过在视频中展示其对一篇《纽约客》文章和 LinkedIn 上的 ChatGPT 生成器的帖子的分析，展示了该应用如何区分人类和人工智能撰写的文本。 GPT Zero 的工作原理就是检测文本的「困惑性」（Perplexity）和「突发性」（Burstiness）这两项指标，并分别对其打分，根据统计学特征来确定，文本是由人工智能写的还是人类写的。总体来说，如果这两项参数得分都很低，那么该文本很有可能出自 AI 之手。 这里所说的「困惑性」，是指来自人类所写作品的语言的复杂性和随机性。
这个指标主要是衡量文本在一个句子中的随机程度，以及一个句子的构造方式是否会让 GPTZero 感到困惑。 每当用户在 GPTZero 输入一段测试内容，它就会分别计算出：「文字总困惑度」、「所有句子的平均困惑度」、「每个句子的困惑度」。 这些数值越低，越能说明这个文本对 GPTZero 来说是非常「熟悉」的，那么它很可能是 AI 生成的；相反，如果这些数值越高，就越能说明文本中句子的构造或用词方式让 GPTZero 感到「惊讶」，那么它就更可能是出自人类之手。 这是因为，人工智能接受过数据库的训练，生成的文本在一段时间内，表现出的困惑度会更均匀和恒定，选词的可预测性也更高；而人类书写的文本则不会这样，真人的遣词造句一般会比较随机，比机器更容易写比较出乎意料的词句。
而「突发性」，则是指来自人类使用的句子结构的变化。 这个参数主要是比较句子复杂性的变化程度，衡量它们的一致性。 这是因为，人类倾向于写高度复杂的文本；而人工智能产出的文本则是低复杂度的；此外，由于人类的思维结构不是线性的，他们的句子结构也遵循类似的模式。 这意味着，人类使用句子结构，会在长而复杂的句子，和短而简单的句子之间摇摆不定，有着更多的句式变化，比如复杂和简单交替并存，一个长难句之后接着出现更简短的句子；而机器生成的句子则倾向于更加统一，很少会有一系列长度相差很大的句子。 简而言之，在选词上「简单」而「熟悉」，并使用「统一整齐」的句子，是人工智能生成作品的标志特征，而更复杂和多样的东西，则表明是人类写的。这也是「困惑性」和「突发性」这两项指标可以作为衡量标准的原因。 除了 Edward Tian 本人对 GPTZero 进行测试之外，也有不少网友用它对 ChatGPT、一些 GPT-3 衍生工具生成的内容进行了多次测试。最终结果显示，GPTZero 每次都能抓住 AI 生成的文本，并在十多个案例中正确识别了人类写的文本。 GPTZero 的一炮而红，让 Tian 获得了来自 a16z、 Menlo Ventures 和 Red Swan 等知名风投的青睐。不过，面对推特私信和电话轰炸，Tian 却显得异常冷静，他谦逊地表示自己不会拒接投资者打来的电话，但他不会忘记自己仍然是一位即将毕业的大四学生。 同时，他还表示自己的 GPTZero 尚未完成，仍需改进和进一步地开发，甚至计划让大家继续免费使用他的程序，用来支持各地新晋英文老师的工作。
02、急需的「AI 透明」
对于 GPTZero 这一甄别文字是否是 AI 写作的新程序，推特上的舆论褒贬不一，以教师为代表的成年人大多喜闻乐见，而学生却讽刺 GPTZero 的创造者 Tian 是「学术缉毒警察」。 的确，当 GPTZero 推出时，Tian 收到了众多教师对该应用程序在检测 AI 写的文章方面的积极反馈，来自世界各地的无数教师也都对 Tian 表达了他们的感激之情 —— 这让他们的教学难度大大减轻了。 当然，也不难理解，不少学生并不看好 Tian 这款打击学术偷工减料、不劳而获的软件。 事实上，不只是 Tian，就连 ChatGPT 的开发商 OpenAI 自己，也已经表明了对防止人工智能剽窃的承诺。 2022 年 12 月，OpenAI 专注于人工智能安全的研究员 Scott Aaronson 透露，该公司正在努力开发「缓解措施」，用一种「不易察觉的秘密信号」对 GPT 生成的文本打上「水印」，以识别其来源，从而打击作弊的系统。 这项技术将通过微妙地调整 ChatGPT 选择的特定单词选择来发挥作用，读者不会注意到这种方式，但对于任何寻找机器生成文本迹象的人来说，这在统计上都是可预测的。 公司发言人表示，「我们将 ChatGPT 作为新研究的预览技术，希望能从现实世界的应用中进行学习。我们认为这是开发和部署功能强大、安全的 AI 系统的关键部分。我们会不断吸取反馈和经验教训，」。
此外，OpenAI 还联合哈佛等高校机构联合打造了一款检测器：GPT-2 Output Detector。 作者们先是发布了一个「GPT-2 生成内容」和 WebText 数据集，帮助 AI 理解机器语言和人类语言之间的差异。 随后，用这个数据集对 RoBERTa 模型进行微调，就得到了这个 AI 检测器。其中人类语言一律被识别为 True，AI 生成的内容则一律被识别为 Fake。 值得一提的是，RoBERTa 是 BERT 的改进版。原始的 BERT 使用了 13GB 大小的数据集，但 RoBERTa 使用了包含 6300 万条英文新闻的 160GB 数据集。 尽管如此，还是有不少人认为，「AI 文本检测器」注定是一场失败的「军备竞赛」，其实际效果并不理想，更无法阻挡 ChatGPT 等 AI 语言模型的发展。 然而，尽管 Tian 建立了 GPTZero，他并不反对使用 ChatGPT 等人工智能工具，他认为 GPTZero 应用程序的目的不是阻止这些新技术的使用，而是提供一种负责任地使用这些技术的方法，并提供必要的保护。 同时，相对于对抗或者禁止一项技术，也许更重要的是如何为其使用定下规范和标准。例如，在广告、影视及娱乐等行业，对于 AI 生成类内容的容忍度可能适当提高一些；而在学术、教育和科研领域，非常强调准确性和原创性，毫无疑问，对于 AI 生成内容的容忍度就要低一些。 而如何确定 AI 工具使用的「透明度」，可能要比研究如何「反 AI」，要更有效，也更有意义一些。
或者是造神运动造的神？ 到处撒的漏洞百出的报道，大家是有多天真才看不出？ 这背后的推手为了推这么个chat bot （以及其衍生物）真是不余遗力，咱们真人网友就不要掺合这种让人类自掘坟墓的工作了。
找到区别度高的语言模型metric做出有前景的APP，是很好的工作，但是主要在于idea 在软件工程上不复杂，轮子都是现成的，称为码神言过其实 码神应该是Linus，Jeff Dean那个级别的
我倒是好奇这种分析的准确度百分比： 我的软件分析你这个作业有80%可能性是AI编造的（我认为80%已经想到牛了），但是拿80%的confidence level来断定并处罚学生，是远远不够的。
软件只负责给评分，怎么用和多少算抄袭的决定权在学校 和现在的查重软件一样，学校只会规定查重率要低于多少
感觉吹牛。比chatGPT更不可靠。
如果AI代码和人为代码，是交叉的。怎么能识别？
就考个软件 定个 80% 的标准 不会被告吗？
加拿大华裔？点赞👍
刘思慕中学也是这个。
同意这个。
这个鉴定是非常难的，尤其是当一个sophisticated user使用ChatGPT 写文章的时候。去年有一段时间我女儿很痴迷于chatGPT，天天泡在上面。她自己本来就很能写文章，而且她也很知道怎样跟ChatGPT交流，找到最好的prompt。我读过她最后的成品，真地写得不错，我觉得是无法辨别是否是机器写的。当然这已经是过去式了。我女儿说出于防止作弊的考虑，去年年底Chat GPT把他们的写作能力调低了，现在他们的机器基本写不出来可以乱真的文章了。
这是我的第一反应
我来泼瓢凉水，感觉这个软件会对英语为第二语言的人造成不公。很多英语为第二语言的人只会写一些简单的句子，词汇量也低一些，句子复杂性会比较低，会不会被误判成AI写的？事实上美国政府是反对复杂写作的，还专门立法要求政府部门要用plain language，就是为了让普通人都能看懂，降低自然语言写作的歧义。从这个角度来说，从检测写作方式的复杂性来检测AI写作出发点就是错的。 另外，他用的检测算法就是machine learning，也是一种弱AI，ChatGPT用他的软件回头继续training，轻松就能生成能骗过这个算法的文章。 还有，为什么就一定要排斥AI写的文章？写出来的文章言之有物，通俗易懂，就是好文章，是AI写的还是真人写的又有什么关系？如果说纯属为了培养学生的写作能力不允许使用AI写作还勉强说得过去。但是在实际使用中，使用AI写作就不应该被排斥。就像使用计算器一样，人类并没有因为计算器计算能力比人类强就禁止使用计算器吧？
前段时间和女儿讨论这个 她很奇怪为什么学校要反对学生用 AI。如果目的是提高学生写作水平 应该鼓励学生用
对，我也很困惑。