"AI 确实可能杀死人类。"

【资料图】

这话并非危言耸听，而是 OpenAI CEO 奥特曼的最新观点。

而这番观点，是奥特曼在与 MIT 研究科学家 Lex Fridman 长达 2 小时的对话中透露。

不仅如此，奥特曼谈及了近期围绕 ChatGPT 产生的诸多问题，坦承就连 OpenAI 团队，也根本没搞懂它是如何" 进化 "的：

从 ChatGPT 开始，AI 出现了推理能力。但没人能解读这种能力出现的原因。

唯一的途径是向 ChatGPT 提问，从它的回答中摸索它的思路。

针对马斯克在推特上的 " 危险论 "，他直言：

马斯克在我心中是英雄，我支持也理解他的担忧。

虽然他在推特上挺混蛋的，但希望马斯克能看到我们在解决 AGI 安全问题上付出了多大的努力。

除此之外，在这场对话过程中，奥特曼还提到了不少刁钻的话题，例如：

ChatGPT、GPT-4 开发的内幕

GPT-4 是人类迄今所实现的最复杂的软件

如何看待大家拿 ChatGPT 越狱

……

在看过这场对话之后，网友直呼：

两位 AI 大佬用大家都能理解的方式聊 AI，多来点这样的访谈。

那么接下来，我们就来一同看下他们这场深度对话。

GPT-4 内幕大曝光

GPT-4 是这场对话中最受关注的部分。

它是如何训练的？如何在训练模型时避免浪费算力？如何解决 AI 回答不同价值观的人的问题？

首先是训练过程，依旧是预训练 +RLHF，不过透露了一点具体细节。

GPT-4 早在去年夏天就已经训练完成，后面一直在进行对齐工作，让它表现得更符合人类需求。

相比预训练数据集，RLHF 所用的数据非常少，但效果是决定性的。

对此，奥特曼透露了一点数据来源，包含一些开源数据集、以及合作商提供的部分数据集。

当然，数据集中也有一点 Reddit 论坛上出现的迷因梗（meme），但不是很多。对此奥特曼遗憾表示：

如果再多点，它的回答可能会更有趣。

即便如此，团队甚至奥特曼自己依旧不能完全解读 GPT-4。

目前对它的解读方式，依旧是通过不断问它问题，通过它的回答来判断它的 " 思路 "。

而就在不断测试中，OpenAI 发现从 ChatGPT 开始，GPT 系列出现了推理能力。

虽然 ChatGPT 绝大部分时候都被当做数据库使用，但它确实也出现了一定的推理能力，至于这种能力具体如何出现的，目前却无人能回答。

但大模型的训练往往意味着大量算力需求。对此奥特曼再次提到了 OpenAI 独特的训练预测方法：

即便模型很大，团队目前也有办法只通过部分训练，预测整个模型的性能，就像是预测一名 1 岁的婴儿能否通过 SAT 考试一样。

关于这一点，在 GPT-4 论文和官方博客中也有更详细介绍。

最后奥特曼承认，GPT-4 确实存在应对不同价值观的人的问题。

临时解决办法就是把更改系统消息（system message）的权限开放给用户，也就是 ChatGPT 中经常见到的那段 " 我只是一个语言模型…… "。

通过改变系统消息，GPT-4 会更容易扮演其中规定的角色，比在对话中提出要求的重视程度更高，如规定 GPT-4 像苏格拉底一样说话，或者只用 JSON 格式回答问题。

所以，对于 GPT 系列来说，谁最可能载入人工智能史册？奥特曼倒不认为是 GPT-4：

从可用性和 RLHF 来看，ChatGPT无疑是最具里程碑的那一个，背后的模型没有产品的实用性重要。

最会打太极的 CEO

GPT-4 论文中没有透露参数规模、训练数据集大小等更多细节，还被外界吐槽越来越不 Open 了。

在这次访谈中，面对主持人步步追问，奥特曼依旧守口如瓶。

GPT-4 预训练数据集有多大？奥特曼只是很笼统的介绍了有公开数据集、有来自合作伙伴的内容（如 GitHub 提供的代码）还有来自网络的内容。

活像 ChatGPT 也能写出来的那种赛博八股文，只有在谈到 Reddit 的时候透露了网络梗图在训练数据中占比不大，" 不然 ChatGPT 可能更有趣一些 "。

GPT-4 模型参数量有多大？奥特曼只是说之前疯传的 100 万亿参数是谣言，然后又糊弄过去了。

我认为人们被参数竞赛所吸引，就像过去被 CPU 的主频竞赛所吸引一样。现在人们不再关心手机处理器有多少赫兹了，关心的是这东西能为你做什么。

不过奥特曼对于一种说法是持有肯定态度——"GPT-4 是人类迄今所实现的最复杂的软件 "。

但在主持人 Lex 突然抛出一些时下针对 GPT-4 的尖锐观点时，奥特曼的应对也堪称 "AI 般淡定 "（狗头）。

例如，关于前段时间闹得沸沸扬扬的GPT-4 越狱问题。

一名斯坦福教授仅仅用 30 分钟，就诱导 GPT-4 制定出了越狱计划，并全部展示了出来。

对此奥特曼表示，就如同当年 iPhone 也面临被 " 黑 " 或者说越狱的问题（如当年免费的越狱版 App Store）一样，这并非不能解决的事情。

奥特曼甚至坦承，他当年就把自己的第一台苹果手机越狱了——甚至当时觉得这是个很酷的事情。

但现在已经没有多少人去干苹果越狱的事情了，因为不越狱也足够好用了。

奥特曼表示，OpenAI 的应对思路同样如此，即把功能做的足够强，他甚至表示，愿意在这方面给用户开更多权限，以便了解他们到底想要什么。

除此之外，Lex 还提到了马斯克对于奥特曼的批评。

奥特曼虽然是当年被马斯克一手提拔的人才，但如今马斯克不仅退出了他们联手创办的 OpenAI，还对 OpenAI 现状十分不满，经常在推特上阴阳怪气这家公司。

我捐 1 亿美金成立的非营利组织怎么就变成一个 300 亿市值的营利性公司了呢？如果这是合法的，为什么其他人不这样做？

作为 OpenAI 现任 CEO，奥特曼并未直接回应此事，而是调侃了一下马斯克在航天领域也经常被 " 老前辈 " 们批评的事情。

这一系列采访问答，不禁让人想到在 ChatGPT 发布后，奥特曼对于记者 " 将 ChatGPT 整合进微软必应和 Office" 问题的回应方式：

你知道我不能对此发表评论。我知道你知道我不能对此发表评论。你知道我知道你知道我不能对此发表评论。

既然如此，为什么你还要问它呢？

GPT 的 " 偏见 " 不会消失

GPT 在迭代过程中 " 偏见 " 必然存在，它不可能保持完全中立。

在主持人提到关于 ChatGPT 以及 GPT-4 种存在的偏见问题时，奥特曼这样回应道。

ChatGPT 在推出之初，就不是一个成熟的产品，它需要不断迭代，而在迭代的过程中，仅仅依靠内部的力量是无法完成的。

" 提前 " 推出 ChatGPT 技术，是要借助外部世界的集体智慧和能力，同时也能让全世界参与进 " 塑造 AI" 的过程中。

而不同人对于问题的看法也各不相同，所以在这个过程中，" 偏见 " 问题就不可避免。

甚至奥特曼在话里话外也透露着：在 GPT 中，" 偏见 " 永远不会消失。

他将外部参与建设 GPT 比作 " 公开领域建设的权衡 "。

GPT 生成答案是个性化控制的结果，迭代的过程则是更精准地控制 " 个性化 " 的过程。

有趣的是，期间奥特曼还暗戳戳 " 背刺 " 起了马斯克的推特：

推特摧毁掉的多元性，我们正在将其找回来。

（嗯，奥特曼是懂一些话术的）

当然，谈到 ChatGPT，总绕不开其背后的公司 OpenAI，在成立之初，它就立下了两个 Flag：

1、非营利性

2、通用人工智能（AGI）

如今，已经过去八年之久，这两个 Flag 也是发生了巨大的变化：AGI 的大旗还在高举，而非营利性这面旗则已经摇摇欲坠。

对此，奥特曼也是分别作出了回应。

对于 OpenAI" 非营利性质 " 的逐渐削弱，奥特曼直言：很久之前，就已经意识到非营利性不是长久之计。

仅仅依靠非营利筹集到的资金对 OpenAI 的研究来说远远不够，商业化是必然选择。

但在之后奥特曼也试图 " 找补 " 回一些，称目前的商业化的程度仅止于满足投资者与员工的固定回报，剩余资金还是会流向非营利性组织。

提到 AGI，一开始在 OpenAI 声称要做通用人工智能时，还有一堆人在嘲讽，如今做出 GPT-4 这样的产品，回过头来再看，嘲讽的声音已经越来越少了。

而面对外界询问 "GPT-4 是 AGI 吗 " 这样的问题时，奥特曼则是直接给出了自己理解中的 AGI：

AGI 所掌握的知识应该是要超过人类科学知识总和的，并且具有创造性，能够推动基础科学的发展；

而目前所有 GPT 并不能做到这些，想要达到 AGI 还需要在目前 GPT 的范式上进行拓展，至于如何拓展，正是目前所缺乏的。

值得一提的是，谈到 AGI 时，是奥特曼在访谈中鲜有的 " 两眼放光 " 的时刻。

他抛出了一句极具 " 科研分子理想情怀 " 的金句：

也许 AGI 是永远抵达不了的乌托邦，但这个过程会让人类越来越强大。

但奥特曼并不否认过分强大的 AGI"可能杀死人类" 这一观点：

我必须承认，（AI 杀死人类）有一定可能性。

很多关于 AI 安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽早尝试找到解决问题的方法。

One More Thing

在谈话最后，Lex Fridman 还试图让奥特曼讲一些给年轻人们的建议，奥特曼直接来了个 " 反鸡汤文学 "：

网络上的 " 成功学 " 帖子太诱人，建议不要听太多建议。

我就是无视建议做到现在这样的。

参考链接：

https://www.youtube.com/watch?v=L_Guz73e6fw

关键词：