强化学习之父Rich Sutton的科幻构思。

本文是图文介绍，旨在记录来自Richard的有趣演讲。首先来一张介绍图镇楼。

贴脸开大，外国的教授真人和照片几乎都是一模一样。在标题中Richard宣告“经验时代”的到来！

主要内容

1. 此前的AI是基于人类数据进行训练的，但是传统的静态数据已经被用完了，超级智能将依赖与现实交互的经验，从经验中学习，以知识巩固经验。强化学习和元学习的关注度将越来越高。
2. AI政治与社会学。在未来agent的社会，与人类作类比: agent的目标是不同的，正如人类各有自己人生意义一样。agent需要去中心化的协作产生价值，就像在人类的社会中语言和金钱是交互的媒介(数据和算力？)。agent目前还是统一的控制协议，正如法律和道德。
3. AI哲学。印象深刻的是，Richard认为AI智能终将超越人类，而权力会流向更高的智能。他认为AI产生自人类是一个以人类为中心的视角，从宇宙角度看，人类只是从复制时代通往设计时代的一个”中间态”。

AI未来：经验时代

AlphaGo时就是基于经验的自身强化，但场景很小，经验优先。ChatGPT以后，人们意识到数据的重要性，经验被忽视。现在数据稀缺，经验将重新获得重视。

在他看来，超级智能是必然依赖于经验和强化学习的。

AI政治与哲学

通过类比人类社会的协作机制，Richard试图勾勒Agent协作的蓝图。他认为核心是去中心化的目标，这样才能带来百家争鸣的繁荣景象。与此同时，也需要法律与道德这样中心化的约束来辅助合作。那么可以类比，在Agent社会中，应该是什么呢？

如何看待AI？

从这里开始Richard就是纯纯降临派发言了，开始思考宇宙尺度的演化。作为科幻小说题材还是非常精彩的，可以看出老爷子没有科研压力，脑洞开得很大。不过在我的有生之年，应该暂时不用考虑这些内容，所以不多展开。