尼克·波斯特洛姆 - 经济理财榜-管理
当机器智能超越了人类智能时会发生什么？人工智能会拯救人类还是毁灭人类？作者提到，我们不是这个星球上速度最快的生物，但我们发明了汽车、火车和飞机。我们虽然不是最强壮的，但我们发明了推土机。我们之所以能控制地球，是因为我们的大脑比即使最聪明的动物的大脑都要复杂得多。如果机器比人类聪明，那么我们将不再是这个星球的主宰。当这一切发生的时候，机器的运转将超越人类。人类大脑拥有一些其他动物大脑没有的功能。正是这些独特的功能使我们的种族得以拥有主导地位。如果机器大脑在一般智能方面超越了人类，那么这种新兴的超级智能可能会极其强大，并且有可能无法控制。
我们看到，降低存在性风险，并且实现导向合理使用人类宇宙资源的文明进步，是我们道德上的主要优先事项。” c:24
人生最大的喜乐，无非“久旱逢甘露，他乡遇故知。洞房花烛夜，金榜题名时”。而人生最大的悲哀，恐怕不是被枪毙，而是于枪毙前被要求自己给自己挖坑。 c:40
人类经历了土地的挑战、资本的挑战，今天来到了信息时代，智能的挑战是“我们将要面对的最后一个挑战”。 c:18
作者将超级智能分为三种形式：高速超级智能、集体超级智能和素质超级智能。——高速超级智能是指和人脑相似，但速度快于人脑的智能。——集体超级智能是指一种通过将总数庞大的小型智能集中起来，从而达到卓越性能的系统智能。——素质超级智能是指一个至少和人类大脑一样快，并且从素质上来说更加聪明的智能。 c:44
“如果不考虑道德因素，计算机一旦统治人，从机器角度讲，人体除了脑袋，别的器官都没什么用，还浪费资源（按：成吉思汗如果管理互联网，肯定也会这么想）。所以最好的办法是把人的脑袋拧下来，像电灯泡一样安在工作台上，接好营养液，然后工作到死。为了减少人的痛苦，可以利用虚拟现实技术（按：现在已经快实现了），按照大脑的偏好，分别配一辈子的三级片或战争片，让他以为是真的，从而快快乐乐地度过一生。” c:39
这里补充一下，人生最大的悲哀，除了自己挖坑埋了自己（比喻为了手段而忘记目的） c:13
作者构建了一个公式，将超级智能的发展作为最优化力和系统反抗度的函数，来分析天算超过人算这个过程的动力学。 c:11
莱布尼茨1703年发表于核心期刊《皇家科学院纪录》上的《论中国伏羲二进位制级数》。莱布尼茨在论文中说：“让我感到自豪的是，若我未发现二进位制数学，这个六十四卦的体系，即伏羲易图，再耗费许多时间也不会被搞明白的。”电脑的二进制就主要是从这里来的，只不过当年莱布尼茨送给康熙的二进制计算器（帕斯卡尔二代机）不是电的，而是手摇的。2004年中国还拿它到凡尔赛宫展览过——它是超级智能在500年前的祖先。 c:17
工业文明有一个根本特点，它是一个异化社会（资本主义、社会主义只是程度不同），异化社会的特点是系统地为了手段而忘记目的（例如，为了国内生产总值而忘记幸福，为了贪污而忘记服务，为了浪费而忘记委托），这决定了工业社会整体来说，是把专业化的重点放在手段上，但必然的弱点是在目的上十分业余（表现在总是努力向东走，最后发现来到的是西边）。 c:23
在洪积世[插图]狩猎采集社会下，经济增长翻倍需要224 000年，在农业社会需要909年，在工业社会则需要6.3年。 c:15
我们把超智能机器定义为具备超越所有聪慧人类智能活动的机器。考虑到设计机器是智能活动的一部分，那么超智能机器甚至能够设计出更好的机器。毫无疑问，肯定会出现诸如“智能爆发”这样的局面，人类智能会被远远地甩在后面。因此，第一台超智能机器将是人类创造的最后一台机器，当然前提条件是这台机器足够听话并告诉我们要怎样才能控制它。 c:31
要克服“组合爆炸”带来的问题，就需要有能够开发目标领域结构的算法，并且要能通过启发式搜索、计划以及灵活的抽象信息处理方式有效利用已有知识，而这些都是早期人工智能系统所欠缺的地方 c:16
理想的状态是实现完美的贝叶斯代理程序（Bayesian agent），即在可获得的信息中寻找出概率最优 c:16
目前，人工智能在所有需要‘思考’的领域中成功了，但是却在人和动物‘不思考’的领域中失败了，‘不思考’比‘思考’在某种程度上要更难！ c:27
对于人工智能系统而言——不管人们是否叫它人工智能，它的特点就是在有限的范围或领域内具备认知能力，而软件系统的主要特征则是具备普遍的问题解决能力。 c:15
一个是建立在更可靠的统计以及信息理论基础上的机器学习实现了突破，一个是在将解决特定领域特定问题的人工智能应用到特定的实践和商业中所取得的成功 c:11
本章将探讨几种可能的技术路径，比如人工智能、全脑仿真、生物认知、人机交互，以及网络和组织，并且评估每种路径实现超级智能的可行性。 c:22
而非事后诸葛亮，以及有效处理不确定性和概率信息的能力 c:52
（1）生物技术增强至少可以得到超级智能的初级状态；（2）人类认知增强的可行性能促进机器智能的发展——也许只有认知能力得到提升的人才能创造出机器智能；（3）21世纪下半叶及以后，我们必须考虑到可能会出现一代基因增强的人群，他们可能是选民、发明家、科学家。而随着这些人繁衍下一代，其基因增强的幅度还会更大更快。 c:19
人类智能的速率限制并不取决于信息输入大脑的速度，而是取决于大脑挖掘信息并获取有意义信息的速度。 c:26
要完成这种似乎能使用神经形态人工智能的任务，需要对神经计算有更详细的、多层次的理解。 c:14
。从一般意义上讲，一个系统的集体智能会受到一些限制，包括系统成员的智能水平、成员之间交流相关信息所需的日常开支，以及在人类组织中常常出现的各种曲解误会和效率低下。如 c:12
比起生物性基质，机器基质的智能潜力要大得多。机器具有很多根本性优势，从而具有压倒性的优越性。生物学人类即便提高了性能，也比不上机器。 c:12
高速超级智能：该系统可以完成人类智能可以完成的所有事，但是速度快很多。 c:15
素质超级智能：一个至少和人类大脑一样快，并且聪明程度与人类相比有巨大的质的超越的系统。 c:14
智能和最终目标是正交性的：原则上，几乎任何水平的智能都能与几乎任何最终目标相结合。 c:11
“直到试图将事情搞清楚，你才会意识到所有的事在一定程度上都是模糊的。” c:11