王国豫教授：
刘老师是哲学家，长期从事科技治理的研究。当前，我们都在讨论人机共生。那么请问，当人类和机器共生的时候，是否也要共同承担责任？因为根据杨老师的研究，人工智能不仅作为一个agent我们说能动者的地位是确定的，甚至机器有可能有意识的情况下，那么在这种情况下，道德责任主体是否应延伸至非人类实体？如何让人工智能承担责任呢？针对大模型的如何区分AI辅助研究与AI主导研究在学术伦理上的边界？
刘永谋教授：
感谢主持人的问题，这些问题都是长期萦绕在我脑中的问题。不过时间有限，我算了算，大概我有六七分钟的时间，所以想凝练地谈几点想法。
第一，人机共生并不等于人机共赢。
AI与人的关系，总体上有友好论、敌对论和共生论三种。现在流行的是共生论，即人与AI协同进化发展。但是，协同发展的最终结果是什么，我们是无法预见的，我称之为“AI的新无知之幕”。不能否认，有可能最终结果是人类在AI时代跌下文明危崖。很多人默认人机共生为人机共赢，这是未经审思的。
对此，我主张的是技术控制的选择论，即对AI的发展进行全面的有限主义的选择、调整和控制。比如说，如果不能确认超级AI的安全性，人类就应该果断选择避免AI产生意识到发展道路。
DeepMind的CEO苏莱曼有类似的想法，称之为技术遏制论。他的The Coming Wave一书在西方反响巨大。我们的目标应该是确保人机共生有利于人族的福祉，而不是以超越于地球之外的宇宙视角静静地看着AI文明危崖的降临。
第二，拟人论的agent概念意味深长。
去年agent的概念很火，《光明日报》系列组织学术争论，讨论AI的法律主体地位问题。一些支持agent概念的法学家，主张给某些AI产品如自动驾驶汽车以法律主体地位。
Agent，能动者不等于主体。直至今天为止，主流哲学界包括马克思主义哲学仍然坚持人是唯一主体。相信到处都是主体的后主体主义者、后人类主义者，始终不是当代哲学主流。一些研究AI的思想家退了一步，说AI虽然不是主体，但不再是简单的客体，而是拟主体如agent。Agent虽然不是人，可它是类人。
显然，类似新观念显然是在AI拟人论思维流行的基础上发展而来的。类似的拟人论思维从古至今绵延不绝，比如大家熟悉的万物有灵论。Robot这个词翻译成机器人而不是“机器劳动工具”，就是拟人论支配的结果。
AI不是subject，但是agent。这赋予AI以类人地位，同时意味着人被拉平至AI。我一直以为，21世纪最大的问题不是AI越来越像人，而是人越来越像机器，我称之为“人的机器化”。
第三，主流哲学不支持AI道德主体地位。
如果道德学不是让人类更为高尚、更有责任感，这样的道德学必然被人鄙夷和抛弃。
AI伦理和AI哲学研究领域，绝大多数的研究者出于不同理由，不承认AI的道德主体地位。比如，AI没有自我意识，AI没有道德情感，AI不具备实践理性能力，AI不能承担道德责任和后果，所以AI不是道德主体。
不过，否认AI是道德主体，并非否认它是道德相关的。换言之，许多人工智能伦理学家愿意赋予AI某种道德地位。比如，因为伊利扎效应，即人在与AI互动中自动投入情感，两者因此建立某种情感联系，AI因此获得某种道德地位。
第四，治理AI应该要坚持长期主义战略。
赋予AI道德主体地位，从根本上意味着人开始向机器让渡自身的责任、权利和灵气。我们为什么让AI主导学术研究呢？最近，刘慈欣很担心，这导致人类在AI时代的退化。而杨立昆提出，用Scientist AI代替Agent AI的概念。
在我看来，AI时代人类的退化，是当代哲学最深刻、最重要的问题。在我的新书《智能革命后的世界》，已经开始讨论这个问题。
当然，从ChatGPT到DeepSeek，AI宣传术爆炒AI，使得很多人有了关于当前AI发展夸张臆想，进而促发全社会范围内的AI焦虑甚至AI恐慌。这与大众传媒的科幻式宣传有关，结果是各种敏捷治理的想法出现。就目前AI发展的实际状况而言，我觉得治理AI不宜过急过严，将长期主义与敏捷治理结合起来。
有人说的好，新科技的发展短期冲击会被人夸大，而长期影响却被忽视。治理AI应该坚持长期主义战略，当先就是要深入研究智能革命对当代社会的巨大冲击。