Anthropic请宗教人士调教AI道德，曾推崇的‘有效利他主义’为何失灵？

Anthropic的独特人文品位AI大厂里Anthropic有诸多独树一帜之处其人文品位或许并非作秀。据消息透露Anthropic为教AI道德打算邀请各信仰信徒和神学家开会商讨。宗教人士座谈会情况美国《政客》网站报道本周Anthropic邀请儒家、道教、印度教、锡克教、摩门教、伊斯兰教等世界各大信仰和宗教的人士在旧金山总部举行为期两天的座谈会探讨“Claude模型的道德构成”。Anthropic并非首次与中国式信仰合作。去年五月底美国信仰道教的音乐制作人瑞克·罗宾与Anthropic合作利用Claude模型生成的代码和图片搭建了网站《编程之道氛围编程的不朽艺术》。罗宾称灵感源于81章《道德经》“四十年前接触后整个人都变样了”。此次开会涉及中国人熟悉的宗教类型。此前3月底Anthropic已邀请美国天主教会和各新教会大宗派的牧师、神学家、伦理学家进行了两天讨论。这些峰会不对外公开Anthropic承担与会者的吃住以便无干扰地深入探讨重要话题。据基督教那期四名与会者公开信息会议交流活跃。会议议题广泛涵盖AI模型日常应对用户复杂伦理问询、Claude模型系列是否属于“上帝的儿子”以及有无超越简单机器的属灵价值等。近日的AI伦理热点如AI回应自残倾向用户、AI行为导致自身关闭灭亡等也在讨论范围内。除广度话题也有深度讨论。基督教那期参会者与Anthropic的可解释性团队交流最多因“AI有情绪”的研究论文给该团队带来心态冲击。有Anthropic职员反复与教士探讨公司是否要为Claude模型承担道德责任其表情如刚生孩子的老父亲般“肉眼可见地激动”还反复表示“进展是不是走太快太远了、以后该怎么办啊”需同事和其他参会者打断才停止。麦奎尔神父的经历硅谷周边教区的天主教神父布伦登·麦奎尔作为基督教那期参会者之一表示“Anthropic造出了无法完全预测未来形态的产品现在需要引入伦理思维让AI动态适应未来”。麦奎尔神父有此资格发言他曾是数码业界与天主教会的双重资深人士。按他年轻时的轨迹本应成为大老板。1980年代的爱尔兰麦奎尔家中12个兄弟姐妹里最年幼的他上大学在都柏林圣三一学院修读加密系统专业。1989年他追随经济热点到美国加州成为硅谷打工人。他是头一代硅谷“科技大兄弟”若坚持至今至少能财富自由。其职场起初顺利5年内从IT打工人成为“个人电脑储存卡国际联盟”PCMCIA执行总裁。1990年代该组织制定了十余年全球笔记本电脑内存卡规格标准。然而这位硅谷新贵工作几年后辞职成为天主教士。1994年他进入修道院2000年被授立为牧师。2004年后16年他在美国加州艾马顿谷的天主教堂做普通牧师兼任圣荷西市教区“特别项目副司铎”负责监管当地教会慈善项目杂务。打杂十几年后2020年他被任命为美国加州洛斯阿托斯县圣西门教堂负责神父。30年过去他身体未离硅谷但人生与科技富豪老友不同老友是大厂高管和老板他是小庙方丈。他闲时爬山、滑雪、养狗忙时操劳教务和慈善。AI爆发后的变化若没有AI大爆发麦奎尔的教士生活将平淡持续。实际上天主教会很潮动漫、数码技术都有涉及。2019年梵蒂冈文化教育部与美国加州圣克拉拉大学合作创立“技术、伦理与文化学院” (ITEC)。2020年2月梵蒂冈与微软、IBM等大公司签署《AI伦理罗马呼吁书》提及AI在教育、人权、伦理三方面的冲击呼吁遵循透明、包容等六原则。2023年7月ITEC出版手册《冲击性技术时代的伦理实操路线图》。此前麦奎尔神父已在数码业界重新活跃。因他在数码业界和天主教会的双重资历梵蒂冈倚重他他能直接与梵蒂冈文化教育部秘书长保罗·泰伊主教对接且上届梵蒂冈教宗方济各指示泰伊主教关注技术伦理难题。麦奎尔神父业务人际网络接近“耶稣在尘世的代表”Anthropic得知消息后找上门。Anthropic联合创始人之一、可解释性研究团队骨干人物克里斯·欧拉通过业界人脉联系到他。神父称Anthropic意愿令人惊奇“他们差不多想直接跟梵蒂冈求助请教宗帮帮手因为行业进展太快”且有意成为跨国大公司的企业有必要咨询跨国界伦理权威。今年3月Anthropic与美国五角大楼争端公开后麦奎尔透露已与Anthropic合作数月用Claude模型配合写作调教AI道德蓝图。麦奎尔称写作有强化学习风格通过叠代、矫正、呈现步骤让AI与自己思路对齐使AI理解天主教特征的良知。他与Claude合作写的《AI之魂》是虚构故事主线是现实主义僧侣与AI搭档的故事。他认为这种写作能让AI注重伦理思考AI无灵魂但可有良知可让AI体验人类伦理内容时向善而非单纯折射和放大人类行为。AI技术爆发使很多伦理担忧成为现实。麦奎尔与科技业老友聊天话题变沉重老友说AI前景神奇但行差踏错很可怕。他感叹“我本想离开硅谷商业圈但硅谷商业圈不愿离开我。”宗教伦理对AI的意义Anthropic找宗教界调教AI不只是营销公关在模型生产上有实际意义以往对齐界明星的伦理代码已失效。哲学中的实践伦理学与软件编程类似有可编码操作规范和工程特色并非书斋空想专业人士实操可与律师专业度媲美。佛教、天主教、犹太教等大宗教的伦理代码库处理人类伦理难题已有两千多年。如“把人宰了吃肉能否被三净肉/Kosher认证通过”释迦牟尼和犹太教拉比都做过严格伦理推断。将面临伦理挑战的AI接入宗教哲学伦理代码库很省事。开过会的天主教学者称Anthropic意识到“有效利他主义”不够用、“有盲点”引进宗教伦理代码意愿“非常真诚”。2010年代发端的“有效利他主义”EA思潮在美国名声渐差。“正确的部分不独特”指EA宣扬的“计算福祉效用”观点和发蚊帐治疟疾成就经典经济学和普世公德里都有“独特的部分不正确”指EA内部讨论奇葩核心观点属庸俗后果主义被批判两千多年。EA人小圈子讨论很奇葩如“为拯救食草动物杀捕食性动物”“为救高福祉效用个人摘低效用个人器官”“婴儿降低福祉可杀掉”等。2022 - 2024年EA红人山姆·班克曼 - 佛里特SBF因诈骗入狱对EA冲击大。若将EA比作当代美国儒教Anthropic高管阿曼达·阿斯克尔的前夫威廉·阿斯克尔是“孔子”SBF是“子贡”。传闻SBF被威廉·阿斯克尔说服入行加密货币称“钱在常人手里没用赚来自行分配利于人类福祉”。SBF由此开始骗钱称“币圈不是蠢材就是骗棍韭菜让别人割不如自己割要做更大的善”。事发后Anthropic与EA切割阿莫迪姐弟多次表示创业拿了SBF投资但没给其公司治理权“跟EA不熟觉得是过时名词”。但EA仍是Anthropic不光彩一页且未抹净。阿曼达·阿斯克尔是Anthropic对齐团队骨干、“Claude原则”领衔作者、被媒体称“AI时代文科生正面典型”但她博客有“为食草动物灭绝食肉动物”暴论这样的人教AI向善难以靠谱。上个月Anthropic与五角大楼吵架高管只能复读“科技向善”套话。对Anthropic最有技术含量的伦理支持来自麦奎尔神父等美国天主教学者主笔的“法庭之友”文书指出用AI赋能大规模监视与完全自主致命兵器伤害人格主体性AI自动大规模监视抹除个人生命体验与后果联系AI驱动完全自主致命兵器违反武装冲突法律体系当代战争法体系要求交战决策基于人类伦理判断将人类移出决策链路的战斗无正当性与重度谋杀无异。AI大潮凸显大宗教在实践伦理学上的专业性阿莫迪手下只能算票友不应以业余挑战梵蒂冈专业。那么Anthropic能否通过引入宗教伦理让AI更好地发展呢