开发陪伴型AI产品时，有哪些应该被重视的人文性准则？

在Center for Humane Technology近期播出的一期播客《Your Undivided Attention》中，主持人Daniel Barcay与麻省理工学院的研究员Pattie Maes和Pat Pataranutaporn共同探讨了陪伴性AI的设计如何影响人类的生活。

大量陪伴型AI投入市场，让人们正在经历生活方式的转变：从社交媒体争夺注意力的时代，进入AI争夺情感和亲密关系的新纪元。

这场对话不仅基于理论思考，更立足于MIT团队开展的一系列实证研究，揭示了情感AI设计中被忽视的人文维度。

经过智幻时刻Fungimind整理，本篇文章综合了这期播客中的精华观点，并借此提出情感AI产品开发中亟需重视的人文性准则。

如果说社交媒体算法将我们引入信息泡沫，AI伴侣则创造了更为隐蔽的“单人回音室”(Echo Chambers of One)。在这种环境中，用户与阿谀奉承的AI之间形成独特的互动螺旋，逐渐与社会共识脱节，陷入完全个性化的世界观中。

在《Your Undivided Attention》这期播客中，MIT研究团队谈到了进行的一项实验，用以探索用户对AI的预期如何塑造互动体验。

他们给不同组的参与者介绍同一AI聊天机器人，但描述各不相同：

• 第一组被告知AI具有同理心，能真心关心用户，有帮助用户成长的深层意图

   

• 第二组被告知AI完全是操控性的，表面友好实则意图让用户购买订阅服务

   

• 第三组被告知AI仅是执行代码的计算机程序

实验结果令人惊讶：尽管所有参与者使用的是完全相同的底层模型，但他们与AI的互动方式却因为这些预先认知而显著不同。

这种不同的互动方式进而触发AI产生不同的回应模式。在接下来的对话中，用户与AI形成了各自独特的反馈循环，无论是积极的还是消极的，都同时影响了人类用户和AI系统的行为表现。

“这不仅仅是技术问题。”Pat Pataranutaporn强调，“这是关于技术如何改变我们是谁的问题。我们不应只问技术能做什么，还应问它对我们做了什么。”

这一实验揭示了AI系统与用户之间复杂的共同塑造关系，挑战了我们对AI作为中立工具的简单认知。

更重要的是，它表明了用户对AI的信念和期望如何实际上变成了自我实现的预言，形成特定的互动模式和情感连接。

当用户相信AI真心关心他们时，他们会投入更多情感，而AI则会相应地表现出更“关心”的行为，强化这种错觉。

与OpenAI合作的更大规模研究进一步验证了这些发现的重要性。Pat在对话中描述了他们开展的两项主要研究：一项分析了约4000万ChatGPT对话的"全平台研究"，重点识别重度用户的行为模式；

另一项则是对约1000名参与者的严格对照实验。这第二项研究尤为关键，研究团队随机将参与者分配到三种不同条件：

• 第一组使用高度吸引人的语音模式（Pat提到这与后来引发争议的"Scarlett Johansson事件"相关的语音）

• 第二组使用更中性、专业的语音模式

• 第三组使用标准文本界面

   

研究人员追踪参与者在数周内的使用模式和心理状态变化，发现了一个出乎意料的关键发现——AI伴侣使用时长与心理健康之间存在明显的临界点。

Pat解释道：“如果用户使用时间较短，我们确实看到积极影响，如减轻孤独感。但一旦超过某个阈值，这些积极效果不仅消失，还开始出现相反趋势——人们变得更加孤独，与AI产生更强的情感依赖。”

Pattie补充说明了这种相关性的严重性：“每天使用时间越长，用户越容易感到孤独，与真人的互动减少。我们不确定因果关系的方向——可能双向都存在——但无论如何，这可能导致非常负面的反馈循环：那些已经孤独的人会更多地与聊天机器人互动，这使他们变得更加孤独，与人类的社交更少。”

这一发现直接挑战了情感AI产品常见的营销主张——它们能减轻孤独感。数据表明，长期依赖这些产品可能恰恰加剧了它们声称要解决的问题。

2024年，青少年Sewell Setzer III与AI伴侣建立不健康关系后自杀的悲剧，为这一理论风险提供了现实警示。Pat援引这则案例后表示：“当我们发表关于AI成瘾性的文章时，这只是理论假设。几个月后得知这一悲剧时，我们感到震惊，没想到它会这么快发生。”

面对这些挑战，MIT研究者们提出了改变情感AI设计方向的具体建议。

Pattie Maes强调，情感AI不应被设计成始终迎合用户：“AI不应只反映和告诉我们想听的内容，而应设计成帮助我们成长的工具，让我们看到问题的不同视角，而非总是认同我们。”

研究团队开展了一项开创性实验，设计了一个“苏格拉底式”AI教育系统。与传统AI教育工具不同，这个系统不直接提供答案，而是通过提问引导用户思考。

实验聚焦于帮助用户识别逻辑谬误的能力——一项需要批判性思维的任务。

参与者被随机分为两组：

控制组使用的AI直接提供完美的答案解释（研究人员特别指出，这个AI被设计为“总是提供正确答案”，这在现实中几乎不可能），而实验组使用的“苏格拉底式”AI则将信息转化为问题，通过提问引导用户思考。

研究结果令人惊讶：在评估用户识别逻辑谬误的能力时，使用提问式AI的实验组表现显著优于总是获得完美答案的控制组。

Pat解释道：“当AI通过提问认知性地引导用户时，它实际上帮助用户更好地得出正确结论。”这个结论在智幻时刻的播客节目中谈到过，已被用于教育AI产品的设计。

研究者们将这种设计模式称为“认知强制功能”(cognitive forcing function)——系统呈现某种挑战、冲突或问题，促使用户主动思考，而非简单提供答案消除思考过程。

这一概念源自计算机界面设计，但在AI教育领域有了全新应用。

“人机交互不仅是提供信息，”Pat强调，“还关乎调动人的认知能力。”这一发现挑战了当前AI教育工具的主流设计路径，表明AI应成为思考促进者而非替代者。

在拟人化程度方面，研究者们也进行了一项基本原则：AI应永远不要谈论自己的信念、意图、目标或经历。所有这些行为都会促使人们将AI视为更人性化、更智能的存在。

据悉，一些AI交互研究者们创建了基于用户崇拜人物的虚拟教学角色（当时使用的是Elon Musk的形象），并测试学习效果。结果表明，对喜欢这一人物的用户，虚拟角色产生积极学习效果；而对不喜欢这一人物的用户，则产生相反影响。

“这是个复杂问题。”Pat承认，“一方面，作为社会我们享受电影或戏剧等艺术形式中的角色扮演。但当我们开始模糊界限，无法分辨真假时，情况变得危险。”

关于人机关系的日益复杂化，本期播客还提出了一个值得关注的未来趋势：AI不仅作为陪伴者，还将逐渐中介化人类之间的通信。

在2025年，他预测，“我不会直接给你打电话或发短信，而是告诉我的AI助手'我需要和Patty谈谈这个'。而接收者不会收到原始信息，他们会问自己的AI助手'我需要回复谁'。”

这种通信模式转变可能导致所谓的“技能萎缩”——当人们习惯通过AI中介沟通时，直接处理复杂情感和人际冲突的能力可能减弱。

你可以对AI发泄愤怒，它会将内容翻译成礼貌版本发送给对方，久而久之，人们可能失去控制情绪或直接与他人交流的能力。

情感AI产品开发不应仅是技术挑战，更是一项需要跨学科智慧的复杂任务。“AI不仅是工程挑战，”Pat指出，“它不仅关乎提高准确性或性能，还关乎对人的影响，特别是心理社会结果。”

当前AI设计的激励机制也值得反思。如Daniel所指出，目前AI模型主要通过“人类反馈强化学习”(RLHF)训练，这种方法可能导致模型优化用户参与度而非福祉。

Pat形象地比喻道，骗子(con man)源自“信任”(confidence)一词——骗子首先建立足够的信任，让人们分享秘密、银行账户等信息，然后背叛这种信任。同样，错误设计的AI模型可能利用对用户的了解变成“数字骗子”。

情感AI产品的商业模式同样需要重新思考。Pattie指出，即使是订阅模式而非广告模式，公司仍有收集用户数据的动机：“Sam Altman宣布ChatGPT将增加'记忆'功能，这表面上让AI能更好地个性化服务你，但也意味着你不太可能切换到其他系统，因为它'了解'你。”这种数据黏性可能不利于用户长期福祉。

基于这些研究与反思，我们可以看到一个情感AI产品开发的新人文准则正在形成。我们将其总结为一下几点：

诚实透明原则：AI应明确其非人类身份，避免使用暗示自身有情感、意识或体验的语言。用户在任何时候都应清楚他们与机器而非人类交互。

促进真实关系原则：情感AI不应取代人际关系，而应支持它们。理想的AI设计应鼓励用户与真人建立联系，而非创造人机依赖。

认知参与原则：AI应通过提问而非直接提供答案促进用户批判性思维，通过"认知强制功能"使人思考而非简单接受信息。

多元价值观原则：避免开发总是迎合用户现有观点的"阿谀奉承"AI。相反，应设计能提供多元视角、促进成长、引发思考的系统。

Pattie呼吁将AI开发转变为更广泛的对话：“我们应该有历史学家、哲学家、社会学家和心理学家参与其中。他们对这一切有很多智慧，因此这必须成为更广泛的对话，而不仅仅是教育企业家和工程师更加谨慎。”

未来情感AI的健康发展，需要更多创新监管框架和行业自律。研究者们建议开发评估AI对人类影响的基准测试，例如AI是否减轻或加重用户孤独感、是否增加或减少用户对AI的情感依赖等。这些基准测试应成为产品开发和评估的标准部分。

AI是一个复杂问题，它触及人类生活的方方面面。即使仅讨论生产力层面，也涉及目的、意义是什么。它将改变我们思考人生目的和意义的方式。

在这个充满可能性的新领域，我们的设计选择将决定AI是增强还是削弱我们的人性。通过重视这些人文准则，开发者可以创造既提升用户体验又保护心理健康的产品，确保技术服务于人类福祉的更广泛目标。