新数据显示韩国自杀率走高，可解释性AI在自杀预测上有何进展？

10月4日，韩国统计厅发布的一组数据显示，2023年韩国死亡人数同比减少5.5%，为35.2511万人，但自杀死亡人口同比增加8.3%，为1.3978万人；自杀率上升8.5%，为每10万人中27.3人。

经过韩国今年的数据修正，2023年也是韩国人均GDP历史上首次正式超过日本的年份。经济水平提高并没有增加普通韩国人的获得感，老年心理贫困和青少年心理问题依然突出。

作为亚洲自杀率最高的国家，这组新数据让我们将目光重新转向自杀这个研究领域。虽然世界卫生组织自2020年后还未公布各个国家新的自杀率数据排行，但其8月29日的一篇公告文章显示，全球每年有72.6万人自杀身亡，还有更多人自杀未遂。

2024年排名

2021年排名

而2022 年进行的一项综合研究表明， 1990 年至 2024 年期间全球年龄标准化自杀率将下降三分之一。2016 年，自杀率约为每 10万名男性中有 14 人死亡，每 10万名女性中有 6 人死亡。

在研究期间，女性的自杀率下降幅度比男性更大，这强调了需要采取有针对性的干预措施来解决性别特有的心理健康挑战。

无论是从人口学、公共健康还是文化上看，自杀都是一个严重的公共问题，但在过去，针对自杀的研究始终比较局限，许多国家都将其放置在精神科和心理疾病的范畴进行讨论，在中国亦然。

《中国卫生健康统计年鉴》会在不同的年份进行抽样调查，但这些数据并没有和经济数据一样时常更新，更是造成了自杀研究的不透明和不充分。

中国的自杀数据来源很多机遇精神卫生中心和心理疾病防控机构

1897年，埃米尔·涂尔干发表了著作《自杀论》，将自杀这一现象放置在社会结构的背景下进行研究。这部里程碑式的作品不仅展现了深入且颠覆认知的研究结论，也开创了社会科学的新研究方法。

《自杀论》在历史和民族志的研究之外引入了大量统计数据，在那个数据获取并不容易的年代，这种方式识别出了一些影响自杀率的新因素——社会整合度。

社会整合度用以衡量个人与其所属社会群体之间的联系强度。高度整合意味着个人深深嵌入社会网络中，而低度整合则表示个人与社会的联系较弱。这种分析框架昭示了自杀并不是一个仅仅局限于心理因素的个人选择，而依赖于其生存的社会结构，并给出了许多反直觉的重要发现，比如和平时期自杀率高于战争时期等等。

基于实证研究的传统，数据成为了自杀研究作为公共议题的催化剂。但是，国家预防自杀的解决方案大多依赖于“自我报告”的措施，例如问卷调查和访谈，这些措施相对主观，而且不易收集。此外，传统的临床风险评估工具也不足以准确识别具有中度和高度自杀风险的个体。

在一个多世纪后的今天，随着人工智能和机器学习技术的发展，自杀研究迎来了一些新的工具和方法。这种趋势主要开始于十年前，一些研究者利用机器学习技术来预测自杀。例如采用C-Attention Network架构和多个机器学习模型相结合，识别自杀风险，还有通过智能硬件（比如手机App）来收集用户的治疗数据，并通过NLP技术评估调研参与者的自杀风险水平。

这些方案都有一定效果，但由于大多数AI模型的“黑盒”属性，以及鉴于数据集在公共卫生相关研究中的有限。这项技术并不能为精神科医生或临床医生真正使用。

在评估了逻辑回归、决策树、随机森林、支持向量机、感知机和XGBoost等多种机器学习模型后，研究者发现随机森林模型表现最为出色，在准确率、F1分数和AUC等多项指标上均达到了97%以上的水平。

这一突破性成果得益于几个关键因素。一是使用了数据增强技术来扩充原始数据集。他们采用了条件生成对抗网络(CTGAN)和SMOTENC算法来生成合成数据,从而将训练集扩充到10,000个样本。这种做法有效缓解了医疗数据集常见的样本量不足和类别不平衡问题。

其次,研究者们采用了交叉验证等技术来评估模型性能,并通过重复实验来确保结果的稳定性。这种方法极大地提高了研究结果的可靠性。

一、数据集选择          

研究者最终确定了一个Github存储库中的匿名数据集。该数据集包含1000条记录，来自一个英国的开发项目，数据基于斯里兰卡科伦坡南教学医院。原始数据集包含22个变量，且数据分布较为平衡，参与者的年龄范围从10岁到98岁。

更重要的是，该数据集基本捕获了参与者一生中关于自杀的不同阶段，包括企图、想法诞生、自残行为实施等方面，并提供了多个职业、婚姻、教育水平等社会人口统计特征的分类变量数值。

二、数据增强          

CTGAN是一种基于生成对抗网络（GAN）的方法，它能够生成与原始数据分布相似的合成数据。CTGAN通过训练一个生成器网络来模拟原始数据的分布，并使用一个判别器网络来评估生成的数据是否与真实数据无法区分。这种方法允许在保持原始数据特征的基础上，生成新的数据实例，从而扩充数据集。

而SMOTENC（Synthetic Minority Over-sampling Technique for Numerical and Categorical data）是一种专门用于处理既有数值型又有分类型特征的数据集的过采样方法。它通过在原始数据的基础上创建合成样本来平衡类别分布，从而增加少数类的样本数量。这种方法有助于提高模型对少数类的识别能力，尤其是在数据不平衡的情况下。

最终，SMOTENC算法将训练集扩充到了10000个样本。这种方法有效解决样本量不足和类别不平衡的问题。研究者表示，实施数据增强的主要目标是减轻过度拟合并提高对测试集的泛化能力。但是，数据集过大也可能会导致模型准确率降低。10000个样本量是一个可以基本达到平衡的数值。

三、模型应用          

在数据集准备和增强之后，实验比较了多种机器学习模型在预测自杀风险的结果，包括随机森林、支持向量机、决策树、感知机和XGBoost等。

为了提高模型的可解释性，研究者还使用了SHAP（SHapley Additive exPlanations）框架来解释模型的预测结果。SHAP值的计算揭示了每个特征对模型预测的具体贡献，如愤怒情绪、睡眠问题、社会孤立、羞辱经历、过去的自杀企图、精神障碍等。

这个分析使得研究者能够理解哪些因素对自杀风险的预测最为关键，不仅能够提高模型的预测准确性，还能够为临床决策提供可解释的见解。

四、研究结论          

该实验最终重复了100次，发现随机森林在预测上表现最佳，且数据增强技术显著提高了模型性能。

结果表明，愤怒是自杀风险的最重要预测因素，排在第二位的才是心理健康问题，而睡眠问题、自残等行为只有在达到一定程度时才会显著增加自杀率。

同时，过去的自杀企图和精神病住院治疗是检测死于自杀个体的重要因素。一些非线性模型，如XGBoost，具有很强的预测精度。但它们的特性也使得它们的可解释性不如线性模型，这阻碍了它们在实际临床诊断中进行推广。

实验还发现，高收入、受人尊敬的职业、高等教育水平导向较低的自杀风险。年龄在该研究中并未显示出突出的预测力。

可以说，机器学习模型最终给出了一个同样反直觉的分析。通过愤怒这个答案，我们可以拓宽对于自杀率升高的分析想象边界。这种依赖于AI的方法论展现出了远超于传统防范的准确性和防御能力。

类似的研究在欧美地区还有很多，比如有美国学者和印度健康服务部门合作，通过获得2017-2021年电子健康记录数据，开发了一个针对美国印第安原住民人群的自杀风险预测模型。

这项研究甚至得出了和以上研究类似的结论，使用SHAP(SHapley Additive exPlanations)值分析特征很有效，并且随机森林模型在预测90天内自杀未遂或死亡方面表现突出，显著优于现有的其它筛查方法。

但在关键预测因素上，酗酒和年龄都起到了更为关键的作用。

这些差异也验证了数据集涵盖人群特性的有限。在社会学家的眼中，数据从来不是中立的，而是天然带着偏见的。

因此，这些先进的模型转化为切实有效的预测工具仍然面临着众多挑战。首先是数据质量，研究中使用的数据依然来源于“自我报告”，一些患者可能出于各种各样的原因并不愿如实回答问题，特别是涉及到自杀等敏感话题时。

其次是模型的泛化能力。当前的研究主要基于特定人群的数据，模型在其他人群的表现如何还有待验证，涉及到跨文化、跨地域的大规模验证研究将是未来的潜力领域。

最终是伦理问题。众所周知，医疗行业是伦理框架应用最早也最全面的行业，虽然这项研究已获得皇家珀斯医院人类研究伦理委员会的批准(批准号 RGS 4360)，但也是因为本研究未处理任何个人数据，使用的是公开的匿名数据集。而在实际的临床医疗和公共卫生监管中，保护患者隐私仍是一个需要认真考虑的合规重点。

事实上，在自杀问题的分析上，一直以来的伦理困境是预测自杀也许可以拯救生命，但高自杀风险“标签”会对当事人产生心理的负面影响，并且要让非技术背景的临床医生信赖AI的可解释性依然存在现实和监管上的难点。

结语

人工智能为我们提供了前所未有的工具来处理海量数据、识别复杂模式。

但自杀首先是一个社会问题，而非技术问题。百年以前，涂尔干的伟大之处在于他不仅仅关注个体层面的因素，更将自杀置于更广阔的社会背景中考察。在AI时代，我们同样需要这种宏观的社会学视角。

在写作这篇文章时，中文文献的有限性也令人惊讶。知网等网站中，关于AI应用于自杀研究的论文数量非常少，和国外的文献相比，这一部分的空缺极大。在全球的尺度下，中国的自杀率并不算高，但关注自杀问题有利于更深入地了解我们身处社会的遗憾、困惑和迷惘，也更有利于我们更珍视周遭具体的人。

未来的自杀预防工作，可能需要将AI的预测能力与深入的社会学分析相结合。同时,我们也需要警惕技术决定论的陷阱：