为 癌症患者 应对艰难决策做准备是肿瘤医生的工作。然而，他们并不总是记得去做。在宾夕法尼亚大学卫生系统，一种人工智能算法会促使医生谈论患者的治疗和 临终偏好，该算法可以预测死亡的几率。
但它绝非是一劳永逸的工具。根据 2022 年的一项研究，一次常规的技术检查显示，该算法在新冠疫情期间衰退，预测谁会死亡的准确率下降了 7 个百分点。
这可能会产生实际影响。该研究的主要作者、埃默里大学的肿瘤学家拉维·帕里赫（Ravi Parikh）向 KFF 健康新闻透露，该工具数百次未能促使医生与有需要的患者展开重要讨论——这或许能避免不必要的化疗。
他认为，在 疫情 期间，许多旨在强化医疗护理的算法都变弱了，不单单是宾夕法尼亚大学医学中心的那个算法。帕里赫说：“许多机构没有定期监测其产品的性能。”
算法故障是计算机科学家和医生早已认识到的一个困境的一个方面，但这开始让医院管理人员和研究人员感到困惑：人工智能系统需要持续的监测和人员配备来实施并保持其良好运行。
“每个人都觉得人工智能会助力我们获取信息、提升能力以及改善医疗护理等方面，”斯坦福医疗保健公司的首席数据科学家尼加姆·沙阿（Nigam Shah）说。“所有这些都很好，但如果它使医疗成本增加 20%，这可行吗？”
政府官员担心医院缺乏资源来充分测试这些技术。“我到处寻觅，”美国食品药品监督管理局（FDA）局长罗伯特·卡利夫（Robert Califf）在最近一次关于人工智能的机构小组会议上说。“我觉得在美国，没有任何一个医疗系统能够对在临床护理系统中运用的人工智能算法进行验证。”
人工智能在医疗保健领域已得到广泛应用。算法被用于预测患者的死亡或病情恶化风险，给出诊断或分诊患者的建议，记录和总结就诊情况以为医生节省工作，以及批准保险索赔。
要是技术传道者所言不虚，那么这项技术将会无所不在——并且能够带来丰厚利润。投资公司 Bessemer Venture Partners 已经确定了约 20 家专注于医疗保健的人工智能初创公司，它们有望在一年内每家实现 1000 万美元的收入。FDA 已经批准了近千种人工智能产品。
评估这些产品是否有效颇具挑战性。评估它们能否持续有效——或者是否出现了软件方面相当于垫圈破裂或发动机泄漏的问题——则更加棘手。
拿耶鲁医学院近期的星空体育官网登录一项研究来说，该研究对六个“早期预警系统”进行了评估，这些系统会在患者可能迅速恶化时向临床医生发出警报。芝加哥大学的医生、为该研究提供一种算法的一家公司的联合创始人达纳·埃德尔森（Dana Edelson）说，一台超级计算机对数据进行了数天的运算。这个过程成效显著，显示出这六种产品在性能上存在巨大差异。
对于医院和供应商来说，要根据自身需求选择最佳算法并非易事。普通医生身边没有超级计算机，而且也没有针对人工智能的《消费者报告》。
“我们没有标准，”美国医学协会前任主席杰西·埃伦菲尔德（Jesse Ehrenfeld）说。“目前，对于怎样去评估、监测、查看已部署的算法模型（不管有没有启用人工智能）的性能，我没法给您指出任何标准。”
或许在医生办公室里最常见的人工智能产品叫环境文档，这是一种由技术支持的助手，可以倾听并总结患者的就诊情况。今年到目前为止，Rock Health 的投资者已经追踪到有 3.53 亿美元流入这些文档公司。但是，埃伦菲尔德说：“目前还没有比较这些工具输出结果的标准。”
这是个问题，因为哪怕是小错误都可能带来毁灭性后果。斯坦福大学的一个团队尝试使用大型语言模型——像 ChatGPT 这样流行的人工智能工具所基于的技术——来总结患者的病史。他们将结果与医生所写的进行了比较。
斯坦福大学的沙阿表示：“即便在最理想的状况下，这些模型的错误率仍达 35%。”
在医学领域，“当你写总结的时候，要是漏了一个词，比如说‘发烧’——我的意思是，这肯定是个问题，对吧？”
波士顿麻省总医院布莱根个性化医疗项目的技术主管桑迪·阿伦森称，当他的团队测试一款旨在助力遗传顾问查找有关 DNA 变异相关文献的应用程序时，该产品存在“不确定性”——意思是，在短时间内多次询问同一个问题，它给出的结果星空体育官网登录会不一样。
阿伦森对大型语言模型为不堪重负的遗传顾问总结知识的潜力感到兴奋，不过“这项技术有待改进。”
要是指标和标准稀缺，错误还可能由于奇怪的缘由冒出来，那机构该如何是好？得投入大量资源。
沙阿称，在斯坦福，就为了审核两个模型的公平性和可靠性，竟然花了 8 到 10 个月的时间，还投入了 115 个人工时。
接受 KFF 健康新闻采访的专家提出了让人工智能监测人工智能的构想，并且安排一些（人类）数据专家对二者进行监测。
所有人都承认，这会要求组织投入更多的资金——鉴于医院预算的实际状况以及人工智能技术专家的有限供给，这可是个棘手的要求。
“有个愿景倒是不错，我们正在努力融化冰山，好让有个模型能监测他们的模型，”沙阿说道。“但这真的是我期望的吗？咱们还得需要多少人啊？”
