贝里沙说 ， 这方面问题已经导致AI医疗研究的某些领域出现了令人担忧和震惊的行为 。 研究人员曾经尝试利用算法 ， 基于语音来发现阿茨海默症或认知障碍的迹象 。 贝里沙和他的同事们发现 ， 数据规模较大的研究报告准确性比规模较小的要差 ， 这与大数据技术的理论相反 。 除此之外 ， 一项根据医学扫描影像识别大脑疾病的研究 ， 以及另一项试图用机器学习检测自闭症的研究 ， 都得出了类似的结果 。
算法在初步研究中效果良好 ， 但在真实患者数据上表现很差 ， 这造成了切切实实的问题 。 2019年的一项研究发现 ， 一个用于数百万患者的系统原本希望让患复杂健康问题的人优先获得额外的医疗机会 ， 但最终却将白人患者置于黑人之前 。
要避免像这样的有偏见系统 ， 需要大量、平衡的数据集和谨慎的测试 ， 但由于过往和目前不同人群医疗水平的不平等 ， 数据集总是会有扭曲 ， 从而影响AI医学的研究质量 。 斯坦福大学研究人员2020年发现 ， 在所有将深度学习技术应用于美国全国医学数据的研究中 ， 使用的数据有71%来自加利福尼亚州、马萨诸塞州和纽约州 ， 其他47个州的数据很少或几乎没有 。 低收入地区在AI医疗研究中几乎没有话语权 。 去年发表的一篇论文对150多项用机器学习来预测诊断或病程的研究进行了梳理 ， 结论是大多数研究“显示出糟糕的方法学 ， 存在很高的偏见风险” 。
两名关注这些缺点的研究人员最近发起了一个名为“南丁格尔开放科学”(Nightingale Open Science)的非营利性组织 ， 试图提高研究人员可获得的数据集的质量和规模 。 它与卫生系统合作 ， 从患者记录中收集医学图像和相关数据 ， 将其匿名化 ， 随后提供给非营利性研究 。
南丁格尔开放科学的联合创始人、加州大学伯克利分校副教授齐亚德·奥伯迈尔(Ziad Obermeyer)希望 ， 让更多研究者可以访问这些数据将鼓励竞争 ， 从而带来更好的结果 ， 就像大量开放的图像数据集最终刺激了机器学习的进步一样 。 他说：“问题核心是 ， 研究人员可以利用这些健康数据去做自己想要的研究 。 ”
其他一些项目也试图通过优化数据质量 ， 来改善AI医疗的水平 。 例如 ， 拉库纳基金(Lacuna Fund)尝试推动在中低收入国家建立数据集 ， 将其应用于机器学习 ， 从而优化AI医疗水平 。 英国伯明翰大学医院在英国国家医疗服务体系(National Health Service)和麻省理工学院的支持下 ， 正在启动一个新项目 ， 制定标准去评估人工智能系统是否以公平、无偏见的数据为基础 。
作为英国疫情算法报告的编辑 ， 马丁是此类人工智能项目的粉丝 ， 但他认为 ， 人工智能在医疗行业的应用前景将取决于医疗系统能否对其陈旧的IT基础设施进行现代化改造 。 马丁说：“你必须在问题的根源上进行投资 ， 才能得到好的结果 。 ”