这算人类输了么?“全球首次神经影像‘人机大战’”决赛结果居然这样……
这算人类输了么? AI到底是怎么来判断的?
记者 | 戴丹(整合)
来源 | 中国县域卫生
神经科医生能否战胜人工智能?就在这两天(2018年6月29日-30日),全球首场围绕神经系统疾病影像诊断的“人机大战”在北京国家会议中心展开巅峰对决。
今天(6月30日)下午,经过紧张而激烈的角逐,最终,在A组比赛中:225例判读,一部AI用15分钟准确率达87%,15位医生用30分钟准确率达66%;B组比赛中,10名顶尖医生对战AI,同样完成30道脑血肿扩大预测试题,AI以83% VS 63% 准确率胜出。
这算人类输了么?
1
神经系统AI辅诊应用,强势来袭
6月30日,“AI+医学影像”的一大突破性新科技亮相于中国卒中学会第四届学术年会暨天坛国际脑血管病会议2018(CSA&TISC 2018)。由国家神经系统疾病临床医学研究中心、首都医科大学人脑保护高精尖创新中心和中国卒中学会联合主办的“CHAIN”杯全球首场神经影像人工智能人机大赛全球总决赛正式点燃战火!
在这次大赛中首次于公众正式亮相的神经影像AI辅助诊断系统——“BioMind天医智”由全球首家神经疾病AI研究中心和首都医科大学人脑保护高精尖创新中心共同研发完成,也是目前全球首款头部疾病(涵盖脑肿瘤、小血管病变、大血管病变和卒中等)MRI、CT影像AI辅助诊断的整体应用产品。
据悉,近半年来通过对首都医科大学附属北京天坛医院近十年来接诊的数万余神经系统相关疾病病例影像的系统学习,“BioMind天医智”在脑膜瘤、胶质瘤等常见病领域的磁共振影像诊断准确率已达90%以上,相当于一个高级职称医师级别水平,实力不容小觑。
与其对应,此次出场应战的“人类战队”,则由25名全球神经影像领域顶尖专家、学者和优秀临床医生组成,他们中不乏拥有几十年临床工作积累的影像学“大咖”,以及有志于AI系统研究的青年科技人才。经前期招募、预赛及定向邀请,6月30日,他们代表人类神经系统影像诊断研究领域最高水平与“BioMind天医智”决一胜负。
2
切磋技艺,体验人工智能魅力
在赛前,不少专家对比赛结果都给出了自己的预测。中山大学附属第三医院神经内科主任医师、博士生导师胡学强教授表示,在判断的准确率和速度上,人类可能还不是AI的对手。
作为本次决赛的评委之一,中国医师协会神经内科医师分会会长、重庆医科大学神经科学中心主任和国家973项目首席科学家谢鹏教授表示:“对已有知识的诊断来说,从大数据深度学习的概率看,AI获胜的几率要大的多,它应是了然于胸的。但在一些新的、特定的、目前医学界也还没有没有太多共识的疾病领域,AI可能还‘搞’不过人类。即使是AI全胜的围棋比赛中,一场下来几十手的交战中,我从不认为人类的每一步棋都是输给计算机的,有些地方,人类比计算机的思路更精妙。”
国家神经系统疾病临床研究中心大数据中心主任李昊也表示,从目前训练情况来看,AI完胜人类的可能性非常大,如果结果确实如此,说明在现阶段,AI学习成绩是充分可靠的,下一步要思考的问题,是如何让它覆盖神经系统更全面的疾病种类。当然,也完全存在个别非常有经验的医生打败AI的可能,这提示AI目前学习的样本量还不够大,没有标注出所有的情况,更需要专家帮忙完善。
“我个人并不是很在意这场比赛谁输谁赢。”首都医科大学附属北京天坛医院常务副院长王拥军表示,本次神经影像人工智能人机大赛并非意在挑起人类医生和AI的战火,反而希望通过专业技术的切磋,让医生和AI对彼此有更深层次的理解,为未来临床医学诊断中成为‘默契CP’打下基础。希望能通过这个比赛,使医生们都能体验到AI的魅力,特别是让部分对AI抱有怀疑态度的医生,进一步对AI进行了解,消除恐惧。此外,希望让大家看到,AI可完成一些仅凭人类很难达到的水平,如准确预测脑出血和血肿的扩大,今后能更好地利用AI实现诊疗水平的创新和提升。”
3
“神经影像人工智能人机大赛”赛制介绍
此次大赛分A、B组进行,A组内容包括:颅内肿瘤CT、MRI(核磁)影像判读;脑血管疾病CT、MRI影像判读及血肿预测;B组脑血管病(狭窄、微出血、梗死、脑白质病变、腔隙灶、血肿)病灶标识,出血体积及梗死体积测量。
A组于6月30日下午14:05率先开场。15名“人类战队”成员(全国线上预赛产生的优胜者6名、国内神经疾病排名前列的专家7名+国外知名医院专家2名)组团应战“BioMind天医智”。本组比赛试题共225题,人类选手每人回答15题,“BioMind天医智”回答225题,最终以人类选手整体成绩 VS “BioMind天医智”成绩。
B组比赛于15:00接续进行。此次对阵BioMind天医智”的为10名人类神经影像领域“大咖”(国内神经疾病排名前列医院专家8名+知名医院的专家2名)。B组比赛中,每名人类选手都与“BioMind天医智”一样,完成30道题的挑战,最终将以人类选手整体成绩 VS “BioMind天医智”成绩。
A组试题为首都医科大学附属北京天坛医院神经影像学中心主任高培毅教授从天坛医院脑肿瘤病例库中随机挑选,B组为首都医科大学附属北京天坛医院常务副院长王拥军教授从国家神经系统疾病临床医学研究中心脑出血病例库随机挑选,两组试题均非AI训练试题,为保证试题的保密性,北京市长安公证处的公证人员为试题挑选、封存进行了公证。
赛前,公证人员正式为试题解封,并交付本次决赛评审专家,进行最终题目抽取。据了解,由于本次比赛使用的病例均为首都医科大学附属北京天坛医院病例库中回顾性病例,因此,最终评判结果以医院最终病理结果为准。为保证准确性,选手开始答题后,评委对试题结果进行二次审核。
除正式比赛外,为了让更多现场参会人员参与到决赛中来,本次总决赛还特别设置AI体验赛环节,6月29日全天分为五个时段(上午10点、11点,下午1:30、2:30、3:30,)在国家会议中心1层,天坛会展区015-023展位,设置主题为脑血管病(狭窄、微出血、脑梗死、脑白质病变、腔缝灶、血肿)等领域的对战活动。
4
各方点评比赛结果
在比赛过程中,现场观众可以看到,AI战队3分钟就出诊断结果,人类专家组经过长时间诊断后终于进入几种会诊讨论环节。
希望人类赢的,在祈祷;希望AI机器人赢的,在等待。
最后,比赛结果终于公布:从准确率上说,A组,人类专家组66% VS AI战队87%;B组,人类专家组63% VS AI战队83%。
这算人类输了么? AI到底是怎么来判断的?
现场专家点评归总如下:
一是人机水平相差不大,都没有达到90%,无论是在肿瘤判断还是常规积血判断方面都有比较大的上升空间;
二是未来AI机器人会有更大的进步,但是短时间内代替不了医生;
三是期待AI机器人在医疗领域有更大的发展,解决重复性工作,让医生有更多精力进行创造力工作。
你怎么看?你是怎么想的,欢迎留言!
——大家都在看——
报名参会,请点击“阅读原文”!