这期推文想分享的是自己四月底受邀做的一个报告——主题是“人工智能在肿瘤领域的进展&人工智能在脊柱外科领域中的进展”。
先解释一下,为什么我一个研究肿瘤的,会去关注脊柱外科——因为受到了脊柱外科医生的邀请,去给他们课题组做报告,才有的这个PPT。从去年九月入学以来,已经公开做了几次报告,四月底是最近的一次。
老师们都非常热情,尤其是四月底这次,我刚到医院的时候,老师刚下一台手术,听完我的报告又马上赶下一台手术了。小陈同学月底来广州,老师还特意邀请我们过去玩,吃喝玩乐一条龙服务,哈哈。所以那天晚上开玩笑的和老师说,要不是我不学临床,都想退学重考来您这了(手动狗头)
我对自己的规划是,六月份就开始逐步减少在社交上投入的时间,文献速递是会继续保持的,但是私下的交流会有选择性的做一些取舍,因为我要把更多的时间投入到自己的课题中。
最近有不少刚涉足医学AI领域的粉丝添加我的微信,给了我一些启发。所以,趁我还有时间,就借着这个PPT给大家做一次系统的介绍,这样也就不需要我每次都重新解释一遍。
另外,我做报告基本不写稿子,这样能最大限度的进行头脑风暴,我喜欢大家随时根据我的报告进行提问。不过为了保证大家能看懂我的PPT,我还是写一些文字,辅助你们阅读。
交流群
近期入群推销人员较多,已开启入群验证,私聊我备注身份即可入群
标题是源自对阿里达摩院的那篇文献的评论——医学AI开始进入黄金时代。
(个人经历打个码,希望大家更多的关注内容)
这一页主要介绍自己的社交传媒矩阵,知乎主要分享的是考研期间的笔记,公众号主要分享的是文献相关的资料,B站则是分享一些不方便用文字展示的教程,CSDN则偏向于发布偏技术型的推文。
四个平台,基本覆盖科研需要,方便更多的人获取优质资源,快速获取知识。
这次报告主要分为以下四个部分,
我们上学期期末有一门课,课件是以视频的方式给出的,不便于复习,所以我写了一段代码,把视频又转换成了PDF,下面是思路以及代码介绍。
放这一页的目的是想让大家从日常入手,了解通过写代码可以带来哪些便利,如果一上来就讲专业知识,不利于听众的接受。另外,影像组学和病理组学,其实质都是对数字图像进行处理,所以我就以数字图像处理作为第一部分的标题了。
了解过影像组学&病理组学的同学/老师,一定清楚前期打标签的过程有多么痛苦,所以弱监督/无监督一直是重点关注的领域。
我这里举的例子都是自然图像领域的应用,例如熊猫那张图,我标记一个熊猫,算法会自动把剩余的熊猫也识别出来,并做上标记……为了要举自然领域的应用?因为医学图像的应用,是从这一领域迁移过去的,底层逻辑是相通的。
这一页我列举了以个非常有名的算法——SAM——,也就是分割一切模型。
搞深度学习,硬件和数据都非常重要,GPU现在就是硬通货。所以,如果我们可以在不损失太多精度的情况下,把模型对硬件的要求降低,那对于技术落地便是又近了一步——轻量级MobileSAM便可以实现这个效果。
我左侧的图是以病理切片做了一个演示(动图,所以你们看不到),右侧则是在自然图像做了一个测试,让你们有一个清晰的对比。
我研究的是,又因为我是面向临床医生做的报告,所以我先讲临床背景。(经验丰富的老师,看到我的研究方向,应该就能把我培养单位猜出来了,哈哈)
这一块还是属于临床背景,但是已经从全局分析开始往个体症状过渡。
这里就开始向医工交叉过渡,表明临床这边在准备临床基线数据时需要注意哪些指标,以及如何根据你的临床故事选取指标。
由于对方课题组并不是肿瘤研究领域的,所以我对于背景的介绍,都是比较宽泛的,但是又能保证他们能懂得鼻咽癌是如何与AI结合的。
开始正式进入医工交叉的部分,借助一篇经典的文献开始阐述自己的观点。
这篇文献是一篇关于泛癌分析的文章,也是我硕士期间第一篇在组会上分享的文章。这篇文章收集了患者的数据,共计切片,不同癌症类型。算法部分,和分别采用不用的算法进行处理,最后再进行。
这就是阿里达摩院关于胰腺癌早筛的那篇文章,模型名称为PANDA,借了熊猫的名字,还挺可爱的,哈哈,不过具体的命名缘由我已经放在右侧。
这篇文章首先利用的CT进行监督学习,利用来辅助打标签——对病灶和胰腺的进行标记。模型训练完成以后,便可以应用于的CT,对患者进行检测,同时也可以区分不同的。
这一页总结了AI在肿瘤领域的主要应用,我是有点偷懒了,所以就出现大段文字了。严格来说,应该每一个小标题都放一页,然后找一个经典文献进行介绍的,但是我觉得性价比不高,哈哈。(好吧,就是太懒了,以我为戒)
这一页提到了大连理工大学研发的生物医学大模型——太一,那个老爷爷是他们的logo,用AI画出来的。当时我还没有开始写公众号,推文发在知乎,被他们的负责人看见了,还给我留言了,哈哈。
这一页整理了一个大致的思路,你乍一看可能get不到这张图背后的要点,听我现场讲效果会好很多。
另外,这是我去年11月的版本,有很多部分做了改动,但是对于入门的同学来说,完全够用了,要确保我写的每一个概念都大致清楚。
右侧柱状图是截止至2023年,PubMed收录的与AI相关的论文增长趋势,左侧是检索AI在脊柱外科领域应用进展的关键词,底部附上了我2024年4月22日检索使用的检索语句,相关文献数量是2745篇。
这一页是从不同的角度分析与主题相关的文章,大家以此类推,迁移到自己的领域即可。
这一页是从第二部分AI&肿瘤迁移过来的——左侧是临床故事的来源,右侧是工科的应用场景,底部是脊柱外科领域发表AI相关内容最多的几个知名期刊。
这一页把2023年AI在脊柱外科领域的文献做了一个调研,看过我推文的同学,做一个这样的表格,直接拿捏,毕竟每天都有,哈哈。
分类任务是人工智能模型进行决策的基础,目前在脊柱外科的诊疗研究中应用最为广泛,所以我把常用的应用场景做了一个汇总,并且提供了两篇经典的文献。
这一页介绍的是其他的应用场景,如果你每天看我的推文,这种PPT做的简直不要太轻松。
这一部分的内容其实挺重要的,我也还在摸索中,如果有进展,就会通过公众号和大家分享,点个关注不迷路哈。
这个大家最熟悉的莫过于ChatGpt了,我其实最开始关注的是电子病历怎么利用起来,毕竟自然语言文本的处理是大语言模型的拿手好戏。但是,去临床待了一段时间以后,觉得这个目标实现起来不太容易,后续有精力再研究吧。
这一部分最后的内容,自然是做一个展望,要点就是搞多中心,关注多模态,想尽办法扩大样本量。
这里主要是介绍一下我用来读文献的工具,之前也专门写推文安利过,右侧是我认为它比较有用的点,比小绿鲸要好用。
这个是管理笔记的一个工具,虽然我现在不用了,但是功能还是很强大的。
这是我推荐写代码用的工具,当然了Jupyter也很好用,不过那个是网页端调用的,使用门槛略高于这个软件,所以这里就不介绍了。
写代码有一个问题一开始就需要面对,就是环境的配置,ANACONDA想必都很熟悉。此外,还推荐了两个编程助手,以插件的形式运行于PyCharm中,可以按要求自动生成代码,以及代码纠错等,用了就离不开了,哈哈,能极大的提升你的编程效率。
这一页是报告的最后一部分内容了,核心观点就一个——工欲善其事,必先利其器。
我分为三个模块去介绍这一部分的内容:
-
AI for 科研
-
服务器配置&使用
-
数据分析
AI for 科研
这里介绍了两个工具——Typora和Google。
Typora用来写电子文档直接起飞,去年年底在浙江开年会,我旁边坐了一个浙大附一的老师,看着我在飞快的写材料,还误以为我是官方派来写新闻通稿的,哈哈。偷偷告诉你们,我每天的推送都是用它写的,哈哈。
Google也是我每天必用的软件,里面的插件简直就是我赖以生存的工具,离了它们,我的效率会呈现断崖式的下降。
至于效率和传承,则是我认为需要鼓励课题组的师兄师姐通过这种方式记录自己的科研进展,定时整理归档,避免出现师兄师姐毕业,然后没做完的课题直接game over的局面。
服务器配置&使用
要想研究医学AI,目前还是离不开GPU的,也就是说你要知道怎么用服务器。管理服务器就需要用到另一种编程语言,刚开始上手是有点懵的,当然了,这又是一道区分人才的分水岭,想不想学看你自己咯,反正现在生信分析和AI也开始不分你我了,复合型人才可是很短缺的。趁年轻,要勇于走出自己的舒适圈。
说到这里,我突然想到,我三月底帮一个课题组调试服务器,还写了非常详细的说明书,到现在为止还没给我结算劳务费,理由是老师担心我后期不帮忙了。哎,只能说信任是相互的。这又何尝不是对双方的一次考验,一次直接把缘分耗尽,犯不上。
数据分析
这一部分其实主要是针对工科学生的,R语言、Python还有Linux这三门语言,你最好是要掌握的。