谷歌开源新模型:利用深度神经网络预测荧光图像

    近日,谷歌发表了结合透射光显微镜和荧光显微镜这两种显微镜技术,并利用深度学习来对显微镜细胞图像进行分色荧光标记的研究博文:

    4 月 12 日出版的《Cell》 杂志上刊登了谷歌的论文《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》,其中展示了深层神经网络能够通过透视光图像来预测其荧光图像,无需修改细胞就可以生成有标签的、有用的图像,这将使得对未修改的细胞做长期追踪分析、在细胞治疗中最大程度减少侵入性的细胞检查、以及同时运用大量标签进行分析成为可能。

    研究背景

    透射光显微镜技术虽然易用,但是其也会生成难以分辨的图像。

    同时,荧光显微镜也存在明显的硬伤。首先,样本的制备和对其进行荧光标记本身就带来了复杂性和可变性。其次,当样本中存在许多且不同的荧光标记时,光谱的重叠会导致难以分辨哪种颜色对应哪种标记。所以通常会限制研究人员在同一样本中同时使用三或四个标记,以免造成混淆。第三,荧光标记可能对样本细胞产生毒性,有时还会致其死亡,这个缺陷也使荧光标记在需要长时间观察细胞的纵向研究中难以得到。

    与深度学习同行,看到更多可能

    论文中,作者们展示了深度神经网络可以根据透射光 z 堆栈来预测其分色荧光图像。为此,我们创建了投射光 z 堆栈与分色荧光图像匹配的数据集,并训练神经网络根据投射光 z 堆栈来预测其分色荧光图像。下面就是这一训练过程的图示介绍。

    Fluorescent-2

    这是训练系统的概述:(A)为训练实例的数据集:同一样本画面里 z 堆栈的透射光图像和荧光标记图像的像素匹配集。使用不同颜色荧光进行标记产生的荧光标记图像,随着不同训练实例的切换而改变颜色变化;其中的类似棋盘图像因未给定实例而无荧光标记。未经训练的深度网络(B)在对数据 A 进行预测,训练之后再对数据 A 进行预测就变成了(C)。数据 A 的投射光 z 堆栈图像(D)。(E) :利用训练后的深度神经,根据 A 数据的每一个新图像像素信息(D)来预测 A 数据的荧光标记(C)。

    该研究过程中,谷歌由 Inception 的模块化设计获得灵感,开发了一种由三种基本构建块组成的新型神经网络:第一种,保持比例的模块配置,它不会改变特征的空间尺度大小;第二种,缩小比例的模块配置,它会把空间比例缩放为 2 倍;第三种,放大比例,它会把空间比例缩放为一半。这使得将网络架构设计难题设计成两个更为简单的问题:构建块(宏架构)的安排部分和构建块本身(微架构)的设计部分。谷歌使用本文前面讨论的设计原则解决掉了第一个问题,第二个问题则是利用 Google Hypertune 的自动搜索来实现。

    为了保证本研究方法合理,谷歌使用了来自 Alphabet 实验室以及两个外部合作伙伴的数据对模型进行了验证:Gladstone 研究所 Steve Finkbeiner 实验室和哈佛 Rubin 实验室。这些数据涵盖了三种透射光成像模式(明场,相差和微分干涉对比)和三种培养类型(来自诱导多能干细胞的人体运动神经元,大鼠皮质培养物和人体乳腺癌细胞)。谷歌发现,该方法可以准确预测包括细胞核,细胞类型(如神经)和细胞状态(如细胞死亡)在内的几种荧光标记。下图显示了该模型在将神经元示例的透射光输入后,得出的分色荧光标记预测结果。

    输入神经元示例的透射光-输出荧光标记预测结果

    Fluorescent

    示例图显示了投射光和荧光标记成像的相同细胞图像,以及谷歌模型对其预测生成荧光标记。尽管输入的图像存在伪像(记号 2 图像),但是模型依旧预测生成了正确的荧光标记。(记号 3 图像)根据细胞之间的最近距离推测出这些为轴突。(记号 4 图像)显示了顶部难以发现的细胞,并将左侧的物体正确地标记识别为无 DNA 细胞碎片。

    谷歌开源模型

    谷歌已经开源了该模型、完整数据集、训练、推理代码以及一个示例。谷歌还声称,只需借助最少的额外数据训练就能生成新标注/标签:在相关论文和示例代码中,谷歌展示了根据单张图像就可学会生成荧光标记。这要归功于迁移学习:如果模型已经掌握了类似任务,那么模型就可以更快地学习新任务,并使用更少的训练数据。

    谷歌希望能够在不修改细胞的情况下生成标记的,有用的图像,这也将为生物学和医学研究开创全新的实验类型。如果你希望在自己的研究中尝试这项技术,可以请阅读《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》论文或者前往 github 页面查看模型代码!

    来源: Google Research Blog


    <声明>
    文章仅代表作者观点,不代表智能链立场,智能链(www.zhinengl.com)也不对真实性背书。
    智能链尊重知识版权,遵循行业规范,转载稿件标明出处、版权归原作者或机构所有;如有侵权,请联系我们处理。
    智能链倡导知识分享,原创和编译文章(除非另有说明)欢迎转载,转载请注明出处、作者和原文链接。