扫码联系客服
深度学习通常都会遵循一个强假设，即独立同分布假设（i.i.d.）---训练样本和真实应用场景是同分布的，然而违反i.i.d. 原则的现象在临床上普遍存在，这就成了下一步解决方案，那么深度学习的预训练任务，要如何设计才能应对临床动态环境所带来的挑战？
今天小编分享一篇来自牛津大学的Dani Kiyasseh等人在Nature Communications（IF：14.919）上发表的文章，提出了一种应用于心脏信号的基于重放的 CL 策略，名为 CLOPS，旨在减轻在违反独立同分布假设的实例中训练的深度学习算法所造成的破坏性干扰。
一、研究背景和待解决的科学问题
心率失常诊断，即识别心脏功能异常，通常会利用心电图(ECG) 进行诊断。深度学习系统的出现允许对心律失常进行大规律且具有合理准确性的诊断。深度学习在训练数据时有一个极其重要假设，即假定数据服从独立同分布，训练集和测试集是独立同分布的，训练样本和真实应用场景是同分布的，然而在临床动态环境中，这些数据会可能会随着时间（季节性疾病）、患者（不同医院或医院环境）而导致数据分布的变化。
因此，本文要解决的问题是，在生理信号的背景下设计和评估在多种动态环境中执行心律失常诊断的临床任务，而不会灾难性地忘记如何执行以前的任务的深度学习系统。
基于此，作者采用双重存储和获取策略设计并评估了一个连续的深度学习系统，该系统能够基于 ECG 数据流以顺序方式诊断心律失常，通过接收单导联心电图数据的输入并返回单个心律失常诊断。
二、研究思路
首先作者将每个数据点与作为损失函数系数的可学习参数相关联，以明确哪些数据点对存储的信息量最大。
其次定期量化深度学习系统对每个数据点进行分类的不确定性，以确定应该从缓冲区重放哪些数据点。
同时作者还进行了广泛的消融研究，并表明所提出的缓冲区存储和获取机制对于提高性能至关重要。此外作者通过参考心电图（ECG）领域的知识，验证了可学习参数代表了难度的解释。
研究思路解析：
1、构建持续深度学习系统CLOPS。
2、评估微调策略与CLOPS策略在4个CL场景中的性能。
3、探究缓冲区存储和获取机制对性能的影响。
4、验证存储参数的解释是否能有效识别重要的 ECG 信号。
三、结果
1、构建持续深度学习系统CLOPS
为了构建持续深度学习系统，作者采用了四个公开可用的数据集。
第一个数据集Cardiology，包括通过胸贴从 292 名患者收集的心电图数据（ECG）以及十二个心律失常标签：心房纤颤（AFIB），房室传导阻滞（AVB），窦性早搏二联律（BIGEMINY），异位心房节律（EAR），室性心律失常（IVR），交界性心律（JUNCTIONAL），噪声（NOISE），正常窦性心律（NSR），室上性心动过速（SVT），窦性早搏三联律（TRIGEMINY），室性心动过速（VT），文氏型（WENCKEBACH）。
第二个数据集Chapman，包括从 10,646 名患者收集的 ECG 数据以及四个高级心律失常标签：心房纤颤（AFIB）、GSVT、窦性心动过缓和窦性心律。
第三个数据集PhysioNet 2020，包括从 6876 名患者收集的 ECG 数据以及九个心律失常标签：心房纤颤（AFIB）、I度房室传导阻滞（I-AVB）、左束支阻滞（LBBB）、正常、房性期前收缩（PAC）、室性早搏（PVC）、右束支传导阻滞（RBBB）、STD 和 STE。
第四个数据集PhysioNet 2017，包括 8528 个单导联心电图记录以及四个标签：正常、心房纤颤（AFIB）、其他和嘈杂。
接下来，考虑到动态变化环境，作者模拟了四种动态变化环境，采用深度学习系统依次执行心律失常分类的任务
在类增量学习（Class-IL）的场景中，作者将Cardiology数据集划分为以下类对 [0, 1]、[2, 3]、[4, 5]、[6, 7]、[8, 9] 和 [10， 11]，深度学习系统针对这些来自相互排斥的心律失常类对的数据解决了一个二元分类问题以此来评估网络对新类别的敏感性。
在时间增量学习（Time-IL）的场景中，作者将 Chapman 数据集拆分为三个任务；Term 1、Term 2、Term 3对应于收集患者数据的年份中的互斥日期。深度学习系统针对不同时间收集的数据解决了一个多类分类问题，以此来评估时间非平稳性对系统性能的影响。
在域增量学习（Domain-IL）的场景中，作者根据 ECG 的 12 个导联拆分 PhysioNet 2020 数据集，来模拟各种医疗传感器的存在。深度学习系统针对不同模式的输入解决了一个多类分类问题，以此来评估系统对输入分布变化的稳健性。
在机构增量学习（Institute-IL）场景中，深度学习系统针对来自不同医疗机构的输入解决了一个多类分类问题，不同医疗机构的概念表现为不同的数据集，以此来评估系统对医疗机构变化的稳健性。
在所有数据集中，作者将患者随机分为训练集、验证集和测试集，确保集之间没有患者重叠。
2、评估微调策略与CLOPS策略在4个CL场景中的性能。
为了评估深度学习系统的性能，作者将深度学习系统CLOPS与以下几种基线方法进行了比较。
1.静态多任务学习 (MTL) 系统，该系统可以访问来自顺序任务的所有数据。
2.一个简单的微调系统，它没有部署明确的 CL 策略。
3.两种最先进的持续学习方法 GEM 和 MIR。
在 CL 设置中，深度学习系统的评估主要基于泛化性能和它们经历灾难性遗忘的程度。因此作者采用以下指标对模型进行评估：
1.平均 AUC，在深度学习系统所接触的任务序列结束时评估其性能。
2.反向传输 (BWT)，是一种度量标准，它最终揭示了系统所经历的灾难性遗忘的程度。
3.BWTt，评估对 t 个后续任务进行训练后系统在先前看到的任务上的性能。
4.BWTλ，扩展BWTt以考虑所有可能的时间步长 t，以便能够在任务级别识别系统中的改进。
最后，作者将深度学习系统部署在四个不同的 CL 场景中时，并将这些结果呈现在表 1 中。
在Class-IL场景中，CLOPS 不仅在泛化性能方面优于最先进的 CL 方法、GEM 和 MIR，而且还表现出建设性干扰。而由图2a中可以看出在Class-IL场景中部署的一个简单的、微调的深度学习系统所取得的AUC幅度从AUC ≈ 0.92 → 0.30 过渡，表明在没有明确的CL策略的情况下，破坏性干扰非常普遍。
在 Time-IL 场景中，深度学习系统 CLOPS 的性能略低于 MIR。但CLOPS（图2d）在对任务Term 3进行单个时期的训练后取得了AUC≈0.62，而微调深度学习系统（图2c）在经过20个完整的时期后才取得这一数值，这表明CLOPS有望减少训练深度学习系统所花的开销。
在 Domain-IL 场景和Institute-IL 场景中，深度学习系统CLOPS在泛化性能和 BWT 方面的表现均优于 MIR 和微调系统。这进一步表明了CLOPS 能更好地减轻灾难性遗忘，以及CLOPS 作为一种有利的基于重放的、在生理信号背景下的持续深度学习系统。
3、存储和获取机制对性能的影响
作者研究了存储和获取机制对性能的边际影响。存储和获取机制取决于存储和获取的数据量，因此，作者在进行研究的同时改变了存储到缓冲区和从缓冲区取回的数据比例，数据比例分别用b(存储)和a(获取)表示。
在随机存储研究中，作者取消了存储机制，而是将将心电图信号随机存储到缓冲区。在随机获取研究中，作者取消了获取机制，从缓冲区中随机获取心电图信号。最后，在随机存储和获取研究中，作者将心电图信号随机存储到缓冲区，并从缓冲区中随机获取心电图信号。图3中给出了这些实验的结果AUC。
结果表明，存储机制和获取机制都极大地提高了深度学习系统的泛化性能。另外当作者独立评估获取机制时，表明无论从缓冲区存储和获取的数据量如何，采集机制的结合都增加了深度学习系统的 AUC。
4、验证存储参数的解释
为了验证这些分布确实表示了心电图信号诊断的难度，作者确定了与最低和最高重要性参数值相关的两个心电图信号，探索并可视化了深度学习系统学习的重要性参数。
图4为所有 ECG 信号和深度学习系统在 Class-IL 场景中顺序暴露的所有任务的这些参数的分布。在作者的设置中，这两个 ECG 信号应分别对应于最难和最难诊断的信号，与此同时，基本心电图领域专业知识证实了这一预想。
此外，由于数据呈现给学习系统的顺序会影响系统的泛化能力，作者利用存储参数s，设计了几个基于任务难度和相似度概念的课程。
首先作者采用高斯分布N（μk， δk2 ）分别拟合图4中的六个分布，并定义了任务k的难度为dk =1/μk，任务j 和任务k之间的相似度S(j,k)，并绘制在Class-IL 场景中成对任务相似度矩阵（图5），结果表明深度学习系统在接受课程（easy → hard）训练时实现了最高的建设性干扰，但这种改进的建设性干扰是以泛化性能为代价的。
四、讨论
在深度学习领域中普遍存在着一个严重的问题---灾难性遗忘，即采用新的数据集去训练原有的模型，将会损害该模型在原有任务或环境性能大幅下降。
基于此，作者提出了一种应用于心脏信号的基于重放的 CL 策略，名为 CLOPS，其由重要性引导的缓冲区存储和基于不确定性的缓冲区获取机制组成，减轻了减轻在违反独立同分布假设的实例中训练的深度学习算法所造成的破坏性干扰。
参考文献
[1] Kiyasseh, D., Zhu, T. & Clifton, D. A clinical deep learning framework for continually learning from cardiac signals across diseases, time, modalities, and institutions. Nat Commun 12, 4221 (2021). https://doi.org/10.1038/s41467-021-24483-0
