边缘智能协同计算模式下的隐私保护系统
时间：2023-06-03 21:10:07 来源：雅意学习网 本文已影响 人 
李柏松
（南华大学计算机学院，湖南衡阳，421200）
本文提出了一种基于联邦学习的组织病理学肿瘤检测算法算法，首先建设一个中心服务节点用以对边缘节点的管理和检测模型的构建，在对应各个医疗机构的边缘节点链接中心节点后，中心节点不断的使用边缘节点的数据对预测模型进行训练，在训练的过程中通过隐私差分等方法传递梯度，使得中心节点的模型收敛，最后奖训练好的模型分发给边缘节点。这样，各个边缘节点在得到一个更加优质的模型的同时，保护了患者的隐私。
1.1 机器学习模型
选择卷积神经网络（CNN）用于训练模型，并使用Pytorch框架进行实现。卷积神经网络中一般分为卷积层、Relu层、下采样层和全连接层，卷积神经网络的训练过程分为两个阶段。为实现组织癌预测，我们设计一种简单卷积神经网络。该网络由五个卷积层和一个全连接层组成。通过多个卷积层堆叠提取图像特征，得到图像的全部表征信息，将原始数据映射到隐层特征空间,在每个卷积层之后使用最大池化层提取主要特征，减少计算量和参数个数，防止模型过拟合。通过全连接层将学习到的特征映射映射到样本标记空间，实现分类。
在该网络模型中，为防止由于Relu的输入值为负的时候，输出及其一阶导数始终为0，导致神经元不能更新参数，这被称为“Dead Neuron”。为解决Relu函数的缺点，我们使用Leaky_Relu激活函数。
Leaky_Relu函数：
Leaky_Relu与Relu很相似，仅在输入小于0的部分有差别，Relu输入小于0的部分值都为0，而Leaky_Relu函数通过把x xx的非常小的线性分量给予负输入αx 来调整负值的零梯度问题，α通常在0.01左右。
如图1所示，第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段，训练流程如下：
图1 总体设计流程
(1)网络进行权值的初始化；
(2)输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；
(3)求出网络的输出值与目标值之间的误差；
(4)当误差大于期望值时，将误差传回网络中，依次求得全连接层、下采样层、卷积层的误差，根据误差进行权值更新,然后再次进入到第二步；
当误差等于或小于期望值时，结束训练。
1.2 联邦学习框架
采用联邦学习框架（Flower）训练深度学习模型，如图2所示，其将模型的训练分布在多个客户端中，它们分别拥有一部分用于训练的医疗数据，最终的模型建立在中间服务器中。云服务端通过收集终端的模型参数进行运算，然后进行下一轮的共享模型参数运算，之后将分享后的模型参数分发到其下的各个客户端，完成联邦学习的一个通信轮次。这体现了边缘计算“云-边-端”架构，使得模型训练时间大大减少，系统响应时间更短，更利于数据整合和迁移。在此过程中，用户的数据不会向外传输到总服务器，防止隐私泄露问题的发生。
图2 总体设计流程
1.3 差分隐私随机梯度下降算法
为了抵御攻击者去匿名化的隐私攻击，保护训练数据中个人的敏感信息，在联邦学习框架中结合用户级的差分隐私，使得攻击者无法推测单个用户的敏感信息，实现对训练数据的保护。在具体的深度学习算法模型中（如组织肿瘤预测模型），采用Opacus库训练出带有差分隐私的PyTorch模型，主要过程分为两步：
(1)前向传播步骤（Forward step）：将同一批次的数据(BATCH)输入神经网络层（Layer），并把上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止，得到最终的函数损失Loss。
(2)反向传播步骤（Backward step）：根据上一步的Loss可以获得相应的损失梯度。而同一批次数据不同样本会有不同的梯度，将同一批次不同样本的梯度先进行裁剪（Clip），随后将同一批次的不同梯度进行整合（Aggregate），梯度将累积到一个梯度张量,然后再将噪声(Noise)添加其中。添加噪声需要—种微妙的平衡:噪声过多会破坏信号，过少则无法保证隐私。最后通过添加噪声的梯度更新模型参数(Params)。
1.4 可追踪环签名技术
假设原本所有客户端都是云服务器的可信任用户，若新的客户端节点在此后加入模型训练和共享的环节，则可能出现最终模型的泄露。针对此类可能存在的不安全行为，引入可追踪的环签名技术，在保障匿名性的同时实现部分角色的可追踪性。在上述泄露模型的情况中，云服务端可在环签名成员的配合下辨别泄露模型的客户端，以此进行问责达到威慑作用。具体来说，环签名是一个能够实现签名者无条件匿名的签名方案，签名者可以在n个公钥中隐藏自己拥有私钥所对应公钥。环签名方案存在不可追踪签名者真实身份的问题，使用身份密码体制和双线性对技术，可以达到追踪签名者身份的目的，在必要时由PKG（Private Key Generator）充当仲裁验证者，定位真实签名者，具体过程如下：
(1)环签名生成：签名者（假设为用户K）随机选择 n-1个成员作为环成员，生成环公钥，然后使用自身的私钥生成环签名。
(2)签名者身份追踪：验证者向PKG提发送仲裁验证请求，PKG与环中所有成员进行一次交互，通过双线性确认签名者身份（用户K）。
1.5 联邦学习加密原理
联邦学习一般使用梯度下降算法实现模型的最优化。梯度可表示（或者近似）为加法和乘法的混合运算，因此联邦学习的本质需求是加法和乘法运算进行保护，则同态加密技术可满足该需求,由于全同态加密计算复杂度特别高，联邦学习一般使用半同态加密，比较常见的是Paillier半同态加密，满足如下性质的加法同态：
其中：[·]表示Paillier加密操作，前者称为加法同态，后者称为数乘同态，数乘事实上是多个相同数值的加法。
有了这两个性质，就可以解决分布式学习所需的各种隐私保护计算了，例如基于梯度下降的迭代优化。以包含两个成员（A和B）的联邦线性回归场景为例， A方的梯度计算式核心部分如下：
上式包含加法和乘法两种运算，可使用加法()同态和数乘同态实现。值得注意的是，这里的加密还具有非对称加密的性质，密码包括＜公钥，私钥＞，使用公钥加密的数据只能通过对应的私钥解密。表示用A的公钥加密，这个公钥会共享给联邦成员，联邦成员可以使用这个公钥对数据进行加密，得到的密文只能由A通过自己的私钥加密；
同理，使用B的公钥加密得到的密文只能由B解密。式子(3)可分级为如下步骤进行计算：
首先,使用加法同态计算其中的vA+δB,包括以下两个步骤：
针对线性回归模型，联邦学习梯度下降算法的交互过程（A方）如图2所示。
1.6 差分隐私实现机制
目前，实现差分隐私常用的机制有拉普拉斯机制、高斯机制和指数机制。在该应用中我们通过使用高斯机制实现(ε , δ)-差分隐私的保护，拥有更高的数据可用性。
图3 联邦学习梯度下降算法的交互过程
高斯机制满足近似差分隐私定义，即有δ的失败率。尽管有一些隐私性的牺牲，但一般高斯机制所需要注入的噪声量更少，也因此在可用性上要略优于拉普拉斯机制。
2.1 创意描述
系统以智慧医疗为背景，在边缘计算场景下，如图4所示，设计了一个针对可控疾病的安全医疗预测与诊断系统（如组织肿瘤的检测），其中“安全”体现在三层隐私保护模式：
图4 针对可控疾病的安全医疗预测与诊断系统
①本地原始数据保护--基于边缘计算的联邦学习框架：联邦学习旨在将模型的训练分布在多个客户端中，体现了边缘计算模式，参与者的医疗数据不会向外传输到服务器，防止隐私泄露问题的发生。
②训练数据中个人敏感信息保护--差分隐私：在边-云服务器进行组织肿瘤检测模型训练过程中结合差分隐私，使得攻击者无法推测单个用户的敏感信息，实现对训练数据的保护。
③医疗诊断机器学习模型保护--环签名技术：利用可追踪的环签名技术可以追查所泄露的训练模型来源于某个具体的中间服务器，由此进行威慑和问责，以实现对边缘计算场景下数据模型传输的保护。
2.2 特色综述
2.2.1 数据模型保护
如图5所示，使用边缘计算模式下的联邦学习框架Flower实现对原始数据的保护，Opacus框架中差分隐私随机梯度下降实现对个人敏感信息保护，最后使用环签名技术保护整个机器学习模型。
图5 数据模型保护
2.2.2 系统设计
以智慧医疗为背景，在边缘计算场景下，设计了一个针对可控疾病（如组织肿瘤）的安全医疗预测与诊断系统。系统采用Flower联邦学习框架，分为云服务器-中间服务器（又叫边缘节点）-客户端三层结构，将模型的训练分布在多个客户端中，它们分别拥有一部分用于训练的医疗数据，最终的模型建立在中间服务器中。服务端通过收集终端的模型的参数进行运算，然后进行下一轮的共享模型参数运算，之后将分享后的模型参数分发到其下的各个客户端，完成联邦学习的一个通信轮次。在此过程中，用户的数据不会向外传输到云服务器，结合差分隐私随机梯度下降算法实现对个人敏感信息保护，最后使用可追踪的环签名技术保护整个机器学习模型。总而言之，我们设计的针对可控疾病的深度学习模型能以较高精确度预测患者是否患该疾病（如组织肿瘤），并实现了从全部患者数据到个人敏感信息再到预测模型的三层保护。
3.1 数据准备与处理
关于数据集，我们查阅了Kaggle，COCO Dataset，ICADR，GitHub等专业数据库平台。最后经过分析对比筛选，我们选取了Kaggle数据库中已标注处理的原始淋巴切片细胞图片，其中标签为阳性的淋巴切片细胞图片与标签为阴性的淋巴切片细胞图片各占了50%。本文档主要以原始淋巴切片细胞图片作为数据集的组织肿瘤预测模型进行分析，为了验证不同疾病模型在基于边缘计算的安全诊断系统中的适用性，我们还准备了X光胸片数据集和对应的肺结核预测模型作为另一选择，模拟真实医疗环境下对患者不同疾病的诊断。
3.2 实验结果
在对淋巴切片细胞的组织肿瘤检测中，选取了不同的深度学习模型进行对比，包括Logistic，SVM，RandomForest和CNN，以准确率ACC和ROC曲线下面积AUC评价模型预测效果，比较得出CNN效果最好。
猜你喜欢 同态差分梯度 RLW-KdV方程的紧致有限差分格式数学杂志(2022年5期)2022-12-02磁共振梯度伪影及常见故障排除探讨中国设备工程(2022年19期)2022-10-12三角矩阵环上FC-投射模的刻画兰州理工大学学报(2022年4期)2022-09-05符合差分隐私的流数据统计直方图发布湘潭大学自然科学学报(2022年2期)2022-07-28相对于模N的完全不变子模F的N-投射模兰州理工大学学报(2022年3期)2022-07-06基于应变梯度的微尺度金属塑性行为研究九江学院学报(自然科学版)(2022年2期)2022-07-02D4-δ-盖及其应用兰州理工大学学报(2020年4期)2020-09-16一个具梯度项的p-Laplace 方程弱解的存在性华东师范大学学报（自然科学版）(2019年3期)2019-06-24基于差分隐私的数据匿名化隐私保护方法计算机应用(2016年10期)2017-05-12基于数字虚拟飞行的民机复飞爬升梯度评估北京航空航天大学学报(2017年12期)2017-04-23
