Neural_Network_Diffusion
2024-03-24 11.8k words 65 mins

Neural_Network_Diffusion

Under ICLR 2024 double-blind review 使用一个自动编码器，来提取训练模型参数中的隐藏表征，然后扩散模型根据这些隐藏参数表征，合成一些随机噪声，输出一些新的表征给自动编码器的解码器部分，输出就是神经网络的参数。 神经网络扩散初步了解扩散模型扩散模型分为两个过程，前向过程和反向过程： 前向过程是对原始图像不断添加高斯噪声（由$\beta$约束），经过$T$步后，得到一个随机高斯噪声（$T\to \infty$​时，最后得到的一定是噪声） $q(.)$：前向过程 $N(.)$：高斯噪声 $\beta$：约束 $I$：单位矩阵 反向过程是前向过程反过来，期望
Distilling_Cognitive_Backdoor_Patterns_within_an_Image
2024-03-21 631 words 2 mins

Distilling_Cognitive_Backdoor_Patterns_within_an_Image

ICLR2023 从输入到模型的图片中提取出“最小模式”，通过实验发现后门模型有一种认知模式（cognitive pattern），作者通过提取出来的最小模式，来对模型进行认知蒸馏（cognitive distillation）。 认知蒸馏和后门样本检测认知蒸馏 $x_{cp}$：蒸馏掉的认知模式 $m$：可学习的掩码，$[0,1]^{w\times h}$ $\delta$：噪声，$[0,1]^c$ $TV(.)$：总变化损失（？） $f_\theta (.)$：可以是最后一个全连接层的输出，也可以是最后一个卷积层的输出 公式1的目的是确保认知蒸馏后的输入$x_{cp}$和原始输入$x$
Black-box_Backdoor_Defense_via_Zero-shot_Image_Purification
2024-03-15 744 words 2 mins

Black-box_Backdoor_Defense_via_Zero-shot_Image_Purification

NIPS2023 摘要 对原始图片使用一个线性变换，来摧毁后门模式。 使用扩散模型对变换后的图片进行恢复。 概述整体的架构 扩散模型介绍了一种扩散模型DDPM，可以生成高质量的图片，有两个过程：前向过程（forward process）和反向过程（reverse process）: fp：对原始图像$x_0$迭代的不断添加高斯噪声，直到其变为随机高斯噪声$x_T$​ rp：移除随机高斯噪声$x_T$​上的噪声，直到其恢复成原始图像。 ZIPZero-shot Image Purification(ZIP)的步骤。 通过线性变换来对原始图像进行模糊。 通过加以限制的扩散模型对模糊
Towards_Stable_Backdoor_Purification_through_Feature_Shift_Tuning
2024-03-14 1k words 4 mins

Towards_Stable_Backdoor_Purification_through_Feature_Shift_Tuning

NIPS2023 摘要本文的方法是基于微调的（FT, Fine-Tuning），微调并不能很好的解决触发器特征和样本特征联系紧密的问题，因此作者提出FST（Feature Shift Tuning） 微调提升模型的鲁棒性实验观测作者工作的重心在：当数据投毒率比较高（20%，10%等）时，可以使用微调来改变模型的决策边界（削弱触发器和目标标签之间的联系）。当数据投毒率比较低时，简单使用微调就无法解决问题了。这是经过实验观测得出的结论。 探索作者对不同投毒率下微调方法效果出现不稳定这个问题进行了探索。 假设：在不同投毒率下，模型的特征提取器提取出的特征是不同的。 基于假设，开始做实验，利用T-SN
ABS:Scanning_Neural_Networks_for_Back-doors_by_Artificial_Brain_Stimulation
2024-02-29 475 words 1 min

ABS:Scanning_Neural_Networks_for_Back-doors_by_Artificial_Brain_Stimulation

CCS 2019 使用人工大脑模拟的方式扫描神经网络中的后门 摘要本文试图解决trojan attack的科学问题，采用的方法是分析内部神经元。问题关键：无论输入是怎样，神经元都极大激活到某一类固定的标签，这样的神经元被认为是潜在的后门神经元。 本文结构： 介绍 特洛伊攻击以及防御方法 概述 设计 评估 讨论 相关工作 概述ABS的灵感源自电子大脑模拟（Electrical Brain Stimulation, EBS） EBS通过使用电流直接或间接激发细胞膜来刺激真实大脑中的神经元或神经网络。 ABS利用单个人工神经元，以受控的方式改变它们的激活值(如在EBS中提供不同强度的电电流)，以
Fine-Pruning-Defending-Against-Backdooring-Attacks-on-Deep-Neural-Networks
2024-01-20 1k words 3 mins

Fine-Pruning-Defending-Against-Backdooring-Attacks-on-Deep-Neural-Networks

RAID， CCFB，常见的defence 摘要提供了第一个有效的后门攻击防御方法，实验： 三个后门攻击 两种防御方法，剪枝和微调，并且进行结合，提出了fine- pruning，微剪枝。 实验结果：在某种情况下，降低攻击成功率到0%，仅仅只有0.4%的正确率下降（对于那些干净样本） 本文结构： ch1介绍 ch2背景，分为三节介绍：深度学习基础、威胁模型、后门攻击 ch3是讲方法的 ch4是讨论，讨论了对方法的正确性进行了讨论 ch5近期工作 ch6结论 结构比较乱，没有单独的实验部分。 威胁模型和之前的论文一样。 方法剪枝原理某些后门攻击选取的神经元具有这样的特性：对于干净样本的输
Trojaning-Attack-on-Neural-Networks
2024-01-17 1.2k words 4 mins

Trojaning-Attack-on-Neural-Networks

NDSS2018，backdoor attack必须的baseline。 摘要trojaning attack，steps： 反转神经网络来生成trojan trigger 通过外部数据集（？）来retrain模型，retrain后的模型，当输入为trojan trigger时，会表现恶意行为。 特别的，trojan attack： 不需要破坏原始的训练过程 不需要原始训练数据集 摘要中没有提到baseline、dataset、defence，只是说最后探索了一下，对于此类攻击的可能的防御方法。 摘要中比价强调的是：攻击事件短、不需要训练集。 攻击演示威胁模型：对攻击者而言，训练数据集
Hidden-Trigger-Backdoor-Attacks
2024-01-17 437 words 1 min

Hidden-Trigger-Backdoor-Attacks

Hidden Trigger Backdoor Attacks，简称HB，发布在AAAI，是backdoor attack的常见baseline。 摘要以前的state-of-the-art工作要么是添加能够一眼看出来的中毒数据，要么就是通过加入噪声来隐藏trigger。本文提出一种新的更隐蔽的攻击，攻击者隐藏中毒数据的触发器，直到进行测试。 摘要中简单提及了： 将攻击应用在多个分类模型上 测试了state-of-the-art defence algorithm 方法先介绍了一下BadNets用的毒化数据的公式：$$s_i^{\sim}=s_i\odot (1-m)+p\odo
Neural-Cleanse-Identifying-and-Mitigating-Backdoor-Attacks-in-Neural-Networks
2024-01-16 829 words 2 mins

Neural-Cleanse-Identifying-and-Mitigating-Backdoor-Attacks-in-Neural-Networks

本文是后门攻击的防御方法，S&P 2019。 标题直接翻译：神经元清洗，识别并且减轻神经网络中的后门攻击。 摘要本文内容：提出的技术能够识别出后门，并且重构出可能的触发器。通过多种手段来对后门攻击进行缓解：过滤、神经元修剪、遗忘。 本文结构： 介绍 背景 方法概述 详细的检测方法 实验：后门检测和触发器识别 后门缓解 抵抗入侵的能力 相关工作 结论及展望 方法概述威胁模型对攻击者的假设。 attack baseline：BadNets and Trojan Attack 攻击方式：仅仅对一个标签进行攻击。 防御模型对防御者的假设：可以访问植入后门的模型；有一部分验证集用来测试接收到
Defense-Resistant-Backdoor-Attacks-Against-Deep-Neural-Networks-in-Outsourced-Cloud-Environment
2024-01-15 1.5k words 5 mins

Defense-Resistant-Backdoor-Attacks-Against-Deep-Neural-Networks-in-Outsourced-Cloud-Environment

发在期刊IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS上，简称JSAC，属于A会。 摘要 背景：外包云环境下。 工作量： 一种名为RobNet的攻击方法，关键要素为： 使得触发器多样化：多个位置都有触发器的patch，这些触发器是通过梯度下降来生成的 加强模型的结构（？外包不是不能改变模型结构吗） 实验： 数据集：MNIST、GTSRB、CIFAR-10 防御方法：Pruning, NeuralCleanse, Strip, and ABS baseline：BadNets、Hidden Backdoors 威胁模型和以前的工作不同