VDC
2024-04-16 324 words 1 min

VDC

ICLR 2024 accept 前提：投毒数据的视觉特征与其对应的目标标签的视觉特征不一致。 VQG作者将问题建模成以下形式： $F_{vqy}$可以看作一个系统，输入是标签$y_i$​（可能是ground truth，也可能是目标标签），输出是关于这个标签的问题和答案。 作者将问题分为两类： 通用问题：通用问题指的是粗粒度的问题，比如“简单的描述一下这幅图片。” 特定标签问题：细粒度问题，例如“图片中的气体是被用来飞行的吗” 这个系统是人力设计的，也就是说人来拟定问题和答案；对于特定标签问题，由于有的数据集标签太多，因此他们也会用LLM来生成一些问题和答案（如GPT） VQA
How-to-Backdoor-Diffusion-Models
2024-04-13 740 words 3 mins

How-to-Backdoor-Diffusion-Models

Google scholar上，三位作者分别是：香港中文大学教授、IBM员工、香港中文大学博士生。CVPR 2023 核心思想：向DM中植入后门，当输入中含有触发器时，输出到目标标签。 跟我现在的想法有些类似。 方法威胁模型从两方进行建模： 用户：希望得到一个SOTA的DM 攻击者：提供DNN的第三方 用户在下载DM（攻击者声称在$D_{train}$上预训练过）后，会对这个模型进行验证（$FID$或者$IS$这样的指标），使用的数据集也是$D_{train}$，若是指标能够达到攻击者声称的那样，就接受模型。 攻击者的目标： 高可用性：对于干净的图像生成高质量的干净图片 高特殊性：对
pro-git
2024-04-12 467 words 2 mins

pro-git

本来想记录一次git的踩坑，但是考虑到后面可能会阅读Pro Git，因此创建本文档。 问题大文件123456789101112131415(base) chengyiqiu@chengyiqiu:~/code/Diffusion-Backdoor-Embed$ git pushEnumerating objects: 60081, done.Counting objects: 100% (60081/60081), done.Delta compression using up to 12 threadsCompressing objects: 100% (60039/60039), done
DATAELIXIR:Purifying-Poisoned-Dataset-to-Mitigate-Backdoor-Attacks-via-Diffusion-Models
2024-04-08 990 words 3 mins

DATAELIXIR:Purifying-Poisoned-Dataset-to-Mitigate-Backdoor-Attacks-via-Diffusion-Models

AAAI 2024 还没有release code 本文提出了一种数据消毒方法，也是使用扩散模型来消除触发器特征，重构良性特征。 方法威胁模型本文处于防御者的视角，对于攻击者的目标标签、投毒率等不可访问。 防御者： 假设防御者可以访问和当前任务类似分布的预训练扩散模型。 训练扩散模型的数据集是干净的 候选集合构建、 本文采取的方法是，对于某张图片，进行n轮前向&反向过程，每一轮的最后m次反向，收集重构的图片，作为候选集合，若是候选集合中的标签发生了变化，证明图片很可能被投毒。$$C_{(x_i,y_i)}={(x_j,y_j)}^{n\times m}_{j=
python-package-tutorials
2024-04-03 830 words 4 mins

python-package-tutorials

教程，来自官网、blog等。 Hydraget start读取配置文件的一个包，可以读取制指定文件夹下的制定配置文件，安装方法： 1pip install hydra-core 这会安装hydra, omegacong等。 创建folder conf，在里面创建我们的配置文件config.yaml: 12345known_host: host: 120.76.43.27 port: 62222 user: chengyiqiu pwd: secert 运行下面的代码： 123456789101112import hydrafrom omegaconf import DictConf
readme_server
2024-04-01 6 words 1 min

readme_server

Here's something encrypted, password is required to continue reading.
follow_who
2024-03-30 6 words 1 min

follow_who

Here's something encrypted, password is required to continue reading.
Denoising_Diffusion_Probabilistic_Models
2024-03-29 2.6k words 10 mins

Denoising_Diffusion_Probabilistic_Models

DDPM，于Stable Diffusion之前，后续关于Diffusion的文章基本都会引用这篇。 NIPS 2020 摘要：我们使用扩散概率模型展示了高质量的图像合成结果，这是一种受非平衡热力学考虑启发的潜在变量模型。我们最好的结果是通过对加权变分界进行训练获得的，该边界是根据扩散概率模型和与朗之万动力学的去噪分数匹配之间的新联系设计的，我们的模型自然承认渐进式有损解压缩方案，可以解释为自回归解码的泛化。在无条件 CIFAR10 数据集上，我们获得了 9.46 的 Inception 分数和 3.17 的最新 FID 分数。在 256x256 LSUN 上，我们获得了类似于 Progres
Efficient-Deep-Reinforcement-Learning-with-Imitative-Expert-Priors-for-Autonomous-Driving
2024-03-25 1.5k words 5 mins

Efficient-Deep-Reinforcement-Learning-with-Imitative-Expert-Priors-for-Autonomous-Driving

为了一门水课汇报而看的论文:( 深度强化学习的低样本效率和奖励函数设计的困难阻碍了其在实际应用中的使用， 两个问题： 低样本效率导致的问题是：智能体需要与环境进行大量的交互才能学习到一个有效的策略。（例如在没有信号灯的交叉口穿越或在密集交通中进行无保护的左转。） 奖励函数的设计：设计不当的奖励函数可能会导致智能体错误地利用奖励函数并坚持意外的行为，这样下来调参比较费时间。尽管可以使用一些技术（如逆强化学习）从人类驾驶数据中学习奖励函数，但通常假设奖励函数的某些结构（例如，不同手工制作特征的线性组合），这在实践中可能不成立。 本文提出了一个新颖的框架，将人类先验知识整合到DRL中，以提高样本
High-Resolution-Image-Synthesis-with-Latent-Diffusion-Models
2024-03-24 4 words 1 min

High-Resolution-Image-Synthesis-with-Latent-Diffusion-Models

CVPR 2022, stable diffusion