Facebook开源Opacus 一个用于区别性隐私的PyTorch库

时间：2020-09-05 18:49:20来源：互联网

Facebook今天开放了Opacus的源代码，Opacus是一个用于训练具有差异性隐私的PyTorch模型的库，表面上它比现有方法更具可扩展性。Facebook表示，随着Opacus的发布，它希望为工程师提供一条更轻松的途径，以在AI中采用差异隐私并加速现场差异隐私研究。

通常，差异性隐私需要在将原始数据馈入本地机器学习模型之前将少量噪声注入原始数据，从而使恶意行为者难以从经过训练的模型中提取原始文件。如果观察者看不到算法的输出，则不能认为该算法是差分私有的，即该算法是否在计算中使用了特定个人的信息。

“我们与Opacus的目标是保护每个训练样本的隐私，同时限制对最终模型准确性的影响。Opacus通过修改标准的PyTorch优化器来做到这一点，以便在训练过程中加强(和衡量)差异性隐私。更具体地说，我们的方法集中在差分私有随机梯度下降上。” Facebook在博客中解释道。“该算法的核心思想是，我们可以干预模型用来更新权重的参数梯度，而不是直接获取数据，从而保护训练数据集的隐私。”

Facebook表示，与现有库相比，Opacus独特地利用了PyTorch中的钩子来实现“数量级”加速。此外，它跟踪在任何给定时间点花费了多少“隐私预算”(差异隐私中的核心数学概念)以启用实时监视。

Opacus还为安全性至关重要的代码采用了加密安全，伪随机，GPU加速的数字生成器，并且随附了警告组件不兼容的教程和帮助程序功能。Facebook说，该库与PyTorch一起在幕后工作，生成标准的AI模型，这些模型可以照常部署而无需额外的步骤。

Facebook写道：“我们希望通过开发Opacus之类的PyTorch工具，使对此类隐私保护资源的访问民主化。”“我们通过使用PyTorch的更快，更灵活的平台弥合了安全社区和通用机器学习工程师之间的鸿沟。”

Opacus的发布是在Google决定开源其某些核心产品(例如Google Maps)中使用的差异隐私库以及TensorFlow Privacy的实验模块后进行的，该TensorFlow Privacy实验模块可评估各种机器学习分类器的隐私属性。最近，Microsoft发布了WhiteNoise，这是一个与平台无关的工具包，用于Azure和GitHub上的开源中的差异隐私。