Hugging Face 与 Wiz Research 合作提高人工智能安全性

hugging,face,wiz,research · 浏览次数 : 0

小编点评

**Hugging Face 与 Wiz 在 AI/ML 生态系统安全方面的合作** Hugging Face 与 Wiz 合作,旨在提高平台和整个 AI/ML 生态系统的安全性。Wiz 研究人员与 Hugging Face 就我们平台的安全性进行合作并分享了他们的发现。 **主要合作内容:** * **漏洞管理:** Wiz 进行漏洞管理,确保平台免受安全漏洞的影响。 * **云安全态势管理:** Wiz 使用 Wiz 进行云安全态势管理,确保云环境安全。 * **Pickles 文件分析:** Wiz 提供工具,帮助识别存储到计算再到网络的漏洞。 * **自动修复工具:** Wiz 建立工具,自动修复我们产品中检测到的问题。 **重要功能:** * 多个 Kubernetes (k8s) 集群,跨多个区域和云提供商。 * 漏洞整体视图,提供全面的漏洞检测。 * Pickle 文件分析工具,帮助识别存储到计算再到网络的漏洞。 * 自动修复工具,自动修复产品中的漏洞。 **安全性承诺:** * Hugging Face 承诺保护用户和客户免受安全威胁。 * 我们在使用开源软件和模型时提供安全最佳实践。 **安全建议:** * 使用 Wiz 进行漏洞扫描。 * 使用 Safetensors 替代 pickle 文件。 * 在生产环境中禁用 pickle 文件。

正文

我们很高兴地宣布,我们正在与 Wiz 合作,目标是提高我们平台和整个 AI/ML 生态系统的安全性。

Wiz 研究人员 与 Hugging Face 就我们平台的安全性进行合作并分享了他们的发现。 Wiz 是一家云安全公司,帮助客户以安全的方式构建和维护软件。 随着这项研究的发布,我们将借此机会重点介绍一些相关的 Hugging Face 安全改进。

Hugging Face 最近集成了 Wiz 进行漏洞管理,这是一个持续主动的流程,可确保我们的平台免受安全漏洞的影响。 此外,我们还使用 Wiz 进行云安全态势管理 (CSPM),它使我们能够安全地配置云环境并进行监控以确保其安全。

我们最喜欢的 Wiz 功能之一是从存储到计算再到网络的漏洞的整体视图。 我们运行多个 Kubernetes (k8s) 集群,并拥有跨多个区域和云提供商的资源,因此在单个位置拥有包含每个漏洞的完整上下文图的中央报告非常有帮助。 我们还构建了他们的工具以自动修复我们产品中检测到的问题,特别是在 Spaces 中。

在联合工作的过程中,Wiz 的安全研究团队通过使用 pickle 在系统内运行任意代码,识别出了我们沙箱计算环境的不足之处。在阅读此博客和 Wiz 的安全研究报告时,请记住,我们已经解决了与该漏洞相关的所有问题,并将继续在威胁检测和事件响应过程中保持警惕。

Hugging Face 安全

在 Hugging Face,我们非常重视安全性。随着人工智能的快速发展,新的威胁向量似乎每天都会出现。即使 Hugging Face 宣布了与技术领域一些最大名字的多项合作伙伴关系和业务关系,我们仍然致力于让我们的用户和 AI 社区能够负责任地实验和操作 AI/ML 系统和技术。我们致力于保障我们的平台安全,并推动 AI/ML 的民主化,使社区能够贡献力量并成为这一将影响我们所有人的范式转变的一部分。我们撰写这篇博客,重申我们保护用户和客户免受安全威胁的承诺。下面我们还将讨论 Hugging Face 关于支持有争议的 pickle 文件的理念,并探讨远离 pickle 格式的共同责任。

在不久的将来,还会有许多令人兴奋的安全改进和公告。这些出版物不仅会讨论 Hugging Face 平台社区面临的安全风险,还会涵盖 AI 的系统性安全风险以及最佳缓解实践。我们始终致力于保障我们的产品、基础设施和 AI 社区的安全,请关注后续的安全博客文章和白皮书。

面向社区的开源安全协作和工具

我们高度重视与社区的透明度和合作,这包括参与漏洞的识别和披露、共同解决安全问题以及开发安全工具。以下是通过合作实现的安全成果示例,这些成果有助于整个 AI 社区降低安全风险:

  • Picklescan 是与微软合作开发的; 该项目由 Matthieu Maitre 发起,由于我们内部也有一个相同工具的版本,因此我们联手并为 Picklescan 做出了贡献。如果您想了解更多关于其工作原理的信息,请参考 文档页面

  • Safetensors 是由 Nicolas Patry 开发的一种比 pickle 文件更安全的替代方案。Safetensors 在与 EuletherAI 和 Stability AI 的合作项目中,由 Trail of Bits 进行了审核。

  • 我们有一个强大的漏洞赏金计划,吸引了来自世界各地的众多出色研究人员。识别出安全漏洞的研究人员可以通过 security@huggingface.co 咨询加入我们的计划。

  • 恶意软件扫描: https://hf.co/docs/hub/en/security-malware

  • 隐私扫描: 请访问以下链接了解更多信息: https://hf.co/docs/hub/security-secrets

  • 如前所述,我们还与 Wiz 合作降低平台安全风险。

  • 我们正在启动一系列安全出版物,以解决 AI/ML 社区面临的安全问题。

开源 AI/ML 用户的安全最佳实践

  • AI/ML 引入了新的攻击向量,但对于许多这些攻击,其缓解措施早已存在并为人所知。安全专业人员应确保对 AI 资源和模型应用相关的安全控制。此外,以下是一些在使用开源软件和模型时的资源和最佳实践:
  • 了解贡献者: 仅使用来自可信来源的模型并注意提交签名。 https://hf.co/docs/hub/en/security-gpg
  • 不要在生产环境中使用 pickle 文件
  • 使用 Safetensors: https://hf.co/docs/safetensors/en/index
  • 回顾 OWASP 前 10 名: https://owasp.org/www-project-top-ten/
  • 在您的 Hugging Face 帐户上启用 MFA
  • 建立一个安全开发生命周期,包括由具有适当安全培训的安全专业人员或工程师进行代码审查。
  • 在非生产和虚拟化的测试/开发环境中测试模型。

Pickle 文件——不容忽视的安全隐患

Pickle 文件一直是 Wiz 的研究核心以及近期安全研究人员关于 Hugging Face 的其他出版物的关注点。Pickle 文件长期以来被认为存在安全风险,欲了解更多信息,请参阅我们的文档文件: https://hf.co/docs/hub/en/security-pickle

尽管这些已知的安全缺陷存在,AI/ML 社区仍然经常使用 pickle 文件 (或类似容易被利用的格式)。其中许多使用案例风险较低或仅用于测试目的,使得 pickle 文件的熟悉性和易用性比安全的替代方案更具吸引力。

作为开源人工智能平台,我们有以下选择:

  • 完全禁止 pickle 文件
  • 对 pickle 文件不执行任何操作
  • 找到一个中间立场,既允许使用 pickle,又可以合理、切实地减轻与 pickle 文件相关的风险

我们目前选择了第三个选项,即折中的方案。这一选择对我们的工程和安全团队来说是一种负担,但我们已投入大量努力来降低风险,同时允许 AI 社区使用他们选择的工具。我们针对 pickle 相关风险实施的一些关键缓解措施包括:

  • 创建概述风险的清晰文档
  • 开发自动扫描工具
  • 使用扫描工具和标记具有安全漏洞的模型并发出明确的警告
  • 我们甚至提供了一个安全的解决方案来代替 pickle (Safetensors)
  • 我们还将 Safetensors 设为我们平台上的一等公民,以保护可能不了解风险的社区成员
  • 除了上述内容之外,我们还必须显着细分和增强使用模型的区域的安全性,以解决其中潜在的漏洞

我们打算继续在保护和保障 AI 社区方面保持领先地位。我们的一部分工作将是监控和应对与 pickle 文件相关的风险。虽然逐步停止对 pickle 的支持也不排除在外,但我们会尽力平衡此类决定对社区的影响。

需要注意的是,上游的开源社区以及大型科技和安全公司在贡献解决方案方面基本上保持沉默,留下 Hugging Face 独自定义理念,并大量投资于开发和实施缓解措施,以确保解决方案既可接受又可行。

结束语

我在撰写这篇博客文章时,与 Safetensors 的创建者 Nicolas Patry 进行了广泛交流,他要求我向 AI 开源社区和 AI 爱好者发出行动号召:

  • 主动开始用 Safetensors 替换您的 pickle 文件。如前所述,pickle 包含固有的安全缺陷,并且可能在不久的将来不再受支持。
  • 继续向您喜欢的库的上游提交关于安全性的议题/PR,以尽可能推动上游的安全默认设置。

AI 行业正在迅速变化,不断有新的攻击向量和漏洞被发现。Hugging Face 拥有独一无二的社区,我们与大家紧密合作,以帮助我们维护一个安全的平台。

请记住,通过适当的渠道负责任地披露安全漏洞/错误,以避免潜在的法律责任和违法行为。

想加入讨论吗?请通过 security@huggingface.co 联系我们,或者在 LinkedIn/Twitter 上关注我们。


英文原文: https://hf.co/blog/hugging-face-wiz-security-blog

原文作者: Josef Fukano, Guillaume Salou, Michelle Habonneau, Adrien, Luc Georges, Nicolas Patry, Julien Chaumond

译者: xiaodouzi

与Hugging Face 与 Wiz Research 合作提高人工智能安全性相似的内容:

Hugging Face 与 Wiz Research 合作提高人工智能安全性

我们很高兴地宣布,我们正在与 Wiz 合作,目标是提高我们平台和整个 AI/ML 生态系统的安全性。 Wiz 研究人员 与 Hugging Face 就我们平台的安全性进行合作并分享了他们的发现。 Wiz 是一家云安全公司,帮助客户以安全的方式构建和维护软件。 随着这项研究的发布,我们将借此机会重点

在英特尔至强 CPU 上使用 Optimum Intel 实现超快 SetFit 推理

在缺少标注数据场景,SetFit 是解决的建模问题的一个有前途的解决方案,其由 Hugging Face 与 Intel 实验室 以及 UKP Lab 合作共同开发。作为一个高效的框架,SetFit 可用于对 Sentence Transformers 模型进行少样本微调。 SetFit 仅需很少的

欢迎 Llama 3:Meta 的新一代开源大语言模型

介绍 Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本,现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋,我们也非常高兴地全力支持此次发布,并实现了与 Hugging Face 生态系统的深度集成。 Llama 3 提供两

Hugging Face Accelerate 两个后端的故事:FSDP 与 DeepSpeed

社区中有两个流行的 零冗余优化器(Zero Redundancy Optimizer,ZeRO) 算法实现,一个来自 DeepSpeed,另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来,以供最终用户在训练/微调模型时自主选择其中之一

Google 发布最新开放大语言模型 Gemma 2,现已登陆 Hugging Face Hub

Google 发布了最新的开放大语言模型 Gemma 2,我们非常高兴与 Google 合作,确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型(2 个基础模型和 2 个微调模型)。发布的功能和集成包括: Hub 上的模型 Hugging Face T

在GPT-4时代使用Semantic Kernel构建AI Copilot问答 以及 Semantic Kernel文档更新

Semantic Kernel是一个开源SDK,可让您轻松地将OpenAI,Azure OpenAI和Hugging Face等AI服务与C#和Python等传统编程语言相结合。通过这样做,您可以创建结合两全其美的 AI 应用程序。 Semantic Kernel 团队在博客上发布了2篇文章:Sem

SK 简化流行编程语言对 生成式AI 应用开发的支持

Semantic Kernel[1] 是一个开源的将大型语言模型(LLM)与流行的编程语言相结合的SDK,Microsoft将Semantic Kernel(简称SK)称为轻量级SDK,结合了OpenAI,Azure OpenAI和Hugging Face等AI LLM的集成。它使开发人员能够通过编

Semantic Kernel .NET SDK 的 v1.0.0 Beta1 发布

介绍 Semantic Kernel (SK) 是一个开源的将大型语言模型(LLM)与流行的编程语言相结合的SDK,Microsoft将Semantic Kernel(简称SK)称为轻量级SDK,结合了OpenAI,Azure OpenAI和Hugging Face等AI LLM的集成。它使开发人员

SemanticKernel:添加插件

SemanticKernel介绍 Semantic Kernel是一个SDK,它将OpenAI、Azure OpenAI和Hugging Face等大型语言模型(LLMs)与C#、Python和Java等传统编程语言集成在一起。Semantic Kernel通过允许您定义插件来实现这一点,这些插件可

PaliGemma 正式发布 — Google 最新发布的前沿开放视觉语言模型

PaliGemma 是 Google 推出的新一代视觉语言模型家族,能够接收图像与文本输入并生成文本输出。 Google 团队已推出三种类型的模型:预训练(PT)模型、混合模型和微调(FT)模型,这些模型分辨率各异,提供多种精度以便使用。 所有模型均在 Hugging Face Hub 的模型库中发