专题：prompt_injection

OpenAI推出安全漏洞赏金计划，聚焦AI滥用和安全风险，如代理漏洞、提示注入和数据外泄。该计划旨在提升AI系统安全性，鼓励研究人员参与漏洞发现，推动技术交流与合作。

Databricks推出新安全机制以降低AI代理的提示注入风险，涵盖输入验证、上下文隔离和输出过滤等技术，提升AI系统的安全性与可靠性，适用于企业级AI部署。

本文介绍AI代理如何防御提示注入和社会工程攻击，提出输入过滤、上下文隔离和行为限制等技术方案，强调安全设计在AI系统中的关键作用。

IH-Challenge项目通过优化LLM的指令层级结构，提升模型安全性与抗提示注入攻击能力。其核心在于训练模型优先执行可信指令，从而增强系统可控性与交互可靠性。

ChatGPT新增封锁模式与高风险标签功能，旨在防范提示注入和AI驱动的数据泄露。封锁模式限制模型对特定输入的响应，高风险标签用于识别潜在威胁内容。这两项功能提升了AI在企业应用中的安全性，是AI安全机制的重要改进。