AI安全防线再遭突破：心理诱导让Claude主动输出违禁内容

小七 2019年10月25日 21:23 141 0

<article><section data-type="rtext"><p>【环球网科技综合报道】5月7日消息，据The Verge报道，最新安全研究显示，主打安全特性的 Anthropic Claude 人工智能模型，可通过心理施压、刻意奉承等非技术手段突破安全防线，主动输出恶意代码、危险物品制作教程等违禁信息，暴露出人工智能模型在心理层面的安全漏洞。</p><p>此次测试由人工智能红队测试公司 Mindgard 开展，针对 Claude Sonnet 4.5 版本进行。测试过程中，研究人员未使用违禁词汇，也未直接索要非法内容，仅通过尊重吹捧、佯装好奇、轻微心理操控等审讯人员常用的诱导手段，逐步让模型对自身内容限制规则产生自我怀疑，进而不断突破安全边界。</p><p><i class="pic-con"></p><p>Mindgard 创始人兼首席科学官彼得・加拉根表示，此次攻击本质是利用 Claude 乐于助人、顺从协作的特性实施心理操控，印证人工智能模型风险暴露面不仅存在于技术层面，更存在于心理层面。这类对话式心理攻击极难防御，且并非 Claude 独有，其他聊天机器人也易遭遇同类漏洞攻破，随着 AI 智能体普及，依托社会心理操控的攻击手段将愈发常见。</p>
              <adv-loader __attr__inner="7004636" __attr__style="width: auto;position: relative;float: left;border: 1px solid #ebebeb; padding: 20px;overflow: hidden;margin: 10px 30px 40px 0;"></adv-loader>
            <p>值得关注的是，Anthropic 长期以 AI 安全为核心优势，在过往多项红队安全测试中表现优异，但此次测试暴露其安全流程存在疏漏。Mindgard 于 4 月中旬按该公司漏洞披露政策上报发现后，仅收到模板化回复，且被误判为账号封禁咨询，截至相关时间节点仍未获正式回应。（纯钧）</p></section><img src='/image/153844-0' alt='AI安全防线再遭突破：心理诱导让Claude主动输出违禁内容'> 
        
        
        <div class="art-版权@|备案:<a href="https://beian.miit.gov.cn/" rel="nofollow" target="_blank">粤IP*******</a>|<a href="/sitemap.xml">网站地图</a><div><strong cclass="addr">本文地址：</strong> <a href="{dede:field name='arcurl'/}">{dede:field name='arcurl'/}</a></div>
          <div><span class="版权@|备案:<a href="https://beian.miit.gov.cn/" rel="nofollow" target="_blank">粤IP*******</a>|<a href="/sitemap.xml">网站地图</a></span>本文发布于抖音培训网 内容均来源于互联网 如有侵权联系删除</div>
        </div>
        <div class="social-widget mt clearfix"> 
           
           
        </div>
      </div>
    </article>
    
    <div class="prev-next sb br mb clearfix">
      <p class="post-prev fl ellipsis"> <a href="/detail/79787.html" title=" arm在低功耗下的效率是x86的两倍以上，为何掌机还不使用arm芯片？"> 上一篇 : arm在低功耗下的效率是x86的两倍以上，为何掌机还不使用arm芯片？ </a> </p>
      <p class="post-next fr ellipsis"> <a href="/detail/79355.html" title="为什么山姆这么受欢迎？"> 下一篇 : 为什么山姆这么受欢迎？ </a> </p>
    </div>
    
    <div class="related-art sb br mb">
      <p class="c-title"><span class="name">相关文章</span></p>
      <ul class="ul clearfix">
                <li class="related-item mt fl"> <a href="/detail/79112.html" title="有什么是你去了上海才知道的事情？"> <span class="span"> <img class="img br img-cover" src="/public/tupian/44.jpeg" alt="有什么是你去了上海才知道的事情？"> </span>
          <p class="titile">有什么是你去了上海才知道的事情？</p>
          </a> </li>
                <li class="related-item mt fl"> <a href="/detail/79422.html" title="鸿蒙折叠屏笔记本为什么敢卖26999？"> <span class="span"> <img class="img br img-cover" src="/public/tupian/44.jpeg" alt="鸿蒙折叠屏笔记本为什么敢卖26999？"> </span>
          <p class="titile">鸿蒙折叠屏笔记本为什么敢卖26999？</p>
          </a> </li>
                <li class="related-item mt fl"> <a href="/detail/79846.html" title="怎么评价国内AI企业人肉背15块80TB硬盘，飞去马来西亚用英伟达训练数据，以规避美国禁令?"> <span class="span"> <img class="img br img-cover" src="/public/tupian/99.jpeg" alt="怎么评价国内AI企业人肉背15块80TB硬盘，飞去马来西亚用英伟达训练数据，以规避美国禁令?"> </span>
          <p class="titile">怎么评价国内AI企业人肉背15块80TB硬盘，飞去马来西亚用英伟达训练数据，以规避美国禁令?</p>
          </a> </li>
                <li class="related-item mt fl"> <a href="/detail/79511.html" title="你手机中最舍不得卸载的APP是什么？"> <span class="span"> <img class="img br img-cover" src="/public/tupian/1.jpeg" alt="你手机中最舍不得卸载的APP是什么？"> </span>
          <p class="titile">你手机中最舍不得卸载的APP是什么？</p>
          </a> </li>
                <li class="related-item mt fl"> <a href="/detail/79157.html" title="吃爽了是怎样一种体验？"> <span class="span"> <img class="img br img-cover" src="/public/tupian/16.jpeg" alt="吃爽了是怎样一种体验？"> </span>
          <p class="titile">吃爽了是怎样一种体验？</p>
          </a> </li>
                <li class="related-item mt fl"> <a href="/detail/79730.html" title="要不要帮导师装服务器?"> <span class="span"> <img class="img br img-cover" src="/public/tupian/99.jpeg" alt="要不要帮导师装服务器?"> </span>
          <p class="titile">要不要帮导师装服务器?</p>
          </a> </li>
              </ul>
    </div>
    <!--<div id="comment" class="post-comment clearfix sb br mt">
      <p id="comments-title" class="c-title mb bn"><span>发表评论</span> <span class="comment-num"> （已有<span class="emphasize">0</span>条评论） </span></p>
      <div class="compost">
        <form id="frmSumbit" target="_self" method="post" action="">
          <input type="hidden" name="inpId" id="inpId" value="162"/>
          <input type="hidden" name="inpRevID" id="inpRevID" value="0"/>
          <div class="com-name"> <a rel="nofollow" id="cancel-reply" href="#comments" style="display:none;">取消回复</a> </div>
          <div class="com-info">
            <ul>
              <li> <span class="hide" for="author"></span>
                <input class="ipt" type="text" name="inpName" id="inpName" value="" tabindex="2" placeholder="昵称(必填)">
              </li>
              <li> <span class="hide" for="author"></span>
                <input class="ipt" type="text" name="inpEmail" id="inpEmail" value="" tabindex="3" placeholder="邮箱">
              </li>
              <li> <span class="hide" for="author"></span>
                <input class="ipt" type="text" name="inpHomePage" id="inpHomePage" value="" tabindex="4" placeholder="网址">
              </li>
            </ul>
          </div>
          <div class="com-box">
            <textarea placeholder="来都来了，说点什么吧..." class="textarea" name="txaArticle" id="txaArticle" cols="5" rows="5" tabindex="1">

还木有评论哦，快来抢沙发吧~

-->