研究人員曝微軟Copilot存在漏洞，可被黑客操縱變?yōu)榫W(wǎng)絡(luò)釣魚工具

極客網(wǎng)·網(wǎng)絡(luò)安全8月12日 微軟正在全力推廣生成式AI工具Copilot，如果你想了解即將召開的公司會議，Copilot可以從郵件、Teams聊天記錄、文件中搜集相關(guān)資料，給出答案。但有利就有弊，報告顯示，Copilot可能會被黑客利用。

在最近舉行的拉斯維加斯黑帽技術(shù)大會（Black Hat）會議上，研究人員Michael Bargury 展示了5種Copilot被黑客操縱的新方式。例如，利用Copilot給出錯誤的文件引用、竊取私密數(shù)據(jù)、避開微軟安全防護(hù)。

被操縱的Copilot可變成網(wǎng)絡(luò)釣魚工具

最讓人擔(dān)心的是，Michael Bargury居然可以把Copilot變成網(wǎng)絡(luò)釣魚工具。黑客可以進(jìn)入用戶的工作郵件，用Copilot定期觀察，看你經(jīng)常給誰發(fā)郵件，然后模擬用戶寫作風(fēng)格進(jìn)行寫作，甚至模擬用戶經(jīng)常使用的表情符號，然后將個性化寫作內(nèi)容發(fā)給對方，里面可能有惡意軟件鏈接。

Michael Bargury說：“只要你和某人對過話，我就可以將類似信息發(fā)送給他，我可以代表你發(fā)送成百上千的郵件?！?/p>

Michael Bargury是安全公司Zenity的聯(lián)合創(chuàng)始人、CEO，他公布視頻，證明Copilot完全有可能會被濫用。Michael Bargury還說：“以前一名黑客可能會花幾天時間精心制作郵件，引誘他人點擊，現(xiàn)在他更厲害了，可以在幾分鐘內(nèi)就生成幾百封這樣的郵件。”

在攻擊時，Michael Bargury用到了大語言模型，但黑客可以添加數(shù)據(jù)或者指令，達(dá)成特定結(jié)果。事實證明，現(xiàn)在的AI系統(tǒng)仍面臨挑戰(zhàn)，當(dāng)我們讓系統(tǒng)和企業(yè)數(shù)據(jù)聯(lián)系時，如果放入不可信外部數(shù)據(jù)，它往往難以分辨。

當(dāng)然，完成操作時黑客先要獲取郵件賬戶密碼，一些黑客甚至還可以獲取更敏感的信息，比如受害者的工資是多少，微軟敏感文件防御措施完全失效。即使沒有拿到郵件賬戶信息，黑客也可以發(fā)起攻擊，它可以先用惡意郵件污染AI數(shù)據(jù)庫，然后操縱與銀行信息有關(guān)的答案。每一次當(dāng)AI訪問數(shù)據(jù)時就是一次攻擊機會。

在一次演示中，外部黑客獲取財報會議相關(guān)信息，會議即將召開，黑客可以提前得知業(yè)績是好還是壞；還有，黑客可以將Copilot變成“惡意內(nèi)鬼”，它向用戶發(fā)送釣魚網(wǎng)站鏈接。

微軟AI事件偵測和響應(yīng)主管Phillip Misner表示，Michael Bargury發(fā)現(xiàn)了產(chǎn)品存在的漏洞，公司十分感謝，微軟正在與Michael Bargury合作解決問題。

Phillip Misner強調(diào)：“濫用AI所存在的PCS（Post-Compromise security，后向安全）風(fēng)險和其它PCS風(fēng)險是相似的，通過跨環(huán)境、跨事件安全預(yù)防和監(jiān)測可以降低惡意行為的發(fā)生，甚至可以阻止該行為?！?/p>

外部數(shù)據(jù)進(jìn)入AI系統(tǒng)會帶來安全風(fēng)險

不論是OpenAI的ChatGPT還是微軟的Copilot，亦或是谷歌Gemini，它們都有可能代替人完成一些工作，比如在線購物、預(yù)訂會議。但安全專家警告稱，允許外部數(shù)據(jù)進(jìn)入AI系統(tǒng)可能會帶來安全風(fēng)險。

安全研究員Johann Rehberger稱：“到底攻擊者的效率已經(jīng)提升到了什么程度？我們對此并無清晰認(rèn)知。我們應(yīng)該擔(dān)心的是，到底大語言模型生成了什么，它又向用戶發(fā)送了什么?！?/p>

Michael Bargury認(rèn)為，微軟花了許多精力保護(hù)Copilot系統(tǒng)，防止工具遭到植入式攻擊，但他仍然通過解構(gòu)系統(tǒng)構(gòu)造找到了攻擊方法。黑客可以抽取內(nèi)部系統(tǒng)提示語，然后搞清為什么AI可以訪問企業(yè)資源，背后使用了哪些技術(shù)。

Michael Bargury稱：“當(dāng)你與Copilot對話時，這種對話是有限的，因為微軟施加了許多控制。但是如果使用一些極少數(shù)的魔法式詞匯，系統(tǒng)就會門戶洞開，然后你就可以為所欲為?！?/p>

有些數(shù)據(jù)問題與企業(yè)的長期問題聯(lián)系在一起，比如企業(yè)讓太多人訪問文件，沒有在組織內(nèi)設(shè)置好權(quán)限。有時Copilot存在的問題恰好處于此問題之上，如果公司的長期問題不解決，Copilot問題也難以解決。

研究人員普遍認(rèn)為，我們應(yīng)該監(jiān)控AI生成了什么，看看它給用戶發(fā)送了什么。AI是如何與環(huán)境互動的？它是如何與數(shù)據(jù)互動的？它是如何代表個人執(zhí)行任務(wù)的？這些問題需要好好思考，里面有很大的風(fēng)險。AI代理（Agent）到底代表人類做了什么？我們很有必要搞清楚。（小刀）

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。