數(shù)據(jù)中毒可能會扼殺人工智能和機器學(xué)習(xí)

人工智能 (AI) 可能為各種規(guī)模的企業(yè)開辟了新的機會和市場，但對于不同的黑客群體來說，這為通過稱為數(shù)據(jù)中毒的過程欺騙機器學(xué)習(xí) (ML) 系統(tǒng)提供了機會。

“數(shù)據(jù)中毒”（Data poisoning）是一種特殊的對抗攻擊，是針對機器學(xué)習(xí)和深度學(xué)習(xí)模型行為的一系列技術(shù)。 惡意行為者可以利用數(shù)據(jù)中毒為自己打開進(jìn)入機器學(xué)習(xí)模型的后門，從而繞過由人工智能算法控制的系統(tǒng)。數(shù)據(jù)中毒攻擊旨在通過插入錯誤標(biāo)記的數(shù)據(jù)來修改模型的訓(xùn)練集，目的是誘使它做出錯誤的預(yù)測。

專家表示，這些攻擊每天都在被忽視，這不僅會損失企業(yè)的潛在收入，還會感染機器學(xué)習(xí)系統(tǒng)，這些系統(tǒng)繼續(xù)重新感染那些依賴用戶輸入進(jìn)行持續(xù)訓(xùn)練的機器學(xué)習(xí)模型。

麥肯錫認(rèn)為AI-ML技術(shù)的潛在全球影響價值為10萬億美元至15萬億美元，并表示該領(lǐng)域的早期領(lǐng)導(dǎo)者已經(jīng)看到5年股東總回報增加了 250%。但是，當(dāng)麥肯錫向1000 多名高管詢問他們的數(shù)字化轉(zhuǎn)型工作時，72% 的受訪組織表示他們沒有成功擴展。

即使是剛開始使用黑魔法的黑客也發(fā)現(xiàn)數(shù)據(jù)中毒攻擊相對容易執(zhí)行，因為創(chuàng)建“污染”數(shù)據(jù)通?？梢栽诓涣私庖绊懙南到y(tǒng)的情況下完成。操縱自動補全以影響產(chǎn)品評論和政治虛假宣傳活動每天都在發(fā)生。

針對機器學(xué)習(xí)的攻擊通常被認(rèn)為集中在兩個要素上：攻擊者擁有的信息和攻擊的時機，這解釋了ML算法、模型和數(shù)據(jù)安全解決方案提供商HiddenLayer的Eoin Wickens、Marta Janus和Tom Bonner最近進(jìn)行的研究。

攻擊者可以通過修改現(xiàn)有數(shù)據(jù)集中的條目或向數(shù)據(jù)集中注入被篡改的數(shù)據(jù)來執(zhí)行數(shù)據(jù)中毒，這些數(shù)據(jù)可以更容易地輸入到那些基于在線機器學(xué)習(xí)的服務(wù)中，這些服務(wù)通過用戶提供的輸入不斷地重新訓(xùn)練。

有時，黑客只是想降低機器學(xué)習(xí)模型的整體可靠性，也許是為了實現(xiàn)與 ML 模型旨在產(chǎn)生的檢查相反的決定。在更有針對性的攻擊中，目標(biāo)可能是一個更具體的錯誤結(jié)果，同時保持其他人的準(zhǔn)確性，這些可能會在很長一段時間內(nèi)被忽視。

包括自動補全、聊天機器人、垃圾郵件過濾器、入侵檢測系統(tǒng)、金融欺詐預(yù)防甚至醫(yī)療診斷工具在內(nèi)的技術(shù)都容易受到數(shù)據(jù)中毒攻擊，因為它們使用在線訓(xùn)練或持續(xù)學(xué)習(xí)模型。

NCC Group首席科學(xué)家Chris Anley在他最近的論文Practical Attacks on Machine Learning Systems中解釋說，黑客和不良行為者可能旨在將系統(tǒng)與精心制作的不良數(shù)據(jù)混淆，以添加“后門”行為。

“例如，用于身份驗證的面部識別系統(tǒng)可能會被操縱，以允許任何佩戴特定眼鏡的人被歸類為某個用戶，而在其他情況下，系統(tǒng)會正常運行，”Anley 解釋說?！?/p>

Anley說，現(xiàn)在需要采取行動，因為越來越多的證據(jù)突出了必須解決的問題。Anley 還表示，用于訓(xùn)練系統(tǒng)的敏感數(shù)據(jù)通?？梢员还粽呋謴?fù)并用于攻擊系統(tǒng)，而神經(jīng)網(wǎng)絡(luò)分類器可能是“脆弱的”，因為它們可能被迫對數(shù)據(jù)進(jìn)行錯誤分類。他補充說，現(xiàn)有的對策可能會降低準(zhǔn)確性，甚至為其他攻擊打開大門。遠(yuǎn)程黑客可以提取經(jīng)過訓(xùn)練的 ML 模型的高保真副本，為他們提供一個馴服的示例，以觀察和學(xué)習(xí)未來的攻擊。

“雖然由于可能存在各種緩解措施，利用這些問題并不總是可行，但這些新形式的攻擊已經(jīng)得到證明，并且在實際場景中肯定是可行的?！盇nley 說。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。