過半電商網站訪問量來自爬蟲！“爬蟲AI化”給防控威脅帶來新挑戰(zhàn)

8月6日消息，近日，負責支持和保護網絡生活的云服務提供商Akamai發(fā)布的最新SOTI報告《侵蝕您的利潤：網絡爬蟲程序對電商行業(yè)有何影響》顯示，在針對電商網站的69億次請求進行分析時發(fā)現(xiàn)，人類訪問行為占據(jù)了49%，即接近一半的訪問量來自真實用戶，而剩余的略多于一半則是由各類機器人“爬蟲”完成的。其中，高風險類別的爬蟲占據(jù)了總爬蟲活動的27%，它們對企業(yè)的運營構成了嚴重威脅，可能執(zhí)行諸如撞庫、數(shù)據(jù)竊取、庫存惡意抓取等惡意行為。

爬蟲是“Robot”（機器人）的縮寫，它是一段能夠模擬正常用戶行為的代碼。與瀏覽器不同，爬蟲在執(zhí)行任務時更為高效且針對性強，能夠迅速抓取目標信息。

業(yè)內根據(jù)爬蟲行為性質與影響，將爬蟲分為幾大類：善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利；中性爬蟲往往很嘈雜，盡管它們仍然是合法的；它們實際上是好機器人的一個子類別，包括不斷發(fā)送請求的合作伙伴機器人和其他頻繁調用程序API的機器人；而有害的爬蟲，則可能從事撞庫攻擊、庫存抓取等惡意行為，嚴重損害企業(yè)利益與安全。

那么，在電商環(huán)境中，不法分子如何利用爬蟲技術從中獲利呢？

通過爬蟲技術來搶購“全網最低價”商品，進而倒賣賺取差價，是其中重要的一種獲利方式。首先，爬蟲會廣泛搜集銷售這些產品的網站數(shù)據(jù)，包括價格、庫存等關鍵信息。隨后，通過對比分析，找出價格最優(yōu)、優(yōu)惠力度最大的電商平臺。基于這些信息，不法分子可能在另一個平臺上開設店鋪，以準新或全新未開封的產品進行轉售，利用價格優(yōu)勢實現(xiàn)盈利。

當然，爬蟲帶來的問題遠不止于此。對于電商網站而言，由于爬蟲與真實用戶的訪問量相當，且爬蟲通常部署在云端或高性能服務器上，其訪問效率遠超普通用戶。這導致電商網站在處理爬蟲請求時可能消耗大量資源，進而影響正常用戶的訪問體驗，降低網站轉化率。此外，爬蟲還可能干擾市場營銷分析工具的數(shù)據(jù)收集，導致決策依據(jù)失真。更糟糕的是，某些爬蟲專注于抓取特定產品頁面的深層鏈接，可能導致這些頁面因請求量過大而無法正常服務。

Akamai北亞區(qū)技術總監(jiān) 劉燁

Akamai北亞區(qū)技術總監(jiān)劉燁向TechWeb表示，電商領域爬蟲如此活躍背后，有幾個原因：

一是，在電商領域，設計或編寫一個爬蟲程序已變得相當便捷，得益于互聯(lián)網上廣泛提供的“爬蟲即服務”（Scraper as a Service, SaaS）模式。這些服務不僅簡化了爬蟲的開發(fā)流程，還提供了豐富的功能選項，從內容抓取到數(shù)據(jù)分析一應俱全。盡管它們中的大多數(shù)聚焦于中性爬蟲應用，旨在幫助用戶進行市場調研、競品分析等非惡意活動，但同時也需警惕其潛在的濫用風險。

二是，隨著技術的進步，爬蟲服務日益智能化，融入了AI和機器學習技術，Bot變成了AI Botnets，它們能夠自動從多個數(shù)據(jù)源抓取內容，通過預設的邏輯進行數(shù)據(jù)抽取與分析，最終輔助用戶制定競爭策略、優(yōu)化產品定位及價格策略等。這種一站式解決方案，無論是對于尋求業(yè)務增長的合法用戶，還是意圖不當?shù)膼阂馐褂谜?，都提供了極大的便利。

需要注意的是，爬蟲越來越難以識別。特別是采用“無頭瀏覽器”等技術的爬蟲，能夠模擬人類訪問行為，使得傳統(tǒng)安全手段難以有效識別與攔截。同時，很多Botnets，尤其是AI Botnets，采用了多種“反封禁”策略，導致技術上識別變得更加困難。此外，爬蟲會不斷變化，防住一次后，下一次可能會出現(xiàn)變種，這對企業(yè)構成了巨大的挑戰(zhàn)。傳統(tǒng)安全手段難以有效識別與攔截。這要求電商網站必須采取更為先進的策略來區(qū)分正常訪問與惡意爬蟲。

對于企業(yè)和安全廠商來說，最大挑戰(zhàn)就是識別爬蟲的難度加大，管理和封禁這些爬蟲的難度也隨之增加。

對此，劉燁給電商企業(yè)利用和防控爬蟲技術提出兩步走建議：首先，要能夠識別Bot；其次，針對不同類型的Bot，采取相應的應對措施。

Akamai提出了雙重應對策略：首先，在邊緣網絡層面，我們利用預定義的訪問異常特征和協(xié)議指紋來快速識別并限制惡意爬蟲。其次，通過深入分析訪問行為（如鼠標移動軌跡、鍵盤敲擊模式）和設備指紋，結合機器學習模型，進一步細化識別精度，確保對潛在威脅的精準打擊。例如，對于掃描漏洞、抓取內容或竊取用戶信息的惡意爬蟲，采用更為嚴格的防護機制；而對于那些有助于提升網站質量或服務的良性爬蟲，則采取更加靈活的管理策略。同時，Akamai采取更多自動化策略。當出現(xiàn)新的攻擊類型時，不需要人為干預，策略引擎能夠自動部署新的策略，有針對性地阻止這些新攻擊。這是應對快速變化的攻擊類型和產品演進的重要措施。

Akamai以雙重應對策略、邊緣網絡快速識別及機器學習精細化識別技術，不僅能夠有效抵御惡意爬蟲的侵害，還確保了電商網站的穩(wěn)定運行與數(shù)據(jù)安全。隨著網絡威脅的不斷演變，Akamai將持續(xù)創(chuàng)新，為企業(yè)提供更加智能、高效的安全解決方案，引領行業(yè)安全標準的新高度。（果青）

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。