本文作者：Sally Ward-Foxton
計算機視覺是否會再次自我改造？
匹茲堡大學眼科教授、CMU 機器人研究所兼職教授 Ryad Benosman 認為確實如此。作為基于事件的視覺技術的創(chuàng)始人之一，Benosman 預計神經(jīng)形態(tài)視覺——基于基于事件的相機的計算機視覺——將成為計算機視覺的下一個方向。
“計算機視覺已經(jīng)被重新發(fā)明了很多很多次，”Benosman說?！拔乙呀?jīng)看到它至少重新發(fā)明了兩次。”
Benosman 提到了 1990 年代從帶有一點攝影測量的圖像處理到基于幾何的方法的轉變，然后是今天機器學習的快速發(fā)展。盡管發(fā)生了這些變化，現(xiàn)代計算機視覺技術仍然主要基于圖像傳感器——產(chǎn)生類似于人眼所見圖像的相機。
根據(jù) Benosman 的說法，在圖像傳感范式不再有用之前，它會阻礙替代技術的創(chuàng)新。高性能處理器（例如 GPU）的發(fā)展推遲了尋找替代解決方案的需要，因此延長了這種影響。
“我們?yōu)槭裁磳D像用于計算機視覺？這是一個價值百萬美元的問題，”他說?！拔覀儧]有理由使用圖像——這只是因為歷史的動力。甚至在沒有相機之前，圖像就有動力。”
圖像相機自從公元前五世紀針孔相機出現(xiàn)以來，圖像相機就一直存在到 1500 年代，藝術家們使用房間大小的設備將房間外的人或風景的圖像追蹤到畫布上。多年來，這些畫被替換為膠片來記錄圖像。數(shù)碼攝影等創(chuàng)新最終使圖像相機很容易成為現(xiàn)代計算機視覺技術的基礎。
然而，Benosman 認為，基于圖像相機的計算機視覺技術效率極低。他的比喻是中世紀城堡的防御系統(tǒng)：位于城墻周圍的衛(wèi)兵四處尋找接近的敵人。鼓手穩(wěn)定地敲打，每一個鼓點，每個守衛(wèi)都會大聲喊出他們所看到的。在一片喧嘩中，聽到一個守衛(wèi)在遙遠的森林邊緣發(fā)現(xiàn)敵人是多么容易？
21 世紀的鼓點硬件等價物是電子時鐘信號，而守衛(wèi)是像素。大量數(shù)據(jù)被創(chuàng)建并且必須在每個時鐘周期進行檢查，這會導致大量冗余信息，從而需要大量不必要的計算。
“人們正在燃燒如此多的能量，它占用了城堡的整個計算能力來保護自己，”Benosman說。如果發(fā)現(xiàn)了一個有趣的事件——在這個類比中以敵人為代表——“你必須四處走動收集無用的信息，人們到處尖叫，所以帶寬很大……現(xiàn)在想象你有一座復雜的城堡。所有這些人都必須被聽到。”
進入神經(jīng)形態(tài)視覺?；舅枷胧艿缴锵到y(tǒng)工作方式的啟發(fā)，即檢測場景動態(tài)的變化，而不是連續(xù)分析整個場景。在我們的城堡類比中，這意味著讓守衛(wèi)保持安靜，直到他們看到感興趣的東西，然后喊出他們的位置以發(fā)出警報。在電子版中，這意味著讓單個像素確定他們是否看到相關的東西。
“像素可以自行決定他們應該發(fā)送什么信息，”Benosman說。
“他們可以尋找有意義的信息——特征，而不是獲取系統(tǒng)信息。這就是與眾不同的地方?！?/p>
與固定頻率的系統(tǒng)采集相比，這種基于事件的方法可以節(jié)省大量功率并減少延遲。
“你想要一些更具適應性的東西，這就是[基于事件的視覺]的相對變化給你的東西——適應性采集頻率，”他說?！爱斈阌^察幅度變化時，如果某些東西移動得非?？?，我們就會得到很多樣本。如果某些東西沒有改變，你會得到幾乎為零，所以你正在根據(jù)場景的動態(tài)調整你的采集頻率。這就是它帶來的東西。這就是為什么它是一個好的設計?！?/p>
Benosman 于 2000 年進入神經(jīng)形態(tài)視覺領域，他堅信先進的計算機視覺永遠無法發(fā)揮作用，因為圖像不是正確的方法。
“最大的轉變是說我們可以在沒有灰度和沒有圖像的情況下進行視覺，這在 2000 年底是異端——完全是異端，”他說。
Benosman 提出的技術——今天基于事件的傳感的基礎——是如此不同，以至于提交給當時最重要的 IEEE 計算機視覺期刊的論文在未經(jīng)審查的情況下被拒絕。事實上，直到 2008 年動態(tài)視覺傳感器 (DVS) 的開發(fā)，該技術才開始獲得動力。
神經(jīng)科學靈感神經(jīng)形態(tài)技術是受生物系統(tǒng)啟發(fā)的技術，包括終極計算機：大腦及其神經(jīng)元，或計算元素。問題是沒有人完全理解神經(jīng)元是如何工作的。雖然我們知道神經(jīng)元對傳入的稱為尖峰的電信號起作用，但直到最近，研究人員仍將神經(jīng)元描述為相當草率，認為只有尖峰的數(shù)量很重要。這個假設持續(xù)了幾十年，但最近的工作證明，這些尖峰的時間是絕對關鍵的，并且大腦的結構會在這些尖峰中產(chǎn)生延遲來編碼信息。
今天的尖峰神經(jīng)網(wǎng)絡模擬大腦中看到的尖峰信號，是真實事物的簡化版本——通常是尖峰的二進制表示?！拔沂盏揭粋€ 1，我醒來，我計算，我睡覺，”Benosman 解釋說?，F(xiàn)實要復雜得多。當尖峰到來時，神經(jīng)元開始隨著時間的推移對尖峰的值進行積分；神經(jīng)元也有泄漏，這意味著結果是動態(tài)的。此外，大約有 50 種不同類型的神經(jīng)元具有 50 種不同的集成配置文件。
當前的電子版本缺少集成的動態(tài)路徑、神經(jīng)元之間的連接性以及不同的權重和延遲。“問題在于，要制造出有效的產(chǎn)品，你不能[模仿]所有的復雜性，因為我們不理解它，”他說?！叭绻覀冇泻玫拇竽X理論，我們就會解決它。問題是，我們只是不知道?！?/p>
Bensoman 經(jīng)營著一個獨特的實驗室，致力于了解皮層計算背后的數(shù)學原理，旨在創(chuàng)建新的數(shù)學模型并將其復制為硅設備。這包括直接監(jiān)測來自真實視網(wǎng)膜的尖峰。
目前，Bensoman反對忠實地復制生物神經(jīng)元，稱這種方法是過時的。
“在硅中復制神經(jīng)元的想法的產(chǎn)生是因為人們觀察了晶體管并看到了一個看起來像真正神經(jīng)元的機制，所以一開始它背后有一些想法，”他說?！拔覀儧]有細胞；我們有硅。你需要適應你的計算基板，而不是相反……如果我知道我在計算什么并且我有芯片，我可以優(yōu)化這個方程式并以最低的成本、最低的功耗、最低的延遲運行它。”
處理能力無需精確復制神經(jīng)元這一認識以及 DVS 相機的發(fā)展是當今視覺系統(tǒng)背后的驅動力。雖然系統(tǒng)已經(jīng)上市，但在完全類似于人類的視覺可用于商業(yè)用途之前，還需要取得進展。
Benosman 說，最初的 DVS 相機具有“大而粗的像素”，因為光電二極管本身周圍的組件大大降低了填充因子。雖然對開發(fā)這些攝像機的投資加速了這項技術，但貝諾斯曼明確表示，今天的事件攝像機只是對早在 2000 年開發(fā)的原始研究設備的改進。索尼最先進的 DVS 攝像機，三星和 Omnivision 擁有微小的像素，融合了 3D 堆疊等先進技術并降低了噪點。Benosman 擔心的是今天使用的傳感器類型能否成功擴大規(guī)模。
“問題是，一旦你增加像素數(shù)量，你就會得到大量數(shù)據(jù)，因為你的速度仍然非?？欤彼f?！澳憧赡苋匀豢梢詫崟r處理它，但是你會從太多的像素中得到太多的相對變化。這現(xiàn)在正在殺死所有人，因為他們看到了潛力，但他們沒有合適的處理器來支持它?！?/p>
通用神經(jīng)形態(tài)處理器落后于 DVS 相機對應物。一些業(yè)內最大的參與者（IBM Truenorth、英特爾 Loihi）的努力仍在進行中。Benosman 表示，正確的處理器和正確的傳感器將是無與倫比的組合。
“[今天的 DVS] 傳感器速度極快，帶寬超低，動態(tài)范圍大，因此您可以在室內和室外看到，”Benosman 說?！斑@是未來。它會起飛嗎？絕對地?！?/p>
“誰能把處理器放在那里并提供完整的堆棧，誰就贏了，因為它將是無與倫比的，”他補充道。
- 蜜度索驥：以跨模態(tài)檢索技術助力“企宣”向上生長
- 國家發(fā)改委成立低空經(jīng)濟發(fā)展司
- 什么是人工智能網(wǎng)絡？ | 智能百科
- 工信部：2025年推進工業(yè)5G獨立專網(wǎng)建設
- 人工智能如何改變全球智能手機市場
- 企業(yè)網(wǎng)絡安全挑戰(zhàn)頻出？Fortinet 給出破解之法
- 2025年生成式人工智能將如何影響眾行業(yè)
- 報告：人工智能推動數(shù)據(jù)中心系統(tǒng)支出激增25%
- 千家早報|馬斯克預測：人工智能或將超越單個人類；鴻蒙生態(tài)（武漢）創(chuàng)新中心啟用，推動鴻蒙軟硬件在武漢首試首用——2024年12月27日
- 中移建設被拉入軍采“黑名單”
- 大理移動因違規(guī)套現(xiàn)等問題，擬被列入軍采失信名單
免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
