谷歌地圖重大升級 用深度學習實時更新街景

雷鋒網AI科技評論按：每天，谷歌地圖都為成千上百萬的人們提供方位指示，實時路況信息以及商業(yè)信息。為了提供最佳的用戶體驗，地圖信息需要不斷的根據(jù)現(xiàn)實世界的變化做出調整。街景車每天收集數(shù)百萬張圖片，如果用人工分析每天超過800億張高清晰圖片來找出其中的新變化或者更新地圖信息，顯然是不可能的。因此，谷歌地面實況團隊（Ground Truth team）的目標之一，就是從地理位置圖像自動提取信息來升級谷歌地圖。

雷鋒網(公眾號：雷鋒網)了解到，在“從街景圖像中提取基于注意機制的結構化信息”（Attention-based Extraction of Structured Information from Street View Imagery）一文中，谷歌描述了所采用的方法——怎樣在街景視圖中使用深度神經網絡自動且準確無誤地讀出街道名稱。我們的算法系統(tǒng)在挑戰(zhàn)“法國街道名稱識別數(shù)據(jù)集”（French Street Name Signs (FSNS) dataset）中達到了84.2%的正確率，明顯優(yōu)于之前的最優(yōu)系統(tǒng)。重要的是，谷歌的系統(tǒng)在提取其他類型信息也是很容易擴展的。比如現(xiàn)在幫助谷歌自動提取商店前面的商戶名稱。目前該模型已經開源。

圖中為法國街道名稱標識數(shù)據(jù)集中的一個例子，被谷歌的系統(tǒng)正確識別。上圖為同一標識的四種不同視角

自然環(huán)境中的文本識別在計算機視覺和機器學習上是一個非常具有挑戰(zhàn)性的問題。傳統(tǒng)的光學字符識別（OCR）系統(tǒng)主要側重于從掃描的文檔中提取文本。在自然場景中由于視覺偽影，如失真、閉塞、定向模糊、雜亂的背景或不同的角度給提取文本提升了難度。谷歌從2008年開始致力于解決這一問題，使用神經網絡模糊了街景圖像中的臉和車牌，以保護谷歌用戶的隱私。從最初的研究中，團隊意識到經過足夠的標記數(shù)據(jù)訓練后，機器學習不僅能保護用戶的隱私，而且還可以自動升級谷歌地圖相關的最新信息。

2014年谷歌地面實況團隊在街景門牌號數(shù)據(jù)集（SVHN）上公布了讀取街道號碼的方法，隨后暑期實習生Ian Goodfellow（現(xiàn)為谷歌員工）進行了運用。這個工作不僅是出于對學術的興趣，而且也是使谷歌地圖更為精確的關鍵。如今得益于這個系統(tǒng)，超過三分之一的全球地址已經在谷歌地圖上有了自己的位置。在一些國家，如巴西，這個算法增加了超過90%的谷歌地圖地址，大大提高了谷歌地圖的可用性。

下一步是將這些技術擴展到街道名稱。為了解決這個問題，谷歌創(chuàng)建和發(fā)布了法國街道名稱標志（French Street Name Signs，F(xiàn)SNS），有超過100萬的街道名稱訓練數(shù)據(jù)集，旨在提高人們對OCR模型在實際使用情況下的認識。FSNS是谷歌經過多年的努力而構建的，它比SVHN數(shù)據(jù)集更加龐大，也更具挑戰(zhàn)性，因為如果要準確識別某個街道標識，可能需要對各個角度所拍攝的圖片進行整合處理。

上圖是識別起來很有難度的一些標識，也被谷歌系統(tǒng)通過對圖像的理解而正確判斷了。尤其是第二個，不過這個模型在之前學習了語言模型，使其能夠消除歧義，并正確識別出街道名。值得一提的是，在FSNS數(shù)據(jù)集中，同一路標在少于四個獨立視圖的情況下會以增加隨機噪聲的方式。

谷歌實習生Zbigniew Wojnazai在2016年夏天用這個數(shù)據(jù)集開發(fā)了一個深度學習模型，它能夠自動標注新的街景視圖。這個新模型的一個優(yōu)點是，它可以根據(jù)日常的命名習慣進行文本規(guī)范。

上圖的例子中，可以將"AV."轉化為"Avenida"，"PRES."轉化為“Presidente”這是我們期望看到的結果

在這個圖中，模型沒有被圖中的兩個街道名稱迷惑，將"Av"正確轉化為"Avenue",同時也識別出了數(shù)字"1600"

盡管這個模型非常精確，它依然有15.8%的序列錯誤率。不過，在分析錯誤樣本后，團隊發(fā)現(xiàn)，其中48%是由于地面實況錯誤，也就是說，模型與標記質量呈現(xiàn)的準確度基本一致。（在我們的論文中有詳細的錯誤率分析）

這個新系統(tǒng)結合了提取街道號碼技術，使我們能夠直接從圖像創(chuàng)建新的地址?，F(xiàn)在，每當一輛街景車在新建的道路上行駛時，我們的系統(tǒng)可以捕捉上千萬張圖像，提取街道名稱和數(shù)字，并自動在谷歌地圖上創(chuàng)建和定位新地址。

但自動為谷歌地圖創(chuàng)建地址是不夠的。此外，我們還希望能夠為商業(yè)提供導航。在2015，我們發(fā)表了“從街景圖像中進行大規(guī)模的商業(yè)發(fā)現(xiàn)”（Large Scale Business Discovery from Street View Imagery）一文，文中提出了一種方法可以準確地檢測商店外墻的標志。然而，檢測到商店外墻，仍然需要準確地提取它的有用名稱。模型必須找出哪個文本是商戶名稱，哪些文本是不相關的。谷歌稱這種提取為“結構化文本”信息的提取。它不只是文字，而是具有語義意義的文本。

使用不同的訓練數(shù)據(jù)，我們用來讀取街道名稱的模型結構也可以用來準確地提取商業(yè)名稱。在這種特殊情況下，如果我們已經知道這個商戶在谷歌地圖的位置，可以只提取商業(yè)名稱來進行驗證，使之能夠更準確地更新商業(yè)列表。

如上圖所示，雖然沒有從圖片中獲得任何有關真實地址的信息，但系統(tǒng)還是正確識別出了商戶的名字Zelina Pneus，而且沒有被旁邊的輪胎品牌所騙。

模型需要處理800多億個街景圖像，需要強大的計算能力。這就是為什么谷歌地面實況團隊采用TPU，可以大幅減少我們的推理計算成本。

人們依賴于谷歌地圖的精準性來協(xié)助他們工作和生活。同時，在景觀、道路和商業(yè)不斷變化的情況下，谷歌地圖的更新所面臨的技術挑戰(zhàn)，遠遠還沒有解決。為超過十億的谷歌地圖用戶創(chuàng)造更好的用戶體驗，一直是谷歌地面實況團隊追求的目標。

雷鋒網AI科技評論按：每天，谷歌地圖都為成千上百萬的人們提供方位指示，實時路況信息以及商業(yè)信息。為了提供最佳的用戶體驗，地圖信息需要不斷的根據(jù)現(xiàn)實世界的變化做出調整。街景車每天收集數(shù)百萬張圖片，如果用人工分析每天超過800億張高清晰圖片來找出其中的新變化或者更新地圖信息，顯然是不可能的。因此，谷歌地面實況團隊（Ground Truth team）的目標之一，就是從地理位置圖像自動提取信息來升級谷歌地圖。

雷鋒網(公眾號：雷鋒網)了解到，在“從街景圖像中提取基于注意機制的結構化信息”（Attention-based Extraction of Structured Information from Street View Imagery）一文中，谷歌描述了所采用的方法——怎樣在街景視圖中使用深度神經網絡自動且準確無誤地讀出街道名稱。我們的算法系統(tǒng)在挑戰(zhàn)“法國街道名稱識別數(shù)據(jù)集”（French Street Name Signs (FSNS) dataset）中達到了84.2%的正確率，明顯優(yōu)于之前的最優(yōu)系統(tǒng)。重要的是，谷歌的系統(tǒng)在提取其他類型信息也是很容易擴展的。比如現(xiàn)在幫助谷歌自動提取商店前面的商戶名稱。目前該模型已經開源。

圖中為法國街道名稱標識數(shù)據(jù)集中的一個例子，被谷歌的系統(tǒng)正確識別。上圖為同一標識的四種不同視角

自然環(huán)境中的文本識別在計算機視覺和機器學習上是一個非常具有挑戰(zhàn)性的問題。傳統(tǒng)的光學字符識別（OCR）系統(tǒng)主要側重于從掃描的文檔中提取文本。在自然場景中由于視覺偽影，如失真、閉塞、定向模糊、雜亂的背景或不同的角度給提取文本提升了難度。谷歌從2008年開始致力于解決這一問題，使用神經網絡模糊了街景圖像中的臉和車牌，以保護谷歌用戶的隱私。從最初的研究中，團隊意識到經過足夠的標記數(shù)據(jù)訓練后，機器學習不僅能保護用戶的隱私，而且還可以自動升級谷歌地圖相關的最新信息。

2014年谷歌地面實況團隊在街景門牌號數(shù)據(jù)集（SVHN）上公布了讀取街道號碼的方法，隨后暑期實習生Ian Goodfellow（現(xiàn)為谷歌員工）進行了運用。這個工作不僅是出于對學術的興趣，而且也是使谷歌地圖更為精確的關鍵。如今得益于這個系統(tǒng)，超過三分之一的全球地址已經在谷歌地圖上有了自己的位置。在一些國家，如巴西，這個算法增加了超過90%的谷歌地圖地址，大大提高了谷歌地圖的可用性。

下一步是將這些技術擴展到街道名稱。為了解決這個問題，谷歌創(chuàng)建和發(fā)布了法國街道名稱標志（French Street Name Signs，F(xiàn)SNS），有超過100萬的街道名稱訓練數(shù)據(jù)集，旨在提高人們對OCR模型在實際使用情況下的認識。FSNS是谷歌經過多年的努力而構建的，它比SVHN數(shù)據(jù)集更加龐大，也更具挑戰(zhàn)性，因為如果要準確識別某個街道標識，可能需要對各個角度所拍攝的圖片進行整合處理。

上圖是識別起來很有難度的一些標識，也被谷歌系統(tǒng)通過對圖像的理解而正確判斷了。尤其是第二個，不過這個模型在之前學習了語言模型，使其能夠消除歧義，并正確識別出街道名。值得一提的是，在FSNS數(shù)據(jù)集中，同一路標在少于四個獨立視圖的情況下會以增加隨機噪聲的方式。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。