谷歌研發(fā)增強(qiáng)現(xiàn)實(shí)顯微鏡，能更早發(fā)現(xiàn)癌癥

文 / VRAR星球 維克多

谷歌近日為其新研發(fā)的“增強(qiáng)現(xiàn)實(shí)顯微鏡”（ARM）申請(qǐng)了專利，這臺(tái)顯微鏡采用了人工智能增強(qiáng)功能，能在操作載玻片時(shí)實(shí)時(shí)將檢測(cè)結(jié)果投射到視野上，不僅能放大細(xì)胞，還能為它們描繪出醒目的視覺標(biāo)記，讓癌細(xì)胞無(wú)處遁形，幫助醫(yī)生更早發(fā)現(xiàn)癌癥。ARM徹底改變了病理學(xué)家檢查生物樣本的方式，標(biāo)志著增強(qiáng)現(xiàn)實(shí)+人工智能在醫(yī)療領(lǐng)域的又一重大突破。

最佳仲裁員

西雅圖退伍軍人醫(yī)院辦公室里，一場(chǎng)爭(zhēng)論正在兩位醫(yī)生間發(fā)生。

Nadeem Zafar醫(yī)生是一位病理學(xué)家，主要對(duì)體液和組織進(jìn)行臨床實(shí)驗(yàn)室測(cè)試，以診斷癌癥等疾病。這是一項(xiàng)經(jīng)常在幕后運(yùn)作的工作，但它是醫(yī)療保健的關(guān)鍵支柱。

另一位醫(yī)生是Zafar的同事，他咨詢了一個(gè)癌癥病例。很明顯，這名患者患有癌癥，但兩位醫(yī)生在病情嚴(yán)重程度上存在分歧。Zafar認(rèn)為癌癥比他的同事預(yù)料得更具攻擊性。

Zafar轉(zhuǎn)向他的顯微鏡——這是一種深受醫(yī)生喜愛的病理學(xué)工具，醫(yī)生們依靠它來(lái)幫助做出診斷。但這不是一臺(tái)普通的顯微鏡，它是由谷歌和美國(guó)國(guó)防部合作研發(fā)制造的增強(qiáng)現(xiàn)實(shí)顯微鏡——ARM （Augmented Reality Microscope） 。

兩人用這臺(tái)特殊的顯微鏡觀察了這個(gè)病例。幾秒鐘后，人工智能標(biāo)記出了Zafar認(rèn)為更具攻擊性的腫瘤確切部位。事實(shí)證明他是對(duì)的。Zafar的同事被說(shuō)服了。在接受媒體記者采訪時(shí)，Zafar表示：“這就是這項(xiàng)技術(shù)的美妙之處，它很像一位仲裁員?！?/p>

病理學(xué)家的新工具

多年以來(lái)，谷歌公司和美國(guó)防部一直在悄悄地研究這種由人工智能驅(qū)動(dòng)的增強(qiáng)現(xiàn)實(shí)顯微鏡。目前這項(xiàng)技術(shù)仍處于早期階段，尚未廣泛用于幫助診斷患者，但初步研究顯示它很有希望，極有可能成為病理學(xué)家的有用工具。

乍一看，ARM很像高中生物教室里的顯微鏡。該設(shè)備是米色的，有一個(gè)大目鏡和一個(gè)托盤，盤上有用于檢查的傳統(tǒng)的載玻片。顯微鏡連接到一個(gè)方形的計(jì)算機(jī)箱塔上，里面裝有人工智能模型。

增強(qiáng)現(xiàn)實(shí)顯微鏡外觀

當(dāng)準(zhǔn)備好載玻片并將其固定在顯微鏡下時(shí)，人工智能能夠勾勒出癌癥的位置。輪廓看起來(lái)是一條亮綠色的線，病理學(xué)家可以通過(guò)目鏡和單獨(dú)的監(jiān)視器看到。人工智能還指示癌癥的嚴(yán)重程度，并在監(jiān)視器上生成黑白熱圖，以像素化的形式顯示癌癥的邊界。

病理學(xué)家使用ARM時(shí)在屏幕上看到的內(nèi)容

在最近的一份專利申請(qǐng)中，谷歌將其ARM描述為“病理學(xué)家用來(lái)觀察含有組織或血液等生物樣本的載玻片的顯微鏡”。該顯微鏡的與眾不同之處在于，它能夠在操作載玻片時(shí)實(shí)時(shí)將增強(qiáng)功能投射到視野上，為病理學(xué)家提供寶貴的意見。這些增強(qiáng)功能起到了輔助作用，為病理學(xué)家提供了表征或分類樣本的重要信息。例如，ARM可以幫助識(shí)別樣本中癌癥細(xì)胞或病原體的存在，從而有可能徹底改變癌癥的早期診斷和治療。

用于診斷癌癥的組織切片包含大量信息，破解這些信息非常費(fèi)時(shí)費(fèi)力。每個(gè)細(xì)胞都要進(jìn)行檢查，癌癥有時(shí)候很難識(shí)別。ARM把AR+AI技術(shù)和顯微鏡結(jié)合起來(lái)，實(shí)時(shí)檢查癌癥。攝像頭把有關(guān)信息傳輸?shù)诫娔X上，電腦會(huì)進(jìn)行上億次計(jì)算，告訴醫(yī)生哪些是腫瘤哪些不是。增強(qiáng)現(xiàn)實(shí)顯微鏡具備的癌癥知識(shí)是由眾多病理學(xué)家通過(guò)訓(xùn)練機(jī)器學(xué)習(xí)模型賦予的。ARM有一個(gè)病理學(xué)家團(tuán)隊(duì)，他們用上萬(wàn)張圖片來(lái)教計(jì)算機(jī)如何識(shí)別癌細(xì)胞。

這套系統(tǒng)可以讓醫(yī)生的工作更快，效果更好，提高癌癥診斷的精確度。

谷歌ARM項(xiàng)目的一個(gè)值得注意的方面是，它致力于補(bǔ)充而不是取代醫(yī)院和診所中常見的現(xiàn)有顯微鏡。其目的是創(chuàng)建一個(gè)可以輕松改裝到醫(yī)療機(jī)構(gòu)基礎(chǔ)設(shè)施中的系統(tǒng)。ARM可以提供豐富的視覺反饋，包括文本、箭頭、輪廓、熱圖和動(dòng)畫。上述要素中的每一個(gè)都可以根據(jù)具體的評(píng)估目標(biāo)進(jìn)行定制，這就為病理學(xué)家提供了一個(gè)增強(qiáng)診斷能力的強(qiáng)大工具。

簡(jiǎn)易實(shí)用，方便存儲(chǔ)

目前有13個(gè)ARM原型正在進(jìn)行測(cè)試，其中一個(gè)位于華盛頓特區(qū)近郊的Mitre公司。

Mitre是一家非營(yíng)利組織，與政府機(jī)構(gòu)合作解決涉及技術(shù)的重大問(wèn)題。該公司以網(wǎng)絡(luò)安全、航空科技著稱，是全球網(wǎng)絡(luò)安全領(lǐng)域技術(shù)創(chuàng)新的領(lǐng)跑者。疫情期間，該公司曾幫助美國(guó)疾控中心建立疫情監(jiān)控系統(tǒng)，合作對(duì)抗新冠病毒大流行。目前Mitre的研究人員正在與ARM合作，以確定在臨床環(huán)境中可能給病理學(xué)家?guī)?lái)的漏洞。

近年來(lái)，就像醫(yī)療服務(wù)的許多其他方面一樣，病理學(xué)家一直在為人員短缺而苦惱。隨著普通人群年齡增長(zhǎng)，患者增多，病理學(xué)家的工作量也在日益增加。這種局面很危險(xiǎn)。如果因病理學(xué)家人手緊張而在檢測(cè)中遺漏了什么，很可能會(huì)對(duì)患者產(chǎn)生嚴(yán)重后果。一些相關(guān)機(jī)構(gòu)一直在嘗試將病理學(xué)家的工作流程數(shù)字化，以提高效率，但數(shù)字病理也帶來(lái)了許多挑戰(zhàn)。數(shù)字化一張幻燈片可能需要超過(guò)千兆字節(jié)的存儲(chǔ)空間，這會(huì)使與大規(guī)模數(shù)據(jù)收集相關(guān)的基礎(chǔ)設(shè)施和成本迅速大幅增長(zhǎng)。對(duì)于許多經(jīng)費(fèi)不多的較小衛(wèi)生機(jī)構(gòu)來(lái)說(shuō)，實(shí)現(xiàn)數(shù)字化是有一定難度的。

ARM有意選擇了一種簡(jiǎn)易實(shí)用的設(shè)計(jì)。Mitre的自主系統(tǒng)高級(jí)工程師Patrick Minot說(shuō)：“ARM人工智能直接覆蓋在顯微鏡的視野上，它不會(huì)中斷病理學(xué)家既定的工作流程。它并非要取代數(shù)字病理系統(tǒng)，而是可以幫助人們避開對(duì)數(shù)字病理系統(tǒng)的需求。例如，病理學(xué)家可以選擇使用ARM的軟件對(duì)幻燈片進(jìn)行截屏，這些軟件的存儲(chǔ)成本要低得多?！辟?gòu)置一套ARM設(shè)備約需花費(fèi)9萬(wàn)至10萬(wàn)美元，這對(duì)于眾多規(guī)模不大的部隊(duì)醫(yī)院和普通醫(yī)療機(jī)構(gòu)是完全可以承受的。

構(gòu)筑第二道防線

ARM的最初創(chuàng)意來(lái)自一位在海軍服役的病理學(xué)家——Niels Olson博士。2016年8月10日，Olson在圣地亞哥海軍醫(yī)療中心做住院醫(yī)生時(shí)，已經(jīng)設(shè)計(jì)出了像類似ARM這樣的工具。他發(fā)給谷歌一條信息，描述了他的大致想法。

幾個(gè)月后，Olson站在了加州山景城的谷歌辦公樓里，擠在一間只有公司少數(shù)人才能進(jìn)入的鎖著的房間中。在那里，他看到一臺(tái)早期的人工智能顯微鏡在他隨身攜帶的一小組載玻片上成功地識(shí)別出癌癥。Olson說(shuō)，當(dāng)時(shí)感覺房間里很悶熱，因?yàn)槔锩娴拿總€(gè)人都特別興奮。Olson說(shuō)：“我不想說(shuō)這就像是第一次見到你的孩子，但這有點(diǎn)像，這太棒了，這將是一件大事?！?。

2018年，Olson被派往關(guān)島，在那里擔(dān)任海軍醫(yī)院的實(shí)驗(yàn)室醫(yī)學(xué)主任和血庫(kù)主任。在關(guān)島的兩年里，他是島上兩名病理學(xué)家之一，也是海軍醫(yī)院唯一的病理學(xué)家。這意味著他經(jīng)常獨(dú)自做出重大決策和診斷。

Olson在接受媒體采訪時(shí)說(shuō)：“你的工作不僅僅是說(shuō)‘這是癌癥，這是一種癌癥?！ぷ鞯囊徊糠质钦f(shuō)‘絕對(duì)不是癌癥’，當(dāng)你獨(dú)自一人時(shí)，這可能會(huì)讓人神經(jīng)緊張。”。“我很想在關(guān)島擁有一臺(tái)增強(qiáng)現(xiàn)實(shí)顯微鏡，這樣就會(huì)有人，有其他人在幫忙?！?/p>

ARM旨在成為病理學(xué)家的第二道防線，Olson表示，它不會(huì)取代醫(yī)生。增強(qiáng)現(xiàn)實(shí)顯微鏡的最初使用案例可能是在較小的遠(yuǎn)程實(shí)驗(yàn)室中，它也可以作為病理學(xué)住院醫(yī)師培訓(xùn)的資源。

大約在Olson被派往關(guān)島的時(shí)候，美國(guó)國(guó)防部DIU（Defense Innovation Unit：國(guó)防創(chuàng)新部門）的一位產(chǎn)品經(jīng)理偶然發(fā)現(xiàn)了他的研究。DIU創(chuàng)建于2015年，是軍方整合商業(yè)界開發(fā)尖端技術(shù)的一個(gè)部門。該部門與公司談判合同，以便能夠展開合作，并避免官僚作風(fēng)。2019年，兩人共同撰寫了一篇文章，講述了國(guó)防部和硅谷如何合作利用人工智能。

他們表示，聯(lián)邦政府的醫(yī)療保健系統(tǒng)中有數(shù)百萬(wàn)患者，這意味著它擁有世界上最全面的醫(yī)療保健數(shù)據(jù)集。這些數(shù)據(jù)顯然具有商業(yè)用途。他們寫道：“大數(shù)據(jù)是硅谷做得最好的，向民用醫(yī)療系統(tǒng)擴(kuò)散的潛力巨大?！贝撕蟛痪茫珼IU開始尋找商業(yè)合作伙伴來(lái)幫助構(gòu)建和測(cè)試ARM。它選擇了著名光學(xué)技術(shù)公司Jenoptik處理硬件，在評(píng)估了39家公司后選擇了谷歌來(lái)開發(fā)軟件。

推出四種算法，仍需大量測(cè)試

谷歌云醫(yī)療保健戰(zhàn)略和解決方案全球總監(jiān)Aashima Gupta表示，該公司已經(jīng)為ARM推出了四種算法，可以識(shí)別乳腺癌、宮頸癌、前列腺癌和有絲分裂。

人工智能模型是根據(jù)DIU的數(shù)據(jù)進(jìn)行訓(xùn)練的。Gupta表示，谷歌員工和谷歌基礎(chǔ)設(shè)施都無(wú)法訪問(wèn)這些數(shù)據(jù)。Gupta在接受媒體采訪時(shí)說(shuō)：“它一直都是加密的，從數(shù)據(jù)的收集方式、存儲(chǔ)方式和分析方式、以及介于它們之間的一切?！?/p>

隨著硬軟件就緒，下一步需要對(duì)ARM進(jìn)行大量測(cè)試。DIU已經(jīng)開始了這方面的初步工作，目前正在測(cè)試ARM的功效。2022年秋季，該組織在《病理信息學(xué)雜志》上發(fā)表了一篇同行評(píng)審論文。論文的主要作者、國(guó)防部首席數(shù)字和人工智能辦公室人工智能評(píng)估副主任David Jin表示，該論文指出了乳腺癌人工智能算法在大量樣本中表現(xiàn)相當(dāng)不錯(cuò)，但也有一些需要注意的地方。這篇論文還專門研究了人工智能在檢測(cè)癌癥淋巴結(jié)轉(zhuǎn)移時(shí)的表現(xiàn)，金說(shuō)它在某些類型的細(xì)胞上比其他類型的細(xì)胞表現(xiàn)更好。他說(shuō)，這項(xiàng)研究很有希望，但在為病理學(xué)家提供真正的幫助之前，仍需要進(jìn)行大量嚴(yán)格的測(cè)試。金指出：“這樣的事情有極大的好處，但也有很多風(fēng)險(xiǎn)?！币?yàn)樗鼤?huì)改變癌癥的診斷方式。

Niels Olson從關(guān)島返回，于2020年開始在DIU工作，成為DIU的首席醫(yī)療官。他也被列為該論文的作者。他說(shuō)，其他三種模型，即宮頸癌、前列腺癌和有絲分裂，尚未在DIU進(jìn)行獨(dú)立評(píng)估。

國(guó)防部DIU（國(guó)防創(chuàng)新部門）首席醫(yī)療官Niels Olson博士在使用增強(qiáng)現(xiàn)實(shí)顯微鏡

ARM的研究正在進(jìn)行之中，DIU還在征求Mitre公司和退伍軍人事務(wù)部衛(wèi)生保健系統(tǒng)的反饋，還有很多工作要做。但由于已經(jīng)驗(yàn)證了最初的概念，DIU開始考慮如何擴(kuò)大技術(shù)規(guī)模并與監(jiān)管機(jī)構(gòu)合作。

DIU與谷歌和Jenoptik談判達(dá)成協(xié)議，允許該技術(shù)通過(guò)軍事和商業(yè)渠道分發(fā)。DIU希望在今年秋天的某個(gè)時(shí)候，通過(guò)負(fù)責(zé)政府采購(gòu)的美國(guó)總務(wù)管理局的網(wǎng)站，向所有政府用戶推出ARM。

西雅圖退伍軍人醫(yī)院的Zafar醫(yī)生表示，ARM首先肯定會(huì)幫到病理學(xué)家，但公眾最終將從這項(xiàng)技術(shù)中受益最大。ARM的準(zhǔn)確性、速度和成本效益都將有助于更好的診斷和治療。

改變與期待

增強(qiáng)現(xiàn)實(shí)顯微鏡通過(guò)提供實(shí)時(shí)視覺增強(qiáng)，以協(xié)助病理學(xué)家進(jìn)行關(guān)鍵性工作，有可能徹底改變癌癥檢測(cè)和診斷的方式。

谷歌致力于加強(qiáng)現(xiàn)有的醫(yī)療保健基礎(chǔ)設(shè)施，同時(shí)探索增強(qiáng)現(xiàn)實(shí)加持人工智能的無(wú)限可能性，突顯了它在塑造醫(yī)療保健和技術(shù)未來(lái)方面的重要作用。

我們期待ARM早日正式投入使用，同時(shí)期待更多科技企業(yè)在醫(yī)療領(lǐng)域做出更多突破性的創(chuàng)新，以造福人類。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。