L4級自動駕駛就能解放人類?
未必。
不久前,全球31家自動駕駛公司接到了同一支科研團隊的通知:
你們的L4,有重大缺陷。
缺陷集中在多傳感器融合方案,3D打印的路障,能騙過9成以上的激光雷達和ADS系統(tǒng)。
所謂多傳感器融合,其實融合了個寂寞。
主流L4方案,幾乎無一幸免。
這么嚴重的自動駕駛算法漏洞,是由中美聯(lián)合團隊發(fā)現(xiàn),其中既有高校研究者,也有來自英偉達、百度、嬴徹科技的產(chǎn)業(yè)界大咖。
相關(guān)論文,不久前入選計算機安全頂會IEEE S&P 2021。
1 L4識別障礙物失敗率超九成
問題就出在了融合方案上。
在自動駕駛系統(tǒng)里,實時「感知」周圍物體,是所有重要駕駛決策的最基本前提。感知模塊負責(zé)實時檢測路上的障礙物,比如:周圍車輛,行人,交通錐 (雪糕筒)等等,
目前各個公司研制的高級別(L4)無人車系統(tǒng),普遍采用多傳感器融合的設(shè)計,即融合不同的感知源,比如激光雷達(LiDAR)和攝像頭(camera),從而實現(xiàn)準確并且高冗余的感知。
這樣的設(shè)計,前安全冗余的出發(fā)點是各個感知源不被同時攻擊,所以總是存在一種可能的多傳感器融合算法,依靠未被攻擊的傳感器來確保安全。
這個基本的安全設(shè)計假設(shè)在一般情況下是成立的,然而研究團隊發(fā)現(xiàn),出了實驗室,在現(xiàn)實世界中,這種多傳感器融合的障礙物感知存在漏洞。
同時攻擊不同的感知源,或者攻擊單個感知源,都能使無人車無法識別障礙物并直接撞上去。
為了評估這一漏洞的嚴重性,團隊設(shè)計了MSF-ADV攻擊,它可以在給定的基于多傳感器融合的無人車感知算法中自動生成上述的惡意3D障礙。
這個系統(tǒng)的特點是有效性、魯棒性、隱蔽性,以及能在現(xiàn)實中實現(xiàn)。
測試結(jié)果顯示,在不同的障礙物類型和多傳感器融合算法中,攻擊實現(xiàn)了>=91%的成功率。
同時團隊還發(fā)現(xiàn),系統(tǒng)生成的惡意3D障礙物,從駕駛者的角度看是隱蔽的,完全模擬現(xiàn)實情況;此外,對不同的被攻擊車的位置和角度都有效,平均成功率>95%。
L4算法的失敗率超過九成,還敢用嗎?
2 為什么嚴重?
實驗室里把L4系統(tǒng)“折磨”的焦頭爛額,有什么實際意義?
當然有了。
研究團隊設(shè)計實驗的一個基本出發(fā)點就是能在現(xiàn)實世界中復(fù)現(xiàn),實際上,團隊也這么做了。
在安裝了激光雷達和攝像頭的實車測試中,系統(tǒng)對于3D打印、表面經(jīng)過處理的交通錐識別失敗率高達99.1%。
這種狀況的原因是人為處理的惡意障礙物,對于物體表面做了特殊處理,雷達回波信號發(fā)生了變化,系統(tǒng)無法識別。
而所謂多冗余的視覺系統(tǒng),也沒能做出補救。
另外,在對百度Apollo自動駕駛的測試中,出現(xiàn)了100%識別失敗的情況。
這個漏洞帶來的危害和隱患是巨大的。首先因為它很容易在物理世界中實現(xiàn)和部署。
攻擊者可以利用3D建模構(gòu)建這類障礙物,并進行3D打印。目前市面上有很多在線3D打印服務(wù),甚至不需要購置3D打印設(shè)備。
其次它可以高仿合法出現(xiàn)在道路上的障礙物,比如交通錐。而攻擊者可以在物體中填充水泥、金屬等等,重量輕松超過100公斤,高度迷惑、又能造成嚴重的碰撞后果。
另外,攻擊者還可以利用道路障礙物的功能設(shè)計一種僅針對無人車的攻擊:將釘子或玻璃碎片放在生成的惡意障礙物后面,這樣,人類駕駛員能夠正常識別交通錐并繞行,而無人車則會忽視交通錐然后爆胎。
在這種情況下,惡意的障礙物體可以像普通交通錐體一樣小而輕,以使其更容易3D打印、攜帶和部署。
3 多感知融合不是萬全之策
這項研究的主要價值在于讓大家意識到多傳感器融合感知同樣存在安全問題。
自動駕駛研發(fā)團隊一直把多傳感器融合作為對抗單個傳感器攻擊的有效防御手段,但這篇文章證明傳感器“堆料”不能從根本上防御對自動駕駛系統(tǒng)的攻擊。
一般車上都有的緊急剎車系統(tǒng)可以防御這種攻擊嗎?
可以減少風(fēng)險,但不能完全防止。
自動駕駛系統(tǒng)的存在意義,就在于自行處理盡可能多的安全隱患,而不是依賴緊急剎車系統(tǒng)。
緊急剎車系統(tǒng)永遠也不應(yīng)該用來代替自動駕駛本身的功能。
所以唯一的方法是自動駕駛供應(yīng)商們要想辦法在系統(tǒng)層面上解決漏洞。
目前團隊已經(jīng)聯(lián)系了31家自動駕駛公司,其中大部分都表示將對自家的產(chǎn)品重新評估。
4 產(chǎn)業(yè)界學(xué)界聯(lián)合成果
本研究作者團隊,一共有9名研究人員。
其中,四位同等貢獻第一作者來自加州大學(xué)爾灣分校,密西根大學(xué)安娜堡分校,亞利桑那州立大學(xué)和英偉達Research。分別是Ningfei Wang, Yulong Cao, Chaowei Xiao和Dawei Yang。
三位教授分別是Qi Alfred Chen, Mingyan Liu, Bo Li
此外還有兩位來自產(chǎn)業(yè)界的研究人員,分別是百度深度學(xué)習(xí)技術(shù)與應(yīng)用研究和國家工程實驗室的Jin Fang和嬴徹科技CTO楊睿剛。
轉(zhuǎn)載請注明出處。