作為智能駕駛的核心傳感器，攝像頭的作用毋庸置疑。

為了獲得更好的圖像質(zhì)量，通常在系統(tǒng)開發(fā)過(guò)程中，工程師需要對(duì)相機(jī)的ISP（圖像信號(hào)處理）參數(shù)進(jìn)行調(diào)整，以更好的適配場(chǎng)景和算法。一般情況下，這個(gè)優(yōu)化調(diào)整的過(guò)程需要幾個(gè)月時(shí)間。

研究結(jié)果表明，對(duì)于任何一種CV算法，相機(jī)的ISP都必須根據(jù)其結(jié)構(gòu)、任務(wù)、語(yǔ)義、訓(xùn)練和偏好進(jìn)行專門優(yōu)化。而視覺(jué)感知的重要性，也在被越來(lái)越多的企業(yè)視為未來(lái)自動(dòng)駕駛的低成本解決方案。

近日，豐田汽車旗下負(fù)責(zé)智能駕駛開發(fā)的子公司W(wǎng)oven Planet對(duì)外證實(shí)，未來(lái)將效仿特斯拉公司的做法，試圖用低成本攝像頭來(lái)推進(jìn)自動(dòng)駕駛技術(shù)落地。

該公司認(rèn)為，基于攝像頭采集數(shù)據(jù)和訓(xùn)練模型，是一個(gè)具備“突破”性意義的里程碑，并且有助于降低推動(dòng)自動(dòng)駕駛落地的成本，同時(shí)對(duì)于一個(gè)強(qiáng)大的自動(dòng)駕駛系統(tǒng)也至關(guān)重要。

“我們需要大量數(shù)據(jù)。僅僅從非常昂貴的冗余安全自動(dòng)駕駛系統(tǒng)（比如，配置激光雷達(dá)）中采集數(shù)據(jù)，是遠(yuǎn)遠(yuǎn)不夠的?！盬oven Planet公司相關(guān)技術(shù)負(fù)責(zé)人表示，低成本相機(jī)的大部分?jǐn)?shù)據(jù)，已經(jīng)接近高成本傳感器的水平。

ISP的規(guī)范

在Woven Planet公司的崗位招聘中，攝像頭模塊負(fù)責(zé)人的要求之一，就是對(duì)圖像信號(hào)處理（ISP）有深刻的理解，涉及相機(jī)模塊、圖像傳感器、接口、ISP SoC等，并負(fù)責(zé)攝像頭系統(tǒng)技術(shù)路線圖的制定。

在ISP層面，上述崗位需要對(duì)圖像信號(hào)處理、圖像質(zhì)量調(diào)整、相機(jī)校準(zhǔn)、圖像質(zhì)量度量、色彩科學(xué)有較強(qiáng)的理解能力，了解計(jì)算機(jī)視覺(jué)算法，以及攝像頭的工廠校準(zhǔn)，內(nèi)部/外部校準(zhǔn)，ISP調(diào)諧校準(zhǔn)等。

通常在一款攝像頭的ISP標(biāo)定過(guò)程，涉及到黑電平、NR降噪、靜態(tài)壞點(diǎn)、鏡頭的Shading、AWB靜態(tài)白平衡、CCM、陰影矯正、電子防抖、日夜切換、聚焦參數(shù)等多個(gè)環(huán)節(jié)。

而針對(duì)汽車行業(yè)，尤其是智能駕駛、艙內(nèi)監(jiān)控等應(yīng)用，ISP優(yōu)化也有很多差異化的地方。比如，針對(duì)前視ADAS系統(tǒng)，需要可以快速分析遠(yuǎn)處和近處的物體，鏡頭聚焦在一個(gè)遠(yuǎn)距離范圍內(nèi)，需要最大限度地提高系統(tǒng)的靈敏度。

針對(duì)后視及環(huán)視應(yīng)用，則需要應(yīng)用畸變校正算法和多圖像的拼合。比如，采用預(yù)畸變的SFRplus測(cè)試圖卡，應(yīng)用于廣角鏡頭的畸變和清晰度測(cè)試。對(duì)于超廣角攝像頭則需要增加超廣角清晰度分析設(shè)備來(lái)進(jìn)行測(cè)試。

艙內(nèi)監(jiān)控，比如駕駛員疲勞分心預(yù)警感知，主要是掃描駕駛員的面部和眼部位置，需要高精度成像來(lái)跟蹤不同光線環(huán)境中的駕駛員狀態(tài)識(shí)別。

而在行業(yè)標(biāo)準(zhǔn)方面，此前大多數(shù)汽車攝像頭系統(tǒng)都是獨(dú)立定制開發(fā)的模式，并沒(méi)有用于校準(zhǔn)或測(cè)量圖像質(zhì)量的標(biāo)準(zhǔn)化參考點(diǎn)。汽車成像由于其不同和獨(dú)特的成像條件（魚眼、多攝像頭、高動(dòng)態(tài)范圍/HDR、溫度范圍等），給行業(yè)帶來(lái)了獨(dú)特的挑戰(zhàn)。

此后，IEEE-SA P2020汽車成像標(biāo)準(zhǔn)工作組的成立，就是為了解決汽車成像系統(tǒng)的圖像質(zhì)量測(cè)量方面存在的相當(dāng)大的模糊性，包括基于人類和計(jì)算機(jī)視覺(jué)。

按照此前IEEE P2020汽車成像工作組發(fā)布的行業(yè)白皮書可以看到，過(guò)去汽車制造商和一二級(jí)供應(yīng)商缺乏一種共同的語(yǔ)言來(lái)描述系統(tǒng)的圖像質(zhì)量，造成很多需求在OEM、一級(jí)、二級(jí)供應(yīng)商開發(fā)過(guò)程中出現(xiàn)偏差。

一個(gè)比較明顯的差異化結(jié)果就是，即便是基于相同的視覺(jué)處理芯片、算法，由于攝像頭的差異，可能就會(huì)出現(xiàn)同一個(gè)功能的表現(xiàn)差異。

就在今年初，誠(chéng)邁科技就與英偉達(dá)正式簽署合作協(xié)議，為智能駕駛相關(guān)企業(yè)提供基于NVIDIA DRIVE Orin及Xavier等系統(tǒng)級(jí)芯片產(chǎn)品的量產(chǎn)級(jí)別ISP服務(wù)。

ISP的爭(zhēng)奪戰(zhàn)

毋庸置疑，不管是其他應(yīng)用行業(yè)，還是汽車行業(yè)，攝像頭性能的優(yōu)化已經(jīng)變得越來(lái)越重要。過(guò)去，攝像頭廠商是主要的ISP需求方。近年來(lái)，一方面，CMOS廠商在逐步尋求集成ISP的方法，同時(shí)，在SoC中也把ISP作為主要的模塊。

這些通常都被稱為硬ISP，還有一種是軟ISP，通過(guò)專業(yè)算法處理傳感器數(shù)據(jù)，如線性糾正、噪點(diǎn)去除、壞點(diǎn)修補(bǔ)、顏色插值、白平衡校正、曝光校正等。此前，特斯拉傳言要“拋棄”ISP，大概率也是希望采用軟ISP來(lái)規(guī)避第三方硬件上的限制。

而與攝像頭中集成ISP不同，類似英偉達(dá)、高通等SoC廠商的產(chǎn)品中集成的ISP，在過(guò)去比較難通過(guò)第三方來(lái)實(shí)現(xiàn)調(diào)優(yōu)。比如，Qualcomm處理器自帶的ISP，就有自己的優(yōu)化算法。即便是可以實(shí)現(xiàn)參數(shù)調(diào)校，也大多數(shù)會(huì)限定在高通的框架之內(nèi)。

這也是為什么此前很多手機(jī)廠商尋求自研ISP來(lái)提升攝像頭的性能，并構(gòu)建差異化門檻。原因恰恰就是因?yàn)椤跋嗤溺R頭和傳感器經(jīng)過(guò)不同的ISP調(diào)教，也會(huì)有不同的效果?！?/span>

此外，ISP是非標(biāo)準(zhǔn)化的芯片IP，既有客觀的性能指標(biāo)，比如攝像頭的數(shù)量、分辨率幀率、帶寬、功耗、延遲等。也有比較難以完全客觀化的圖像評(píng)價(jià)指標(biāo)。

幾年前，Arm站了出來(lái)，希望一統(tǒng)汽車級(jí)ISP的IP江湖。

早在2016年，ARM就收購(gòu)了成像技術(shù)開發(fā)商Apical，后者專門從事ISP和計(jì)算機(jī)視覺(jué)技術(shù)開發(fā)。后者成立于2002年，此前主要服務(wù)手機(jī)市場(chǎng)。

今年初，Arm宣布正式發(fā)布汽車級(jí)Mali-C78AE ISP，符合ISO 26262 ASIL B功能安全要求。在Arm看來(lái)，未來(lái)五年，汽車攝像頭市場(chǎng)的規(guī)模還在快速增長(zhǎng)，單車配置10-13個(gè)攝像頭會(huì)成為常態(tài)，這意味著，ISP市場(chǎng)（需要適配不同的需求）也在同步擴(kuò)大。

而相比于傳統(tǒng)攝像頭內(nèi)置的ISP，Mali-C78AE有超過(guò)380個(gè)故障檢測(cè)電路，可以檢測(cè)連接攝像頭的傳感器和硬件故障。這對(duì)于需要滿足更高功能安全要求的系統(tǒng)來(lái)說(shuō)，至關(guān)重要。

此外，Mali-C78AE采用了更好的降噪技術(shù)和動(dòng)態(tài)范圍管理，通過(guò)調(diào)整幀的過(guò)暗或過(guò)亮區(qū)域，確保每個(gè)幀都能清晰和適當(dāng)曝光，并且能夠在大約150毫秒的時(shí)間窗口內(nèi)調(diào)整幀數(shù)據(jù)，大大降低ISP的出錯(cuò)幾率。

同時(shí)，和過(guò)去與攝像頭數(shù)量成正比關(guān)系的ISP來(lái)說(shuō)，Mali-C78AE能夠處理多達(dá)4個(gè)實(shí)時(shí)攝像頭或16個(gè)虛擬攝像頭的數(shù)據(jù)，這意味著整體系統(tǒng)成本的下降，同時(shí)也會(huì)大幅降低攝像頭的功耗。

在量產(chǎn)端，Mali-C78AE ISP將可以配合此前已經(jīng)發(fā)布的Cortex-A78AE CPU、Mali-G78AE GPU。公開信息顯示，Mobileye即將推出的下一代EyeQ Ultra、EyeQ6H等SoC將率先搭載Arm的ISP，進(jìn)一步提升圖像處理能力。

ISP的軟實(shí)力

當(dāng)然，ISP的能力優(yōu)化，仍然是一條漫長(zhǎng)的道路。這也預(yù)示著，基于攝像頭的感知技術(shù)仍然具備很大的潛在提升空間。

按照IEEE-SA P2020白皮書中所說(shuō)，定義ADAS系統(tǒng)的組件要求是一個(gè)復(fù)雜的過(guò)程。在中間數(shù)據(jù)流中觀察到的特定效果不一定是孤立的，需要對(duì)完整的信息傳輸流進(jìn)行復(fù)雜的分析。

這意味著有必要分析從光學(xué)層面到電子信號(hào)層面的鏈條，必須考慮到系統(tǒng)預(yù)期運(yùn)行的使用情況。因此，至關(guān)重要的是，組件不只是作為孤立的元素來(lái)表征，而是在一個(gè)單一的框架下很好地涵蓋了鏈條上的所有影響，這樣才能適當(dāng)?shù)乇碚髡麄€(gè)系統(tǒng)。

比如，IEEE P2020分組3（系統(tǒng)和部件層面的計(jì)算機(jī)視覺(jué)的圖像質(zhì)量）的目標(biāo)就是開發(fā)一致的指標(biāo)，既描述各種退化，又給出其置信度的界限。探索區(qū)分性的概率方法，如對(duì)比度檢測(cè)概率（CDP）。這有助于整體信號(hào)鏈的可視化，并旨在改善跨域障礙。

這也催生了ISP賽道的工程服務(wù)市場(chǎng)。

比如，Imatest LLC公司在去年就推出了新的相機(jī)幾何校準(zhǔn)驗(yàn)證服務(wù)，原因是在構(gòu)建汽車攝像頭系統(tǒng)時(shí)，幾何相機(jī)校準(zhǔn)是必要的，以提供圖像和真實(shí)世界之間的對(duì)應(yīng)關(guān)系。

同時(shí)，測(cè)試服務(wù)與IEEE P2020保持一致，產(chǎn)生64個(gè)目標(biāo)對(duì)組合進(jìn)行分析。目標(biāo)距離誤差用于描述給定校準(zhǔn)的質(zhì)量。相機(jī)旋轉(zhuǎn)到多個(gè)位置，通過(guò)圖像場(chǎng)進(jìn)行評(píng)估，每個(gè)圖像都產(chǎn)生一組用于分析的距離錯(cuò)誤值。

此外，在ISP算法層面，也有不少公司開始推出一些工具。

去年，一家名為Visionary.ai的以色列軟件公司就推出了一套軟件ISP工具，基于AI技術(shù)大幅提高圖像和視頻的質(zhì)量，并檢測(cè)每幀中的每個(gè)細(xì)節(jié)。

另一家名為Algolux的計(jì)算機(jī)視覺(jué)和圖像優(yōu)化解決方案提供商，也將計(jì)算成像技術(shù)（CIT）導(dǎo)入汽車ISP領(lǐng)域，也就是在傳統(tǒng)成像技術(shù)中引入信息處理方法，改變傳統(tǒng)光學(xué)成像單一依靠線性光學(xué)信息傳遞理論的瓶頸。

這也被稱為，下一代軟ISP的“新”能力。

因?yàn)椋睮SP是由工程師撰寫的代碼，特斯拉稱之為軟件1.0。人工智能增強(qiáng)的ISP，也被稱為軟件2.0，不是由工程師決定，而是由AI技術(shù)進(jìn)行不斷迭代優(yōu)化。

比如，Algolux公司給出的解決方案，就是不采用傳統(tǒng)的硬ISP圖像處理器，而是采用RAW傳感器數(shù)據(jù)作為輸入，然后通過(guò)端到端深度神經(jīng)網(wǎng)絡(luò)融合和處理數(shù)據(jù)。

“我們的軟ISP現(xiàn)在提供的最好結(jié)果，是在0.1 lux（被拍攝主體表面單位面積上垂直照射到的光通量）以下，可以在幾乎完全黑暗的情況下檢測(cè)全色圖像和視頻。”在Visionary.ai公司看來(lái)，傳統(tǒng)硬ISP架構(gòu)則需要長(zhǎng)時(shí)間曝光的圖像檢測(cè)，而我們可以實(shí)現(xiàn)視頻級(jí)檢測(cè)。

或許，這才是我們需要正視的ISP“變革”。同時(shí)，ISP的優(yōu)化能力，也將是汽車感知技術(shù)方案商的差異化競(jìng)爭(zhēng)門檻。