在典型的安防場景中,有一些共性的需求是客戶們普遍關(guān)注的,考慮到有些觀眾可能剛剛打開電梯,這里我就簡單介紹一下。
對安防客戶來說,視頻監(jiān)控最重要的一個技術(shù)指標(biāo)就是實(shí)時性,簡單地說就是每秒25~30幀,越高越好。視頻幀率越高則圖像越流暢平滑,看起來越舒適。用(曾經(jīng))一個辦公室mm的話講,"I can sit all day long watching this video." 而反過來的情形也不難想象,大家都有過網(wǎng)上看電影的經(jīng)歷,如果電影每隔幾秒就卡頓一下,那感覺就是別提多糾結(jié)了,反正再好看的大片我也看不下去,趕緊關(guān)掉走人,道理是一樣的。
清晰度也稱解像力,是圖像質(zhì)量的一個重要組成部分,它在很大程度上取決于圖像的分辨率,也就是像素?cái)?shù),但兩者還不完全等價。在安防行業(yè)中,常用的圖像分辨率有D1,720p,960p,1080p(FHD)等,少數(shù)高端項(xiàng)目已經(jīng)開始引入4K UHD分辨率(3840x2160)。為什么說清晰度不等價于分辨率呢?主要是因?yàn)檫€有很多因素會導(dǎo)致圖像質(zhì)量下降,比如鏡頭,ISP,編碼器,都會導(dǎo)致圖像模糊,使圖像在標(biāo)稱分辨率的基礎(chǔ)上打很多折扣。舉個極端一點(diǎn)的例子,如果給4K攝像機(jī)安裝了一個100萬像素的鏡頭,雖然出來的圖像還是4K分辨率的,但實(shí)際解像力其實(shí)還不如一個1080p的攝像機(jī)配200萬像素的鏡頭。
一幀1080p Full HD畫面,如果按24bit RGB來算就是6百萬字節(jié),30幀就是180MB或1.4Gbit的數(shù)據(jù)量,差不多是家用寬度下載帶寬的14倍。為了實(shí)現(xiàn)在線看電影的夢想,必須把這個數(shù)據(jù)量壓縮100倍以上,這是通過以H.264和H.265為代表的視頻壓縮技術(shù)來實(shí)現(xiàn)的。H.264和H.265 標(biāo)準(zhǔn)是全世界科學(xué)家和工程師幾十年來杰出工作的成果結(jié)晶,是人類智慧的一面旗幟,我們每個人都應(yīng)該感謝曾經(jīng)為之做出過貢獻(xiàn)的人(尤其是用手機(jī)看網(wǎng)絡(luò)電影的時候)。
其實(shí)這段話的主要目的是想說明,視頻編解碼的效率是安防攝像機(jī)的一個特別關(guān)鍵的技術(shù)指標(biāo),它不僅決定了系統(tǒng)的傳輸帶寬(成本),還決定了系統(tǒng)的磁盤存儲(成本),所以以華為海思為代表的安防芯片供應(yīng)商都會特別重視視頻編碼技術(shù)的研發(fā),不斷將各種新技術(shù)引入芯片解決方案,以提升產(chǎn)品的競爭力。
這個其實(shí)不難想象,古人有云,月黑殺人夜,風(fēng)高放火天。自古以來各種違法犯罪活動大多都是挑晚上沒人的時候才好下手,所以安防攝像機(jī)的夜視性能是一個剛得不能再剛的強(qiáng)需求。大概十年以前,CMOS sensor 的技術(shù)還不是特別先進(jìn),典型安防攝像機(jī)的照度指標(biāo)其實(shí)是在1lux左右,但是大家都很無恥地標(biāo)0.1lux,反正用戶也不大懂。后來sensor技術(shù)慢慢進(jìn)步了,夜視能到0.1lux了,大家都開始標(biāo)0.01lux。隨著背照式工藝(BSI技術(shù))的發(fā)明,0.01lux也開始普及了,于是各個廠家開始狂吹星光級。嚴(yán)格意義上的星光級是0.001lux,真正能達(dá)到這一指標(biāo)的安防攝像機(jī),抱歉到2020年為止我還真的一個都沒見過。事實(shí)上,市面上能測量0.001lux的照度計(jì)都是很少見的。
這是安防攝像機(jī)和手機(jī)一個主要的區(qū)別點(diǎn)。雖然手機(jī)也能拍照,但很少有人會期待在0.01lux條件下拍出高質(zhì)量的照片,因?yàn)檫@個照度一般是鉆被窩睡覺的照度,而不是進(jìn)行社交或自拍活動的合適場景。
扯了這么多,終于說到主角了。WDR就是寬動態(tài),wide dynamic range,或者HDR,high dynamic range,本質(zhì)上是一回事,沒任何區(qū)別。那么,到底什么是寬呢?很簡單,搞不定的,就是太寬了,比如
攝像機(jī)裝在室內(nèi),室內(nèi)正常照度500lux,玻璃門外就是10000lux,室內(nèi)外有20倍的照度差,這個動態(tài)范圍對普通攝像機(jī)就太寬了。
如果上面的圖還不夠明顯,那下面這兩個拍攝人臉的例子就更直觀一些。
下面是一個典型的車庫場景,重點(diǎn)也是看人和看車的需求。
在室外監(jiān)控場景,會經(jīng)常遇到高光(highlight)與陰影(shadow)并存的挑戰(zhàn)。注意下圖的大樓入口,在有陽光干擾的情況下很難取得合適的曝光。
在夜間對著汽車大燈拍車牌時,也是一種典型的寬動態(tài)剛需場景。在下面這個圖中,現(xiàn)場工程師們其實(shí)是選擇了逃避矛盾的做法,攝像機(jī)其實(shí)并沒有正面硬剛汽車大燈,而是選了一個大燈幾乎照不到的拍攝角度,不然還真剛不過它。
解決這些問題的關(guān)鍵就在于設(shè)備的WDR性能。
攝像機(jī)的核心是CMOS sensor感光元件,而sensor的核心是一個光電感應(yīng)陣列,由一組像素構(gòu)成。如下圖所示,每個sensor像素可以類比成一個盛水的小桶,每個光子可以類比成一滴雨水,攝像機(jī)成像的過程就是用小桶盛接雨水的過程。每個小桶接到的水量將正比于降雨量(曝光量=照度*曝光時間),符合這個模型的sensor工作方式稱為線性模式。
小的像素尺寸可以取得高的空間分辨率,但是會犧牲對光信號進(jìn)行測量的動態(tài)范圍。大的像素尺寸可以實(shí)現(xiàn)大的動態(tài)范圍,但是會犧牲空間分辨率。
安防行業(yè)中,典型的像素尺寸和工藝在線性模式下可以提供50~60dB的動態(tài)范圍,更大的尺寸和更好的工藝相結(jié)合可以提供70~80dB的動態(tài)范圍。為了實(shí)現(xiàn)更寬的動態(tài)范圍,則需要使用兩次(或多次)曝光再進(jìn)行算法合成的方法。當(dāng)sensor工作在多曝光合成模式時,合成后的圖像不再與單次曝光量成正比,因此稱為WDR模式。
常見的鏡頭參數(shù)有靶面尺寸(或光學(xué)格式)、焦距、光圈范圍,這幾個是比較容易理解的。其實(shí)還有一些規(guī)格也非常重要,但并不被人們所熟悉,這里想說的有兩個,一個是分辨率,一個是WDR性能。
有些讀者可能是第一次聽說鏡頭也有分辨率的概念,其實(shí)道理是非常簡單的。下圖是一個普通放大鏡聚焦后的光斑大小,估計(jì)每個人都玩過。
為了保證清晰度,基本的規(guī)則是鏡頭的焦斑直徑應(yīng)該和像素尺寸匹配。在VGA和D1分辨率時代,sensor像素普遍比較大,4~6微米都很常見,所以鏡頭分辨率基本不成問題。2000年之后,隨著百萬像素sensor的普及,典型像素尺寸逐漸向2微米收斂,手機(jī)sensor的像素尺寸已經(jīng)接近甚至小于1微米,所以鏡頭的聚焦精準(zhǔn)度也必須同步提高,將焦斑直徑控制到1微米級別。這就需要新技術(shù)、新工藝、新設(shè)備的支持,到目前為止也只有少數(shù)廠家才能穩(wěn)定地批量制造200萬像素以上的高分辨率鏡頭。
除此之外,應(yīng)該有不少讀者第一次聽說鏡頭也和WDR有關(guān)系,然而事實(shí)就是如此。一個理想的鏡頭應(yīng)該是100%透射的,不吸收或者反射光線,但真實(shí)的鏡頭中,每個鏡片都會反射一部分光線,反射光在鏡筒中又經(jīng)歷多次反射,最終會有一部分雜散光入射到sensor上,形成干擾圖像。
在WDR場景下,雜散光不再是局部的疥癬之疾,其信號強(qiáng)度甚至可以和正規(guī)光路一爭高下,后果就是抬升了所有像素的最小值,壓縮了像素的動態(tài)范圍,降低了圖像對比度,形成下圖所示的面紗眩光(veiling glare)效果。
在夜間拍照時,由車燈、信號燈在鏡頭內(nèi)反射形成的雜散光會在圖像的隨機(jī)位置處形成漂浮的鬼影(ghost image),還會隨著攝像機(jī)的移動而飄來飄去,導(dǎo)致很多不明真相的群眾會誤以為自己拍到了靈異世界的影像。
為了減輕WDR場景下的眩光和鬼影效應(yīng),鏡頭廠家需要不斷開發(fā)新的材料和新的工藝,提高光線的透射率,抑制雜散光的產(chǎn)生和傳播。
市場上流傳著幾種關(guān)于寬動態(tài)功能的稱謂,典型的有數(shù)字寬動態(tài)、True WDR、幀模式寬動態(tài)、行模式寬動態(tài)等。很多用戶被這些貌似專業(yè)的術(shù)語搞得云里霧里,這里有必要做一些澄清。
下圖是某品牌攝像機(jī)的WDR功能配置界面,界面上提供”寬動態(tài)“和”數(shù)字寬動態(tài)“兩種選項(xiàng),讓用戶甚是迷惑,不知該作何選擇。
所謂數(shù)字寬動態(tài)其實(shí)就是一種圖像處理算法,就像用PS處理照片一樣,把圖像中的暗部調(diào)亮,把過亮的區(qū)域調(diào)暗,使圖像整體看起來曝光更合適一些。數(shù)字寬動態(tài)既然是一種軟件算法,它其實(shí)是與攝像機(jī)硬件能力無關(guān)的。如果攝像機(jī)上使用的sensor并不支持寬動態(tài),則場景信息在sensor采集圖像的階段就已經(jīng)徹底丟失了,軟件無論做什么操作也不可能恢復(fù)出被sensor丟棄的信息,所以本質(zhì)上“數(shù)字寬動態(tài)”并不是真正的寬動態(tài),它無助于從源頭上捕獲場景的寬動態(tài)信息。
因此,所謂“數(shù)字寬動態(tài)”其實(shí)是攝像機(jī)廠家創(chuàng)造出來的一個偽概念,用于給實(shí)際不支持寬動態(tài)功能的產(chǎn)品貼上一個與”寬動態(tài)“有關(guān)的標(biāo)簽,其技術(shù)本質(zhì)是PS中的"曲線"功能,其效果也是非常有限的,并不能解決任何實(shí)際問題。
由于市場上很多廠家都在賣”數(shù)字寬動態(tài)“的產(chǎn)品,另外一些做真正寬動態(tài)產(chǎn)品的廠家則發(fā)明了”True WDR“概念,用來暗示我們的產(chǎn)品才是真正的寬動態(tài),親愛的客戶們可別被別人忽悠了。
但是某品牌的情況則更復(fù)雜一些,因?yàn)樗麄儍煞N產(chǎn)品都賣,所以他們不愿意宣傳”真實(shí)寬動態(tài)“,不然他們就不好回答”數(shù)字寬動態(tài)“是否真實(shí)這個問題。既然不好解釋,就干脆不解釋,讓用戶自己去領(lǐng)悟好了。
主流的寬動態(tài)技術(shù)一般使用專用的WDR sensor,對同一場景輸出兩幀圖像,一幀長曝光,一幀短曝光,長、短曝光的時間長度采用固定的比例,即曝光比,一般允許用戶根據(jù)現(xiàn)場條件進(jìn)行設(shè)置。
中華人民共和國國家標(biāo)準(zhǔn)《建筑照明設(shè)計(jì)標(biāo)準(zhǔn)》GB 50034-2013規(guī)定了新建、改建和擴(kuò)建的居住、公共和工業(yè)建筑的一般照度標(biāo)準(zhǔn)值。
可見,一般室內(nèi)的照度水平正常會在300~500lux之間。而室外照度等級則可能會在10,000 ~ 200,000lux 的廣大范圍內(nèi)浮動。關(guān)于各種照明條件下的典型lux值可參考下文。
下圖顯示了一個WDR場景的例子。室內(nèi)外使用同樣的白色涂料,室內(nèi)外的照度之比為1:25,按照室內(nèi)典型照度400lux計(jì)算,可以推算室外照度為10000lux。如果相機(jī)工作在線性模式且以室外的白墻作為曝光參考,則室內(nèi)白墻的曝光亮度會是理想值的1/25。
如果以1lux作為室內(nèi)陰影區(qū)的最小照度,當(dāng)室外照度為10,000lux時,場景的動態(tài)范圍是20log(10000/1)=80dB。當(dāng)室外照度為200,000lux時,動態(tài)范圍是106dB。為了應(yīng)對如此寬闊的照度變化,攝像機(jī)廠家一般都提供幾個預(yù)定義的寬動態(tài)等級供用戶選擇,等級越高意味著WDR曝光比越大,適合室外照度高的情況。
某常用sensor的技術(shù)規(guī)格書透露了如下技術(shù)指標(biāo)
sensor 動態(tài)范圍一般按照如下公式計(jì)算
DR=20log(FWC/Noise)
其中FWC是像素的飽和阱容,即像素飽和時能容納多少個電子。Noise是讀出噪聲,可以理解為多少個電子才能推動ADC變化一個比特(1DN)。
根據(jù)廠家數(shù)據(jù)DR=69可以反推 FWC/Noise=2818
廠家沒有透露Noise值,不過我們可以用典型值5來估算,則大致有
FWC=5*2818=14090,這是一個看起來比較合理的值。已知每個像素面積是9平方微米,平均每平方微米能夠容納1565個電子。這個值符合主流工藝的技術(shù)水平。
FWC/Noise=2818的意義可以這樣理解,假設(shè)有個白色物體的表面反射率為100%(實(shí)際一般最大90%),現(xiàn)在對攝像機(jī)的曝光進(jìn)行配置,使該白色物體放在室內(nèi)最暗處(照度1lux)時曝光為最小可能值1DN,按照這個比例推算,如果將該物體放在室外照度高于2818lux的地方,則該物體將開始過曝。
其實(shí)1lux+白物體是比較極端的例子,更加典型的場景是100lux+灰物體(表面反射率約為20%),在同樣的曝光配置下,灰物體將被曝光為20DN,在最終的圖像中處于剛剛可以分辨的程度,距離合適的曝光程度還很遠(yuǎn)。
從這個案例中我們可以知道,攝像機(jī)對寬動態(tài)場景的還原能力主要取決于sensor的動態(tài)范圍。超過sensor動態(tài)范圍之外的場景信息將毫無疑問地全部丟失,任何后續(xù)處理算法都不可能憑空將其恢復(fù)出來。
如果該sensor支持WDR功能,則會提供長、短兩種曝光設(shè)置(LE和SE),如果室外的實(shí)際照度是10000lux,而sensor的記錄能力是2818lux,兩者存在3.5倍的差距,所以WDR曝光比可以設(shè)置為4,這樣可以保證同一物體在室內(nèi)曝光合適時,放到室外也能得到正確的曝光。如果室外實(shí)際照度是10萬lux,則曝光比需要設(shè)置為40。如果實(shí)際照度是20萬lux,則曝光比需要設(shè)置為80,依次類推。
普通用戶很難理解曝光比的概念,所以攝像機(jī)廠家一般會用寬動態(tài)等級的概念,每個等級對應(yīng)一個固定的曝光比,讓用戶根據(jù)實(shí)際效果選擇。如何確定固定的比例是攝像機(jī)廠家自己定義的,一般人們會青睞一些特別的數(shù)字,如8:1、10:1、16:1、32:1、64:1、100:1等等。
當(dāng)攝像機(jī)安裝在室內(nèi)環(huán)境時,或者在雖然在室外但是環(huán)境中存在人造光源時,攝像機(jī)的曝光經(jīng)常會遇到閃爍(flicker)問題,就像下圖所示的效果
閃爍產(chǎn)生的原因是CMOS image sensor 的曝光模式(rolling shutter)與交流電頻率(50Hz)共同作用的結(jié)果,其原理如下圖所示。
當(dāng)攝像機(jī)工作在WDR模式時,如果采用了固定的曝光比,則很有可能會在長幀(室內(nèi)場景)引入閃爍。如果是車載應(yīng)用,則很有可能在短幀(人工光源)引入閃爍?,F(xiàn)在很多汽車安裝的是LED大燈,并非連續(xù)發(fā)光,而是以頻閃的方式發(fā)光,因此攝像機(jī)很容易拍攝到大燈剛好熄滅的時刻,如下圖所示。
閃爍會干擾WDR圖像合成算法,帶來很多圖像效果問題,但是這個問題屬于結(jié)構(gòu)性矛盾,原則上是無解的,某些攝像機(jī)廠家可能會推薦一些變通的方法來進(jìn)行緩解,使用時需要注意閱讀廠家指導(dǎo)手冊。
圖像質(zhì)量是一個很寬泛的概念,撿重要的說,它包含了解像力、色差、噪聲、信噪比等若干個關(guān)鍵技術(shù)指標(biāo)(其實(shí)還有很多)。幀率、圖像質(zhì)量和編碼帶寬這三者存在相互制約的關(guān)系,可以理解為一個三角形關(guān)系
在有些場景下,帶寬是硬性約束,比如在筆者參與過的一個城市監(jiān)控項(xiàng)目中,警方租用電信公司提供的網(wǎng)絡(luò)服務(wù),每個10Mbps線路承載兩個攝像機(jī),攝像機(jī)的數(shù)據(jù)帶寬只要超標(biāo)3%就開始丟包,也就是說攝像機(jī)在任何條件下瞬時帶寬都不能超過5Mbps。另一方面,警方的技術(shù)規(guī)范要求在任何情況下視頻的幀率不能低于25fps,H.264的編碼質(zhì)量不能低于QP值24。這個條件對于多數(shù)普通的點(diǎn)位來說倒也問題不大,但是有一些人流特別密集的口岸點(diǎn)位則是壓力山大,本質(zhì)上是所有的壓力都集中到了編碼器上。
H.264/265編碼器對視頻數(shù)據(jù)進(jìn)行壓縮的理論基礎(chǔ)存在幾個關(guān)鍵支撐點(diǎn),
在安防實(shí)踐中,經(jīng)常會遇到一些復(fù)雜場景會破壞編碼器的理論基礎(chǔ),降低它們的編碼效率。
復(fù)雜的紋理會破壞圖像的空間冗余,使編碼器不得不使用大量的比特位去描述圖像的紋理信息。下圖這種椅子的椅背部分就是很有代表性的復(fù)雜紋理,它會導(dǎo)致碼率成倍增加。
密集的人流和無序的運(yùn)動會破壞視頻的時間冗余,使編碼器無法利用前后幀之間的相似性進(jìn)行信息壓縮,導(dǎo)致碼率成倍增加。
在室外監(jiān)控場景中,樹木和植物隨風(fēng)晃動也會破壞視頻的時間冗余,導(dǎo)致編碼器不得不消耗大量的比特位去描述這種沒什么意義的運(yùn)動信息,白白浪費(fèi)帶寬。
而最嚴(yán)重的情況則是發(fā)生在夜晚,夜間低照度、高增益環(huán)境會導(dǎo)致嚴(yán)重的圖像噪聲,噪聲的出現(xiàn)會破壞一切視頻冗余,肆意踐踏編碼器的全部理論基礎(chǔ)。
噪聲在空間上是無關(guān)的,在時間上也是無關(guān)的,能量分布則是各個頻率都有,編碼器不得不將大量的比特位消耗在這些完全不攜帶任何有用信息的數(shù)據(jù)上。在特別極端情況下,編碼后的H.264圖像可能會比不編碼的RGB圖像尺寸還大,即發(fā)生負(fù)壓縮率的情況。這就是為什么安防攝像機(jī)特別重視圖像降噪的原因。
現(xiàn)在我們已經(jīng)知道了,編碼器的最大敵人是噪聲,其次是無效的運(yùn)動,這兩樣?xùn)|西是完全不產(chǎn)生價值只帶來成本的累贅,必欲除之而后快。接下來是復(fù)雜的紋理和密集的運(yùn)動,這兩樣是給我們帶來價值的東西,在這上面投入成本屬于投資行為,我們的關(guān)注點(diǎn)應(yīng)該在于優(yōu)化編碼器的算法以實(shí)現(xiàn)更好的性價比,獲得更多的投資回報(bào)。
降低編碼器壓力的一個措施就是控制畫面的運(yùn)動,避免無意義的運(yùn)動。有很多畫面的運(yùn)動不是場景本身引起的,而是由攝像機(jī)3A算法調(diào)整引起的,畫面顏色的改變、亮度的調(diào)整都會誘發(fā)編碼器動作,消耗大量的比特位去描述畫面的變化,而很多情況下這些變化并沒有帶來什么價值,更多的原因是算法的低效而已。
有些畫面的運(yùn)動是有場景本身引起的,比如植物運(yùn)動,或者不相關(guān)的區(qū)域有人類活動等等。這種情況下,可以考慮調(diào)整攝像機(jī)視角,或者切掉一部分畫面,或者使用攝像機(jī)提供的隱私遮罩功能將不相關(guān)的區(qū)域涂灰,從源頭上剝奪這些區(qū)域參與編碼的機(jī)會。
很多場景下,攝像機(jī)拍攝的圖像會送給內(nèi)部或外部的AI算法單元完成人、車識別等智能處理任務(wù),比如下面這種。
順便提一句,根據(jù)目前的法律實(shí)踐,一個可以構(gòu)成處罰依據(jù)的證據(jù)鏈至少需要包含四張照片,一張高清局部放大照片可以準(zhǔn)確地呈現(xiàn)當(dāng)事人(車)的細(xì)節(jié)特征,三張照片可以體現(xiàn)違法行為開始、中間、完成的過程。
AI算法在對人、車進(jìn)行識別時,識別結(jié)果的準(zhǔn)確率在很大程度上會受到圖像質(zhì)量尤其是圖像噪聲水平的影響。這個特性和人類視覺的行為模式存在較大差別。人類擁有的“智能識別算法”似乎對噪聲沒有特別敏感,在圖像中加入一些噪聲對很多人來說幾乎是無感的,并不會顯著降低人類的判斷能力。但AI算法卻做不到這一點(diǎn)。在下圖所示的例子中,大熊貓照片疊加了一點(diǎn)隨機(jī)噪聲后,人眼幾乎毫無察覺,但AI算法卻(99.3%)信誓旦旦地將加了噪聲的大熊貓判定為“長臂猿”。
因此,不論是從編碼器,還是從AI算法的角度考慮,降低圖像噪聲都是極其必要的。
控制圖像噪聲最有效的方法是提高信號的強(qiáng)度,從而提高圖像的信噪比。對于攝像機(jī)來說,提高信號只有兩種方法,即
對于以圖像識別為核心的應(yīng)用來說,曝光過度帶來的信息損失一般大于欠曝引起的損失,所以圖像的目標(biāo)亮度可以比中值稍暗一點(diǎn),一般不會影響識別準(zhǔn)確率。另一方面,欠曝意味著sensor增益偏小,有助于減少由增益電路引起的噪聲,這對圖像識別也是有幫助的。
下圖是某品牌攝像機(jī)的曝光設(shè)置界面,對于人臉識別應(yīng)用來說,基本原則是優(yōu)先保證快門盡量長,然后盡量減少電子增益。
江西星火網(wǎng)防科技有限公司工程案例
【萍鄉(xiāng)安防監(jiān)控安裝咨詢熱線:15607994110 強(qiáng)弱電施工、信息光纖光纜熔接等服務(wù),歡迎來電咨詢?!?br/>