由於近來人工智慧(Artificial Intelligence, 簡稱AI)應用對於照片中辨識需求細節越來越高。單一成像的攝影機無法勝任這些工作。例如 : 3D或人臉辨識需要兩個不同焦距的彩色攝影機或者彩色照片外，還須一個針對紅外線光IR(Infrared, 簡稱IR）的結構光感測IR相機進行深度感測。更別說視訊會議上因為配合投影設備的操作，以至於空間的照明亮度不足以拍攝出清晰的照片與人像。若透過IR補光，則可提供AI除了物體與色彩外所需距離感或隱藏訊息，但是兩支攝像頭的成本也較高。IR 補光一般可分為純粹的補強環境亮度或圖案投影結構光(Structured Light)。結構光圖案可以是光點、條紋、及圖形等，顏色可以是黑白、灰度、或彩色，而感測器接收自物體反射造成的光信號的變化讓AI來計算物體的位置和深度資訊。

但光線直接照到人臉或反射物會對視覺產生影響.若採用IR不可見光則可以避免。而今日電子圖像傳感器(Image Sensor)供應商透過新的感光排列(RGB-IR)方式讓單一相機就可以完成視覺與資訊獲取 – 人工智慧(AI)車載更敏銳的視覺方案 : RGB-IR攝影機就此誕生。

彩色攝影，在拍攝彩色照片時，電子圖像傳感器(Image Sensor)會在曝光的一瞬間記錄下色彩，其原理是根據人眼對的感光原理透過混合紅(R)、綠(G)及藍色(B)三原色光形成所謂的「彩色」。與人眼一樣，圖像傳感器是使用光電二極體接收光線中的紅(R)、綠(G)及藍(B)光.所以我們會稱彩色相機為RGB Camera相機，可是大氣中的光並不是只含有人眼可見的可見光，光譜還含有不可見光中更高頻率紫外光與穿透性更高的紅外光.現行市售的攝影機成像應用有黑白,彩色與紅外光(IR)，如圖一說明，以下我們就透過不同的段落解析RGB-IR 攝影機的技術與應用。

圖像傳感器(如圖二說明)，主要透過濾光片過濾與篩選紅(R)、綠(G)及藍色(B)的光線。讓特定

光電二極體接收紅(R)、綠(G)及藍色(B)能量轉成電子訊號.最終由圖像處理器（Image Signal Processor，簡稱ISP）計算R、G、B量的比例來還原顏色。濾光片(Color Filter Array ,簡稱CFA) ，它主要會決定環境光譜的穿透率，就像濾鏡一樣。黑白相機使用透明或是不使用濾鏡,而RGB 彩色濾光片則是會讓可見光譜通過。

彩色相機前最常用的是拜爾濾色鏡 (Bayer Filter），一種針對可見波段(光學頻譜波長400nm-660nm)的成像，它將RGB濾色器排列在感光元件方格之上形成所謂的馬賽克彩色濾色陣列參考(Note 1)。因每個像素點上覆蓋紅(R)、綠(G)及藍色(B)其中一種顏色的濾光片，從而去感知每種顏色的能量。(參考圖三)。

RGB分別代表分別針對藍(Blue)、綠(Green)、紅(RED)相間的濾光片來補捉光線的特定波長，透過相鄰圖元的色彩資訊[圖四]，進行「去馬賽克 Demosaicing」(Note 2)，得到全色彩影像.這是最廣泛應用的色彩模式。

_{Note 1 : 彩色濾光片陣列 (CFA). 這種濾光片的排列50%是綠色，25%是紅色，另外25%是藍色，因此也稱做RGBG，GRGB，或者RGGB。}

_{Note 2 : 去馬賽克有不同的實現方法。簡單的方式是對相鄰同色的圖元數值進行內插，最終讓每個圖元都有(R)(G)(B)的數值。}

就是在RGB彩色相機顏色模式加入IR濾鏡，即紅外光波長（約760nm~1mm） 的感測。將IR通道添加到RGB傳感器的一個簡單解決方案是將拜耳模式中的兩個綠色圖元之一替換為僅IR圖元或者紅色和藍色的數量圖元減少一半與傳統的RGB CFA比較，RGB-IR CFA的光譜響應Responsivity就是多了一組IR光譜響應。由於可見光和紅外光的波長不同，所以鏡頭(Lens) 需要雙通帶(Dual Band)濾波器來獲得更好的光響應波長範圍。(參考圖七)

另外圖像傳感器的規格書都會有光響應效率的訊息。所以選擇時除了各家廠商提供的光學及解析度外，對於可見光與IR的光響應(光轉換成電)效率也是重點之一，它代表感測元件對光的能量靈敏度。靈敏度越高則感測光的能力越強。好處是除了暗環境表現更好外，這也表示若需要補光可以使用更低瓦數的能量。 (參考圖八)

目前許多的ISP供應商都可以支援根據RGB拜耳模式進行去馬賽克和對RGB-IR結果圖像進行顏色校正的技術，但RGB-IR去馬賽克採樣圖像需要額外的處理步驟，除了利用現有的彩色圖像處理模塊外，還必須處理所有R、G、B及IR四個通道以獲得適當的通道分離。圖六顯示了RGB-IR陣列的基本圖像處理管道。橢圓內的區塊是標準拜耳圖形處理程式的一部分。RGB-IR程式共用這些區塊中的大部分，並包括三個新區塊——IR 圖元插值、IR 減法和綠色圖元插值。(參考圖九)

因為IR紅外光，是不可見光。會有許多的優勢。例如 : 在光線比較暗的情況下，使用IR補光增強現實效果也不影響人眼的正常視覺。缺點是少了紅色(R)與藍色(B)或綠色(G)的圖元.色彩還原度會略為下降.早期是使用兩個不同的Image Sensor(即RGB color與MONO color)或透過機械控制的切換光波長濾鏡來獲取不同的影像訊號。(如圖十)

機械化的切換有容易故障的風險之外，RGB彩圖和IR圖在視覺上都有缺少的部分，例如色彩與IR無法兼得外也增加硬體成本。RGB-IR技術的圖像傳感器可以通過RGB-IR濾光片陣列的同時捕捉到RGB彩圖和IR圖，也就是同時擁有白天和夜間的可視能力。

因為有了同時捕捉到RGB彩圖和IR圖的功能，所以對下列各式應用能帶來更多的好處。

1. 門禁攝像頭
2. 監控攝像機
3. 車艙內監控攝像頭
4. 人臉系統(Face ID)攝像頭
5. 手機/平板/筆電攝像頭
6. 視訊會議攝像頭
7. 掃碼攝像頭

_{Note 3  搭配IR光驅動器照明（LED 電流驅動器）功能方塊圖(Block Diagram)範例}

當使用結構光3D成像時需要將普通鏡頭模組拍攝的2D彩色圖片和IR接收模組獲取的3D信息集合，經演算法處理得當，具備3D資訊的彩色圖片，若使用RGB-IR的感測器只要一個鏡頭就完成

• 手勢識別
• 人臉識別

940nm的LED燈發出的光線，人的肉眼不可見.車用上完全不會干擾駕駛者與乘客而且IR具有更好的穿透力，甚至戴上太陽眼鏡或某些材質口罩也能清楚看見眼睛及嘴巴。

因為同時具有紅外線識別的準確性，除了彩色自拍及視訊會議的低光源圖像品質提升外，還可以透過Face ID進行螢幕顯示解鎖與開機鎖及付費機制。圖十七的左邊為先前方案，右邊為RGB-IR 方案

在有限的標示物範圍加入輔助訊息。而這些訊息的塗料只能是經由IR的反射來識別.就像交通號誌與防偽應用。

RGB-IR攝影機有著體積小的優勢，可符合行動裝置及電腦人臉辨識登入機制的最佳選擇，正因為它有著生產上成本低，低複雜性，高可製造性的優勢。從手機上的人臉辨識到體感遊戲、3D掃描、物件追蹤，門禁監控功能等，各種工業、汽車、視訊媒體上，應用RGB-IR圖像感測器技術也皆陸續導入。目前三大圖像感測器元件供應商onsemi，SONY以及OmniVision紛紛在各種規格圖像傳感器上加入RGB-IR的CFA 產品選項。並且與圖像處理器(ISP)的廠商在各種領域，主動的推出各種RGB-IR的產品參考設計。

因為RGB-IR帶給彩色相機不再只是拍照或錄影，更因為它可以提供更多的訊息，結合在我們認知的視覺上。而這些訊息對AI及車載應用是非常迫切的。MACNICA Galaxy代理產品線中，提供了RGB-IR相關解決方案,安森美 (onsemi) Image Sensor & 偉詮電子(Weltrend) 及 創惟科技(Genesis) ISP相關產品,參考如下圖。

1. onsemi product roadmap & information  
2. https://www.onsemi.com/products/sensors/image-sensors
3. Wikipedia (維基百科)
4. Researchgate