基于視覺的系統在很多行業和應用領域中已變得非常普遍。實際上，我們中的很多人每天就攜著一個嵌入式視覺系統，比如在我們的智能手機中。這些智能設備不僅能夠捕獲圖像和錄制視頻，而且還能執行增強現實的應用，這些都展示了嵌入式視覺技術是如何被普遍地廣為接受。

處理能力、存儲器密度和系統集成度的提升，促進了嵌入式視覺在傳統和新興應用領域（ 圖1所示實例）的增長。這也使得嵌入式視覺在消費類、產業和政府領域被廣泛接受，因而將在十年內實現顯著增長。表1列出了一些嵌入式視覺的高增長領域，其中有一些顯而易見，有些則不是很明顯。

圖1 常見的嵌入式視覺應用

表1 預期的嵌入式視覺高增長領域

嵌入式視覺系統包含從所選成像傳感器接收光子到系統輸出的整個信號鏈。系統輸出是指從圖像中提取的經過處理或未經處理的圖像或信息，并提供給下游系統。當然，嵌入式系統架構師負責根據系統要求確保端到端性能。

為此，嵌入式視覺系統架構師需要熟悉與傳感器和后處理系統有關的各種概念和技術。本文作為高級入門手冊，旨在讓讀者對這些技術和概念有一個基本了解。

首先需要熟悉電磁波譜以及希望系統運行的光譜域。人眼只能看到 390nm（藍光）至 700nm（紅光）波長之間的光譜，也就是通常所指的可見光譜；成像設備憑借所采用的技術，則能捕獲到更寬泛波長的圖像，包括 X 光、紫外線、紅外線以及可見光譜。

在近紅外光譜及以下范圍，我們可以使用電荷耦合器件（CCD）或 CMOS （互補金屬氧化物半導體）圖像傳感器 (CIS)；到了紅外光譜范圍，需要使用專用的紅外檢測器。紅外光譜范圍之所以需要專用傳感器，部分原因在于芯片成像器（如 CCD 或 CIS）需要的激發能。這些器件通常需要 1eV 的光子能量來激發一個電子，然而在紅外范圍，光子能量介于 1.7eV-1.24meV 之間，因此紅外成像器應基于 HgCdTe 或 InSb。這些器件需要更低的激發能量，經常與 CMOS 讀出 IC（即 ROIC）配合使用，以控制和讀出傳感器。

最常見的兩種檢測器技術分別是 CCD 和 CIS

電荷耦合器件被視為模擬器件，因此要集成到數字系統中就需要使用片外 ADC 以及所需模擬電壓電平下的時鐘生成功能。每個像素存儲由光子產生的電荷。大多數情況下將像素排列成 2D 陣列，組成多個行，每行包含多個像素。讀出 CCD 時通過行傳輸將每行并行傳遞到讀出寄存器，再通過讀出寄存器將每行串行讀出。這個寄存器讀出過程中，電荷轉換為電壓。

CMOS 成像傳感器能實現更緊密集成，使 ADC、偏置和驅動電路都集成在同一晶片上。這大大降低了系統集成要求，同時也提高了 CIS 設計的復雜性。CIS 的核心是有源像素傳感器 (APS)，其中每個像素同時包含光電二極管和讀出放大器，因此，與 CCD 不同，CIS 能夠讀出陣列中的任意像素地址。

盡管大多數嵌入式視覺都采用 CIS 器件，但是 CCD 仍用于非常注重性能的高端科研應用領域。本文的要點內容適用于這兩種成像技術。

選擇正確的傳感器需要了解系統要求，為此，必須從器件的幾個方面加以考慮。

1. 第一個要求是我們必須確定所需的分辨率，也就是每行有多少個像素，檢測器需要多少行。最終應用對此起決定作用，例如，科研用的天文學應用可能需要高分辨率的 2D 器件，而工業檢查成像可能僅需要行掃描方案。

行掃描器件在 X 方向上包含單行（有時是幾行）像素。如果通過相機或目標的移動生成 Y 方向上的圖像，通常采用這類器件。它們用于檢查或光學字符識別 (OCR) 領域。有些領域需要采用時域積分 (TDI) 線掃描傳感器。這類傳感器在 X 方向包含多行，隨著目標移動，像素值也從一個向下一個移動，隨著電荷在時間上積分，可實現更靈敏的檢測。不過，TDI 需要在行傳輸與目標移動之間進行同步，以防出現模糊和圖像缺陷。由于只有幾行需要讀出，因此幀率可以非常高。

2D 陣列包含多個行，每行有多個像素，陣列大小是決定傳感器最大幀率的一個因素。通常，為了實現更高的幀速率，2D 器件并行讀出多個像素。2D 器件還能執行窗口操作（有時稱為興趣區域），即只讀出特定的感興趣區域，以獲得更高幀速率。這類器件可用于眾多領域，而且信息包含在 2D 圖像中，例如高級駕駛員輔助系統 (ADAS)、監控或科研領域。

2. 確定成像器格式以及所需分辨率之后，我們還必須考慮像素間距。像素間距定義像素的大小，決定能收集多少入射光子產生的電荷。因此，較小的像素間距意味著在積分周期內（傳感器暴露在圖像中的時間）收集較少的電荷。如果像素間距較小，意味著捕捉圖像需要更長的積分時間，這會影響傳感器捕捉快速移動圖像的能力，并降低低光拍照性能。

3. 確定傳感器格式后，我們必須考慮使用哪種技術，CCD、CMOS 還是更為專業的技術。這里的重要參數是量子效率 (QE)；該參數是器件通過光子產生電子的效率。通常，我們希望在有用光譜上實現盡可能高的 QE，這對于低光應用也具有重要意義。影響器件 QE 的因素有三個：吸收、反射和透射。QE 降低的一個主因是器件結構。器件結構可能導致像素被傳感器中的電路屏蔽，例如金屬線或多晶硅柵極電路等。這些結構會吸收或反射光子，從而降低 QE，因此要選好傳感器。

前照式 — 對于這類器件，光子以上面的介紹的傳統方式照射器件的前面，像素可能被遮蔽，QE 相應降低。

背照式 — 這些器件經過后期處理，將器件的后部削薄，以便在后面接收光照，從而不受其他設計元件的阻擋。薄型背照式器件能實現最佳 QE。

4. 我們還必須考慮圖像傳感器中所允許的噪聲；有三個主要方面需要考慮。

器件噪聲 — 這在本質上講是暫時的，包括散射噪聲以及輸出放大器和復位電路產生的噪聲。

固定圖形噪聲(FPN) — 呈空間分布，由相同光照強度下像素的不同響應引起。FPN 通常由每個像素的不同偏移和增益響應引起；偏移部分通常稱為暗信號響應非均勻性 (DSNU)，增益部分稱為圖像響應非均勻性 (PRNU)。有多種方法可以補償 FPN，最常見的方法是輸出信號的相關雙采樣法。

暗電流 — 這由圖像傳感器中的熱噪聲引起，甚至在無光照情況下也會出現。暗信號對最終圖像質量的影響取決于幀速率；較高幀速率下影響不大，然而，隨著幀速率降低（如科研應用）影響會很明顯。由于暗電流與溫度有關，因此在需要降低暗電流的情況下，通常做法是利用冷卻器件（例如 Peltier)來降低成像器件的工作溫度。

理解了成像器的噪聲模式后，我們就能確定能實現多大的信噪比 (SNR)。

確定器件的噪聲性能后，就可以確定圖像傳感器所需的動態范圍。動態范圍代表傳感器捕獲光照強度范圍較大的圖像的能力，單位是 dB 或以比率形式給出。這意味著圖像同時包含高照度區和暗區。

傳感器的實際動態范圍由像素的滿井容量決定，也就是像素飽和前所能承載的電子數量。將容量除以讀出噪聲，能方便地將比率轉換為以 dB 為單位的值。

然而，這并不能確保器件可以實現這樣的動態范圍；只是說明總線寬度所能代表的潛在范圍，而沒有考慮傳感器性能因素。

5. IO標準也很重要，不僅用來輸出像素數據，還用來輸出命令和控制接口。這與幀速率有關，例如 LVCMOS 接口不適合高幀速率應用，但可用于簡單的監控攝像頭。隨著幀速率、分辨率和每像素比特數的增加，成像器件的趨勢正朝著采用 LVDS 系列或 SERDES 技術的專用高速串行鏈路發展。

6. 現在我們已經介紹了圖像傳感器的多個重要方面，另一個尚未考慮的因素是成像器是彩色還是單色傳感器。無論選擇哪種，都取決于應用場合。

彩色傳感器 — 需要在每個像素上使用貝爾圖形，在一條線上交替變換紅色和綠色，下一條線上交替藍色和綠色（綠色用得多是因為人眼對綠顏色波長更敏感)。這意味著要對接收到的光子進行濾波處理，使每個像素只接收具有所需波長的光子。我們可對圖像進行后處理，用不同顏色圍繞像素以重構每個像素上的顏色，從而確定像素顏色，而且不會降低圖像分辨率。彩色傳感器會使重構和輸出圖像所需的圖像處理鏈變得復雜化。貝爾圖形確實會導致分辨率降低，但是沒有想象的那么差，通常降幅為 20%。

單色 — 由于圖像陣列上沒有拜耳圖形，因此每個像素能接收所有光子。這樣可增大圖像靈敏度，使圖像的讀出更簡單，因為不存在顏色重建所需的去馬賽克效應。

7. 經選擇我們決定使用 CIS 器件，而實際上這些屬于復雜的專用片上系統。因此，我們還必須考慮以下關于讀出模式和積分時間的問題。

積分時間 — 這是讀出之前像素的曝光時間。在比較簡單的 CCD 系統上，需要接近電子裝置在器件外執行該時序。然而對于 CIS 器件，積分時間可通過命令接口由寄存器來配置，然后 CIS 器件針對常用的兩種讀出模式精確地執行積分時間。

全局快門模式 — 這種模式下，所有像素同時接受光照，然后讀出。此模式下由于所有像素同時讀出，因此會增大讀出噪聲。如果要對快速運動物體拍攝快照，適合使用該模式。

滾動快門模式 — 這種模式下，進行逐行曝光和讀出。這種模式的讀出噪聲較小，然而，在捕獲快速運動物體方面不如全局快門模式。

 
【來源：CSDN博客，Xilinx公司投稿，作者：Aaron Behman】

http://www.wfscnqf.cn   光虎光電科技（天津）有限公司