2024.09.16

事件相機概述

簡介

    與傳統相機相比事件相機(Event Camera)它不是記錄一個場景的,它不是記錄一個場景的,而是記錄一個場景的變化。對於單個像素,只有接收的光強產生變化時,該像素才會輸出。比如亮度增加並超過的一個閾值,那麼對應該像素將輸出一個亮度增加的事件(+1),反之輸出亮度降低的事件(-1)。輸出可以看作是一個一維二值訊號,每個訊號點包含了(x, y, t, p)四元資訊,即橫向縱向座標、時間戳記、事件極性(±1)。在一個沒有物體移動的場景中架設一台事件相機(Event Camera),它不會顯示任何東西,也沒有有效輸出(會有雜訊信號序列輸出)。偵測器對亮度變化的回應不是線性而是對數的,所以動態範圍很大,對低照度也較為敏感。一旦事件相機(Event Camera)檢測到運動(單一像素的光線發生了變化),它就會在每個像素的基礎上以非常高的更新率(1微秒)呈現出來——動態響應快。資料表示方式是Address-Event Representation(AER),也就是每一個資料都是由事件的位址(對應像素的位置),以及事件的性質(變亮還是變暗)等組成。


    左側為有一個黑色斑塊的圓盤,勻速旋轉時,右上方的傳統相機會定時拍攝完整的圖像,下方事件相機的輸出會
    僅輸出變化,即黑斑的運動。當圓盤不轉時,傳統相機依舊傻傻的拍攝圖像,而事件相機不會產生任何輸出。

    特性
    • 沒有“幀率”的概念,回應特別快。如果說傳統的攝影機是等時間間距拍攝的,那麼DVS是等亮度變化值採樣的,因此可以捕捉更快的動作,對於非常迅速的亮度變化十分敏感;event之間可以小於1微秒,基本不會產生傳統相機(幾十到幾百幀率)的模糊。
    • 對數響應使DVS動態範圍很高。
    • 需要頻寬小,減少了資料冗餘,極大地減小了傳輸頻寬。
    • 低功耗、低延時。
    • 無法獲得單個像素的亮度絕對值。
    • 件相機生成的事件序列和傳統的基於張的影像序列具有形式和資訊上的巨大差異,相應的視覺計算法需要重新適應性修改,比較時候事件序列的神經網路模型可以考慮時序RNN、脈衝神經網路SNN。
    • 早期產品雜訊大,信號品質差。

    主動標記追蹤 XYT
    應用

    1. 無人機自主導航(SLAM)

       • 一般相機:
         優點:成本低,技術成熟,具有較好的空間解析度。
         缺點:當偵測器的移動超過所能被相機幀率捕捉上限時,相機的圖片就會變得模糊;相機和人眼一樣對於光線非常講究。

       • 事件相機event camera:
         優點:因為這種相機只是在尋找像素的變化,所以對低光也很敏感,動態範圍大; 響應時間特別低,動態響應快,event之間可以小於1微秒;只傳輸變化的像素數據,頻寬要求低。
         缺點:目前成本較高,空間解析度相對低。

    2. 高速目標檢測與追蹤

    3. 自動駕駛

    4. 物聯網邊緣感知節點

    5. 工廠系統監測

    6. 生物醫學


    人流計數與追蹤
    細胞分選及追蹤
    高速計數
    雷射焊接