新聞中心

EEPW首頁 > 設計應用 > 瑞薩AI視覺識別方案應用筆記2

瑞薩AI視覺識別方案應用筆記2

—— 高效二維碼檢測
作者:瑞薩電子中國 MPU產品部 高級經理 劉剛時間:2021-09-03來源:電子產品世界收藏

話不多說,我們開始拆解如何使用RZ/A2M的DRP實現在8ms時間內檢測5中不同編碼格式的二維碼。

本文引用地址:http://www.jiaxiaoks.com/article/202109/427998.htm

二維碼又稱二維條碼,常見的二維碼為QR Code,QR全稱Quick Response,是一個近幾年來移動設備上非常流行的一種編碼方式,它比傳統的Bar Code條形碼能存更多的信息,也能表示更多的數據類型。除了這種常見的QR Code之外,還有一些其它編碼格式的二維碼,例如Micro QR Code, DataMatrix, AZTec和漢信碼等等,因此要求掃碼槍能夠識別多種不同編碼的二維碼。 常規的操作是循環調用不同解碼器,逐一用不同的解碼器進行檢測和解碼,但導致的問題是解碼時間不穩定性與解碼時間偏長,如果能夠在解碼之前快速識別出二維碼的編碼格式,然后有針對性的調用對應的解碼器,則會大大提高解碼效率。

瑞薩的RZ/A2M微處理器可以利用其獨特的動態可配置處理器(DRP)完美解決這一問題,實現了1280x720(1百萬)攝像頭輸入時,在8ms時間內完成QR ,Micro QR, DataMatrix, AZTec 和漢信碼5種編碼格式的快速識別,下面讓我們看一下DRP是如何實現的。

以下是示例中用到的5種二維碼的圖例,我們將利用DRP的圖像處理加速功能識別每種編碼格式的特征

1630638420631081.png

我們將通過9個步驟的數據處理,逐步從MIPI接口輸入的圖像數據中提取出我們希望得到的特征標識。

在這9個數據處理環節中,大部分由DRP硬件加速模塊處理(藍色),少量過程由CPU進行處理(綠色),在此期間我們可以看到硬件DRP處理和軟件CPU處理之間的靈活搭配與無縫對接。

1630638439249627.png

步驟1

為了加快圖像的處理速度,我們會先載入一個Bayer2GrayThinning的DRP加速庫將圖像的分辨率降采樣為原始大小的1/4,同時完成圖像格式從Bayer到灰度圖的轉換并統計每幀圖像的亮度值,我們會將這個亮度的統計結果反饋給CMOS傳感器用于調整自動曝光參數。

image.png

由于Bayer2GrayThinning庫只占用1個Tile的DRP硬件資源,在此步驟中利用DRP的多Tile并行處理特性將每一幀1280x768的圖像分成6個1280x128的區域,由6個DRP處理單元進行并行化處理,這樣處理速度可增加為原來的6倍,而且每個處理單元內部的像素級處理也是并行化的。

1630638515439991.png

利用DRP的這兩個并行化特性,我們可以在0.6ms的時間內完成1幀1280x768分辨率圖像的處理,包含0.2ms的DRP庫載入時間和0.4ms的圖像數據處理時間。經過步驟1的處理我們得到一個320x192的灰度圖。

image.png

步驟2

得到灰度圖后我們加載一個binarization_adaptive的DRP庫,將圖像轉換為只有0x00和0xFF兩種顏色的黑白圖像。這個DRP庫可以根據每個8x8像素區域的灰度值平均值動態計算二值化的閾值,這樣可以有效解決不同亮度的場景中二值化閾值該如何選擇的問題。

image.png

我們可以設置二值化轉換的參數,控制輸出圖像以反轉方式輸出,即二維碼圖像中黑色部分輸出為白色,這樣方便下一步對白色部分提取輪廓信息。步驟2的總處理時間是0.9ms左右,包含0.6ms的DRP庫載入時間和0.3ms的圖像數據處理時間。

image.png

步驟3

得到二值化圖像后我們再載入一個Dialte的DRP庫實現膨脹功能,其基本實現原理如下;

image.png

■   用3x3區塊以步長為1像素掃描輸入圖像

■   掃描窗口中心點的新數據輸出值為3x3范圍內的最大值

■   實現效果:將白色擴展,吞并被包圍的黑色區域

■   可配置迭代次數,次數越多,白色擴展范圍越大

經過膨脹處理后的圖像中,包含二維碼數據的區域基本被聯通,形成一個包含整個二維碼的大區域??偺幚頃r間是0.4ms左右,包含0.2ms的DRP庫載入時間和0.2ms的圖像數據處理時間。

image.png

步驟4

此時我們對膨脹之后的圖像調用openCV的FindContour方法,它將得到這一幀圖像中所有高亮部分的外輪廓以及每個輪廓的最小外接矩形。我們會逐一判斷輪廓的寬高比,面積,位置等信息,篩選出最有可能包含二維碼的輪廓。如果條件不匹配則采集下一幀圖像。此步驟由CPU實現,時間約為4ms。

1630638652463426.png

圖中帶有旋轉角度的矩形為二維碼區域的輪廓,后面我們會將這個旋轉的矩形調整為傾角為0度的圖形,用于更精細的特征檢測。而最小外接矩形的四個頂點坐標將被換算成原始輸入圖像的坐標,用于從原始圖像中裁剪包含二維碼的區域。

image.png

步驟5

為了保證二維碼標識特征提取的精度,我們會從MIPI輸入buffer中裁剪Bayer格式的原始二維碼圖像。此時我們載入一個bayer2gray_cropping的DRP庫從MIPI buffer進行圖像裁剪,裁剪的位置就是步驟4中最小外接矩形4個頂點在MIPI buffer中對應的坐標。

這個bayer2gray_cropping只占用1個Tile的硬件資源,它具備6個tile并行運行的能力,因此我們會用6個Tile的DRP并行處理。

此步驟的執行時間約為0.6ms,DRP的載入時間為0.25ms,執行時間約為0.35ms

image.png

步驟6

下圖左側為裁剪出的帶有旋轉角度的灰度圖,其中4個綠色頂點可以從步驟4的輪廓信息得到。在此步驟中我們由CPU實現一個簡易的Keystone和縮放功能,將4個綠色頂點中的有效圖像映射到右側的buffer中,這里的梯形校正只是簡單抽取或重復原有像素點,不生成新的點,因此屬于有損但快速的算法。更精確的算法可用使用DRP的仿射變換(affine)功能,但會消耗更多的時間。

1630638700189953.png

步驟7

得到一個無旋轉的圖像后,我們重復步驟2中的binarization_adaptive處理,得到一個無旋轉角度的二值化圖像。這一步耗時約0.5ms

image.png

步驟8

此時載入FindContour DRP庫,檢測二值化后的二維碼圖像中所有高麗部分的輪廓,檢測結果為圖像中藍色的矩形區域。

image.png

FindContour DRP庫會輸出每個輪廓的位置,大小信息。所有的輪廓信息將被保存起來用于下一步的二維碼標識檢測。此過程總耗時約1.4ms,包含0.4ms的DRP庫載入時間及1.0ms的處理時間。

1630638766865098.png

步驟9

此時我們已經得到二維碼圖像中所有輪廓的坐標信息,我們可以很容易的通過輪廓相對于二維碼的對應位置,是否是正方形輪廓,是否包含對稱的子輪廓,是否包含偏心的子輪廓等信息來判斷出QR code, Micro QR code, 漢信碼,Aztec code。

對于DataMatrix的檢測,我們可以利用DRP運行時不消耗CPU負載的特性,在步驟8的DRP處理過程中(1ms的DRP執行期間)同時由CPU計算圖像每行和每列的求和統計,這樣可以讓DRP和CPU的處理也并行起來。

image.png

讓我們回顧以下以上9個步驟的處理:

1630638830293043.png

我們可以在8ms的時間內完成5種不同編碼的二維碼類型的檢測主要得益于:

■   加載具有并行化處理能力的DRP庫

■   同時加載多個DRP庫對一幀圖像的多個區域同時進行處理

■   DRP處理期間,并行運行CPU運算

■   硬件DRP加速處理與openCV軟件處理無縫對接

此時如果將裁剪出來的二維碼圖像交給后續對應的解碼器進行解碼,將極大的縮短多類型二維碼解碼的處理時間。

以下是對一個快速旋轉且變換編碼格式的圖像進行實時檢測的結果。

image.png

【video RZA2M_Barcode_Type_Detection_30ms_gif_c1.mp4】



關鍵詞:

評論


相關推薦

技術專區

關閉
男人桶女人18禁视频免费,日本Av不卡不卡在线观看,特级欧美午夜AA片,18禁止的观看啪啪免费