Increased Accuracy for Industrial Autonomous Systems with Low Bandwidth High Dynamic Range (eHDR)

効率と性能を向上させるために、産業用オートメーションの普及が進んでいます。自律移動ロボット（AMR）、倉庫ロボット、ドローン、農業、工場検査、セキュリティ/監視などのアプリケーションは、高度な技術でマシンビジョンに基づく人工知能（AI）を実装して、重要な機能を実行します。既存の物体の検出と識別の改善は、厳しい照明条件下において、物体に動きがあり、かつ長い微細なディテールが存在する状況で、画像キャプチャの課題を解決できるかどうかで決まります。組み込み型ハイダイナミックレンジ（eHDR）イメージセンサを搭載したオンセミの新しいセンサは、自律型マシンビジョンシステムを開発する際にエンジニアが直面する複雑な設計課題を解決するための機能を備えています。

産業用オートメーションにおけるハイダイナミックレンジの重要性

多くの産業用アプリケーションは、明るい部分と暗い部分の両方が混在する厳しい照明の場面で動作します。例えば、屋外用AMRは、同じ場面で明るい太陽が照射する部分と暗い部分が存在する状況で正確に動作しなければなりません。監視システムでアラームを作動させる判断は、影の部分から明るい部分に移動する不審者の動きを識別できるかどうかに基づいて行われます。一方、工場の技術者は、ディテールが要求される場面では理想的な輝度レベルになるよう照明を制御しますが、倉庫によっては照明を制御できない場合や再開発コストが高額になる場合があります。また、産業用ロボットはスケーリングが可能かつ複数の場所で動作する必要があるため、照明条件が不適切になるおそれがあります。荷物を運搬するドローンは、夜間や強い日差しの下で作業することもあり得ます。これらは、自律型システムが広いダイナミックレンジの場面で動作しなければならない、いくつかの例です。

多重露光＝ハイダイナミックレンジ

画像の最も暗い部分と最も明るい部分の両方でディテールをキャプチャするイメージセンサの能力がセンサのダイナミックレンジであり、デシベル（dB）単位で測定されます。一般的には、120 dBのダイナミックレンジで、最も極端なシナリオを除いて、すべてのディテールがキャプチャされます（車載アプリケーションでは、特に乗客の安全性に関しては、これよりも高いダイナミックレンジが必要です）。このように暗い部分と明るい部分が混在する場面では、1回の長時間露光では明るい部分の明度が飽和することがあり、逆に1回の短時間露光では暗い部分のディテールをキャプチャできないことがあります。

 図1.露光時間が短い画像では、明るい部分のディテールがキャプチャされ暗い部分のディテールが失われる

図2. 露光時間が長い画像では、暗い部分のディテールがキャプチャされ明るい部分のディテールが失われる

したがって、すべての領域のディテールをキャプチャするために、センサは短時間、中程度、長時間の露光時間による複数回の露出で、多くの画像を取り込むことができます。これらの露光を1枚の画像に合成することでハイダイナミックレンジを実現するのが、線形化と呼ばれるプロセスです。

図3. 図1および図2の場面にハイダイナミックレンジを適用

AI認識システムは、明るい部分から暗い部分まで、さまざまなディテールをキャプチャして、識別および認識性能を向上させることができます。

高解像度への挑戦

より長い距離での認識やより詳細な画像の取得には、高い解像度が必要です。物体から5～10m離れた場合、1080pでは物体の検出や分類に必要なディテールを提供するには不十分です。そのため、4Kおよびそれ以上の高解像度のセンサの需要が高まっています。このようなサイズの画像では、1画像あたりのサイズが大幅に増加するため、帯域幅が設計上の課題となります。さらに、120 dBのHDRを実現するセンサでは3回の露光が必要であり、センサが1フレームごとに3枚の異なる画像を取り込むため、有効フレームレートは3倍になります。例えば、3回露光のHDRでセンサの有効フレームレートが30フレーム/秒(fps)の場合、センサのアレイ、回路、出力は実質的に90 fpsで動作します。3回露光のHDR 4K画像を30 fpsで取り込み、センサとは別のISPで線形化を実行した場合、9000 Mbpsが必要で、処理および最速インタフェースを除くすべてに課題が生じます。オフセンサHDRで高解像度に対応することは、カメラシステムにとって困難な課題です。

図4. 代表的なハイダイナミックレンジアーキテクチャでは、イメージセンサとISP間のインタフェースを介して複数の画像が送信されるため、高解像度のときに可用帯域幅の圧迫や超過が生じる可能性がある

この両方の問題を軽減するために、オンセミのAR0822はセンサにリアルタイム線形化機能を統合して、インテリジェントにハイダイナミックレンジを組み込んでいます。これにより、解像度が高い場合でも従来の処理とインタフェースで対応可能になりました。

図5. AR0822組み込み型ハイダイナミックレンジ（eHDR）イメージセンサ

モーションアーティファクトとLED照明アーティファクト

異なるタイミングで3回露光を行うため、HDR画像にはアーティファクトが発生します。動きの速い物体の位置（角速度）は、個々の露光ごとにわずかに異なります。

図6. 多重露光HDRからのモーションアーティファクトを示す回転中のファン

さらに、LED照明を使用した場面では、別のアーティファクトが発生する可能性があります。LEDは、省エネのためにカメラが認識できる頻度で点灯および消灯しますが、人間の目には見えません。LEDは最初の露光時に点灯して、2回目と3回目の露光時には消灯するといった動作が可能であり、その場合は複数の露光や画像で光量が異なります。

 図7. 2列が点灯するLED照明ボックス、光の強度の違いはLEDのフリッカアーティファクトが原因

AR0822 eHDRは、多重露光フレームの組み合わせで起こるこれらのアーティファクトに対処するため、「インテリジェントな線形化」機能を内蔵しています。これはフレーム内の異なる露光でキャプチャされた信号レベルの違いを検知し、一般的に動きやLEDのチラつきが原因で発生するアーティファクトの低減を図ることによって可能になります。

図8/図9. AR0822のインテリジェントな線形化の結果、モーションアーティファクトのないファンと2列が完全に点灯したLED照明ボックス

eHDRは、厳しい照明条件下でも優れた性能を提供することにより、セキュリティ/監視、AMR、産業用モバイルロボットなどのアプリケーションでAIシステムが必要とする適切な解像度に対応して、物体の検出および識別の機能を強化します。

AR0822の詳細については、ホワイトペーパをダウンロードして参照してください。マシンビジョンアプリケーションにハイダイナミックレンジのイメージセンサを実装するときに、eHDRを使用してダイナミックレンジを拡大する方法や、その他の課題を克服する方法について説明しています。