豊田工業大学　スマートビークル研究センターでは、高齢者や運転初心者に安全で、さらに環境への負荷が少ない運転支援システムの研究開発を進めています。具体的には、コンピュータがテレビカメラ、レーザスキャナー、GPS (global positioning system) などのセンサから得られる情報をもとに、歩行者や車両、道路、白線などのさまざまな対象を検出し、複雑な走行環境を認識できる技術を開発しています。本研究開発において、RoboVision2は、カメラによる夜間の画像認識技術を開発するためのツールとして活用されております。

三田先生の研究ではRoboVision2を用いた走行環境にロバストな認識システムの構築方法として、雨天、降雪、夜間などの様々な環境変化に対して耐性のある距離計算アルゴリズムの研究を行っています。豊田工業大学の三田先生は、RoboVision2を以前より導入して走行時のセンサーフュージョン技術の研究を行っています。

ステレオビジョンは2つのカメラ画像を使って距離を出す計測を行っています。ステレオビジョンの距離計測の手法はいくつかありますが、本研究では特徴量を抽出し、マッチングを取って、視差画像を計算する手法をとっています。

マッチングには、計算負荷の問題もありますが、右と左のカメラ画像の相関を取る考え方で算出しています。

先生の研究では、右と左の画像の縦・横・斜めの3種類の相関のパターンの積で相関を取ることで計算。

また、ステレオカメラの課題として白い壁や夜間の空や路面などテクスチャー（特徴）のない領域における距離をどのように算出するかという点について、Gradientという、勾配の情報を使って情報を埋めていくことでなめらかな距離計測の計算を実施しております。

また、計算においては、必要な所を動的に計算することで60fps程度の演算速度を確保しています。

走行環境の変化として、雨や雪の悪天候や日照条件があります。
走行環境が、雪や雨のシーンになると、ワイパーが片方カメラに映り込んでしまい距離の算出がうまく行えなかったり、雪や雨が障害物として計算され、前方の距離の演算が信頼できない値になってしまうという問題が生じます。
また、日照条件の面においては夜間のテクスチャーがあまりない空間（路面や空）においてもノイズが発生し、正確な距離が算出できないケースが発生します。

そこで、新しい手法として上記に紹介したような既存のステレオマッチングの計算に対して、左右の絵をマッチングした際に信頼度という指標を算出し、信頼度が高い領域では距離の計算を行っています。

信頼度の計算では、マッチングコストを計算に組み入れることで取得画像の各エリアにおける信頼度を算出しています。

夜間などの走行においては、RoboVision2搭載のCMOSセンサは高感度であるものの夜間にはノイズの影響を受けるため、ノイズの影響により距離が正確に計算されないケースや路面等距離が異常値をとるケースが発生します。
そこで、メディアンフィルターを活用し、なめらかな処理結果を取得できるように処理しています。

下記がこれらのアルゴリズムを適応した結果のイメージです。

一般的なSGM（Semi Global Matching）やMPV（Multi Path Viterbi)の手法だと、距離計測結果の値のちらつきが前方で発生しています。
これに対して三田先生が検討している結果ではなめらかでノイズの少ない計測が行えていることがわかります。

このようにして、画像処理のアルゴリズムを改良することにより雨天・降雪時にも信頼性の高い距離の情報を取得することが可能となっています。

また、講演では前回の事例でも紹介した夜間の計測結果の事例も紹介いただきました。

夜間の画像ではノイズが多くなるため、何もないところで誤った距離計測結果を出力してしまうことがあります。その対応として、Non-local means(NLM) filterを活用しています。

NLMフィルターをそのまま活用すると計算処理の時間が長くなるため、アルゴリズムを改良して計算時間の短縮を図っています。アルゴリズムの改良により20ms（50fps）で計算処理が可能になっています。これにより、ほぼリアルタイムに演算処理ができ、車載のアルゴリズムとしての適用の検討も進められています。

このような検討の結果、RoboVision2程度のスペックがあれば夜間・雨・雪での距離計測も可能というコメントをいただいております。

最後の紹介では、ステレオビジョンの応用例として、車両の自己位置決めや3D表現と距離測定について紹介いただきました。

車両の自己位置決めではステレオマッチングで得られる点群の情報から、自動運転で使われるような高精度マップを使い、自己位置の推定を行う検証を行っています。先生の検討においては、昼間の条件において、ステレオカメラとポイントクラウドマップの比較結果として縦方向で0.08m、横方向で0.09mの誤差となり、およそ白線1本分の誤差になる結果を確認しています。

ステレオカメラとして新しい取り組みとして、周辺の物体検出、走行可能エリアの検出、鳥観図としてのポイントクラウド表示など様々な検出を検討しています。

また、今後の研究では、霧や逆光にも対応するためのセンサー構成が必要となり、感熱センサ、3D-LiDARなどのセンサーフュージョン技術の研究とディープラーニング技術を活用することにより全天候や様々な状況に対応することのできる認識技術を開発できるのではないかと考えています。

本研究に取り組み三田先生は、豊田工業大学附属研究センター　スマートビークル研究センターに所属し、交通事故のない社会の実現を目指して研究に取り組んでおります。最新の研究の取り組みなどについては研究室のページをご覧いただければと思います。

ZMPでは、本研究で活用されているステレオカメラユニットRoboVision2sをはじめ、自動運転/ADAS向けに最大150m、水平110°の距離と視野のセンシングが可能なステレオカメラRoboVision3を取り扱っております。

それぞれの製品の詳細については、下記製品ページをご確認いただければと思います。