検出物体に対するセンサーフュージョン技術の三次元データ生成

近年、各企業が実用化に向けて自動運転技術の研究を進めており、自動運転の目としてセンサーフュージョンという技術が活用されています。センサーフュージョンとは、複数種類のセンサー情報を融合して、センサー情報の信頼度を高めたり、単体のセンサーでは難しい高度なタスクを行えるようにしたりする技術です。例えば、自動運転では障害物の識別と測距のために用いられております。そして、そのような識別と測距を行えるセンサーフュージョン技術は、活用できる幅が広く、また、機器の低価格化が進んでいることにより、ロボティクス、農業、インフラ、セキュリティなどの様々な分野での活用が広がりつつあります。そこで、私たちはセンサーフュージョン技術を活用したROSライブラリの調査・検証を行いました。

今回の調査・検証では、インフラ分野での活用に注目し、LiDAR (Livox Mid-70)より得た点群データとカメラ (realsense d455)より得た画像データを利用して、ひび割れを撮影し、ひび割れの検出と三次元データの生成を行いました。画像データのみでは、現実空間スケールを把握することが難しいですが、このように3次元データへ融合することで、検出したひび割れの大きさや長さを測ることができます。そして、こちらを行うメリットとしては、詳細なインフラモデルの生成、インフラのリアルタイム監視と評価、自動化による人的コストの軽減、データ分析への活用などが挙げられます。
また、ステレオカメラやToFカメラ(近距離センサ)を用いて、三次元情報を取得する方法もありますが、ステレオカメラは高度な計算や光の問題があり、ToFカメラは近距離でしか扱えないというデメリットを考慮して、今回は三次元情報の取得にLiDARを使用しております。

具体的には、以下のプロセスで検証を行いました。
1. 点群データと画像データを取得
2. 点群データに対してPCLを用いて、ノイズ除去した点群を生成
3. 画像データに対してyoloのインスタンスセグメンテーションモデルをひび割れ検出用に再学習させ、ひび割れを検出
4. 点群データと画像データをLivox用のライブラリを利用し、キャリブレーション (三次元上の位置合わせ)
5. 2,3,4の結果を入力して、三次元空間へカラーマッピングを行い、色付きの三次元データを生成