• TOP
  • >
  • gallery
  • >
  • インタビュー 第3回目 SDKの『反射除去』『リタデーション』機能は、応用範囲が広く、タクトタイム最小化に貢献

第3回目 
SDKの『反射除去』『リタデーション』機能は、応用範囲が広く、タクトタイム最小化に貢献

鈴木祐介
(商品企画担当)

鈴木祐介
(商品企画担当)

では、次にこのSDKは具体的にどのようなアプリケーションに応用可能かご説明いただけますか。
ITSアプリケーションでの期待が高まる『反射除去』機能。

鈴木祐介
(商品企画担当)

鈴木祐介
(商品企画担当)

鈴木

鈴木「反射除去機能」はITS(高度道路交通システム)アプリケーションで今後多く使用されることが期待されています。 世界各地に広く存在しているITSアプリケーションの例として「スピード違反検知」がありますが、従来は「スピード違反を検知し、その車両のナンバープレートを記録する」ことができれば良かったため、「車両外観」のみを撮影できれば目的を果たすことができていました。しかし昨今は、「スマホながら運転」が原因となった交通事故が急増していることもあり、「車内」の様子を撮影する必要が出てきました。

なるほど、確かにスマホの使用で注意力が低下して、事故につながるケースが増えていますね。
でも、なぜ車内の確認に偏光カメラが必要になるのでしょうか?
鈴木

鈴木ここで大きな問題となっているのが車両表面のフロントガラスなどで発生する反射光の存在です。周辺の建物、さらには雲さえも反射光としてフロントガラスに写り込むんです。なので位置が固定されているカメラでは反射を避けて車内を確認するのが難しいのです。
ですがSDKの「反射除去機能」を用いれば、フロントガラスで反射した光を抑えることが可能なため、「車内」を撮影したいという昨今のニーズにお応えすることができます。

そういえば日本でも2019年12月に「スマホながら運転」禁止の法令が発令されたニュースを見たのを思い出しました。これからますますニーズが高まりそうですね。
鈴木

鈴木はい、そう思います。
他には、海外のニーズになりますが、車内の乗車人数によって駐車場の料金が変わるシステムがあると聞いています。また、混雑緩和のために一定数以上の人の乗車が必要な道路が設けられている国もあります。これらの用途も車内を確認するニーズになりますね。 下記は、ITSアプリケーションを想定した反射除去の例ですが、 いずれの場合でも反射除去により車内がよりクリアに確認できるようになっていることが分かるかと思います。

図1:SDKの反射除去機能の効果

三ッ堀裕之
(SDK開発担当)

三ッ堀裕之
(SDK開発担当)

船上や宇宙でも?!さまざまな分野でアイデアが広がる『反射除去』機能を使ったアプリケーション。

三ッ堀裕之
(SDK開発担当)

三ッ堀裕之
(SDK開発担当)

ここまでは主にITSアプリケーションに関する具体例を教えていただきましたが、反射除去で他の用途はありますか?
三ッ堀

三ッ堀いろいろあると考えています。
イメージしやすいものだと、郵便物で宛名の箇所がフィルムになっている封筒がありますよね。一般的に窓付き封筒といわれているものですが、その窓の部分をカメラで読み取り、仕分けを自動化するニーズが存在しています。そういった用途でもフィルム上の反射が問題になります。

郵便の宛名、ですか。人の目で中身が見られるので、普通のカメラでも読み取れそうな感じがしますが。
三ッ堀

三ッ堀そうですよね。でも人の目では問題なくても、機械で読み取ろうとすると難しいことって結構あるんですよ。特に工場やオフィスだと蛍光灯などの光源があちこちにあって、それらが映り込みの原因になります。
窓付き封筒のフィルムの場合、素材がいくつかあるようなのですが一見平面的に見えてもフィルムが波うっていて、それが結構反射の原因になります。
我々の偏光カメラの反射除去の強みは複数の角度の反射を同時に除去できることなので、こういった波や皴になっている箇所の反射にも強いんじゃないかと。

図2:窓付き封筒の反射除去の例

反射除去前

反射除去後

なるほど。人の目では問題なく見えても、機械で読み取ろうとすると難しいことがあるのですね。
三ッ堀

三ッ堀波の反射でいうと、海の波ってギラギラ反射していて目に結構負担をかけるのですが、偏光カメラで反射を除去することで漂流物の確認に使えるんじゃないかと。もっともこのアイデアについては我々まだ試せていないので、どのくらい効果があるのか未知数ですが(笑)。

偏光カメラを船に、というのはなかなか思いつかないですね。
三ッ堀

三ッ堀あとは、雲も偏光していると聞いたことがあります。なので偏光カメラを宇宙に持って行って撮影すると雲の影響を除去できて、きれいに地表が見えたりしないかな、と。

三ッ堀裕之
(SDK開発担当)

三ッ堀裕之
(SDK開発担当)

『露光調整』は『反射除去』機能のキーファクター。 SDKが露光状態を視覚的にサポート。

三ッ堀裕之
(SDK開発担当)

三ッ堀裕之
(SDK開発担当)

本当にアイデア次第でいろいろな方面で活躍できそうですね。
反射除去を行う際に注意が必要な点などはありますか?
三ッ堀

三ッ堀反射除去処理は全ての場面で効果があるように捉えられることが多いのですが、実際には満たすべき条件があります。その代表的なものが露光調整です。
露光が正しく調整されていないと、偏光処理前の画像が白飛びなどを起しますが、その場合はその画素データは飽和して無意味な情報になってしまっています。そのため反射除去処理を行ったとしても効果は得られません。
露光調整は撮像の基本ではありますが、屋外で反射除去を行う際にはこの基本がおろそかになってしまうことが多いので、注意が必要です。

露光調整が、反射除去の設定条件では重要なファクターなのですね。
この露光調整を簡素化するにあたりSDKで何か工夫されていることはありますか。
三ッ堀

三ッ堀弊社製のXPL-Viewerではお客様が偏光カメラを評価される際に視覚的に露光状態を確認する機能がありますので、ITSアプリケーション向けの評価においてもぜひご利用いただければと思います。

図3:XPL-Viewerで偏光処理に無効な輝度値を色付け表示
赤は黒つぶれした箇所、黄色は白飛びを起こしている箇所

鈴木 祐介
(商品企画担当)

鈴木 祐介
(商品企画担当)

反射する現象を逆手にとり、透明物のコントラストを強調する『反射強調』機能。

鈴木 祐介
(商品企画担当)

鈴木 祐介
(商品企画担当)

鈴木

鈴木ここまで主に反射除去に関してご紹介してきましたが、反射成分をコントロールできることを利用すると反射除去とは反対に反射強調をすることも可能です。

反射強調ですか?どのように使えばいいのかイメージが湧きにくいのですが具体例などありますか?
鈴木

鈴木例えば昨今の世界的な人手不足により、製造ラインなどでロボットアームによる物体のピッキング需要が高まっています。ランダムに配置された対象物をピッキングする際にはカメラによる物体認識が必要となります。そこで大きな課題の一つとなっているのが透明物の物体認識です。

透明物だと難しい点があるのでしょうか?
鈴木

鈴木一般的に透明物は背景とのコントラストが小さいため、物体認識の難易度が非常に高くなります。一方で透明物の表面は光沢を帯びている場合が多く、その光沢面上で発生する反射を強調することで透明物のコントラストを高めることができます。コントラストを高めることができさえすれば、透明物であっても容易に物体認識できるのです。

図4:反射強調の例

通常であれば不要とされる反射を逆に利用するなんて面白いですね。
透明な物体を透過すると偏光が変わる?この特長を生かした『リタデーション』機能。
まず、リタデーションとは、なんでしょうか?
鈴木

鈴木今までは物体に光を当てて、反射時に発生する偏光を観測してきました。
リタデーションは物体の反射でなく、透明なものに偏光を通過させて、その変化を観測する計測方法になります。

偏光が変化するのですか?
鈴木

鈴木はい、透明な物体、特に光弾性体と呼ばれる材質のものは外からの圧力が内部の状態に影響して、通過する光にも影響を及ぼします。偏光を通過させたときは特に影響を観測しやすくなるため、影響の有無や大小を計ることで内部の状態を知ることができるのです。
これを検出するのがリタデーションです。

正直、すこし難しいですね(笑)。 原理はともかく、リタデーションとはどんなことに使われますか?
鈴木

鈴木瓶などの透明な製品の品質確認に使用することができます。
これらは作られるときに、条件によっては内部が均一にならず、ひずみを残すことがあります。ひずみが残ったままだと、最悪輸送中や消費者の手元に届いてから亀裂が走ったりします。こうしたことを避けるために瓶の製造業者はさまざまな方法を使って出荷前の瓶を検査しているのですが、その際に多く用いられているのがリタデーションを使った方法です。

瓶などの品質確認に使用されているということは、すでにリタデーションが活用されているのでしょうか?
鈴木

鈴木はい、リタデーション自体は既に活用されています。 しかし、従来の1方向偏光フィルターを使った方法では、検査に時間がかかってしまい、タクトタイムに影響が出てしまうという課題がありました。弊社SDKの「リタデーション機能」を使えば、偏光成分のさまざまな変化に瞬時に対応可能となり、完全なオンラインでの検査を実現することも可能となります。

なるほど、従来も活用されていたけれど、より効率よく検査ができるということですね。
ひずみはどのような形で見えるんでしょう?
三ッ堀

三ッ堀SDKではひずみの強さに応じて具体的な数値を得ることができます。ただこれだと普通の方にはわかりにくいので、XPL-Viewerでひずみの強弱を色付けして表示するようにしています。 下記の図5はアクリルを万力で絞めたときの表示結果になります。万力の右側に金属のピンを挟み込んでいるため、そこを起点に圧力がかかるようにしているのですが、入力画像からは圧力がどの程度かかっているのかよくわからないと思います。 この画像を XPL-Viewerで表示すると、万力の強弱でピンの位置から圧力が加わり、ひずみがアクリル全般に生じているのがわかると思います。

図5:リタデーションの例

左上:Input Image、左下:圧力弱の時の画像、右下:圧力強の時の画像
なるほど、確かに普通のカメラではアクリルの状態が全くわからないですが、偏光カメラで可視化すると一目瞭然になりますね。
「偏光カメラは見えないものを見るカメラ」と言われている所以が納得ですね。

関連製品

Image
Sensing
Products

安心安全な世界を創る