hero-image

Pepperの顔認証精度を劇的に向上

顔認証システムを開発するグローリー株式会社に使い方とコツをインタビュー

Developer

通貨処理製品などさまざまな分野での画像識別技術を活かし「顔認証システム」を開発しているグローリー株式会社。SBR認定パートナーになるまでの経緯と、顔認証機能および利用上の注意点について入江様と大塚様にお聞きしてきました。

 先端技術を追い求めるなかでPepperと出会う 

インタビュアー(以下、イ):金融事業でのソリューションからどのような流れでPepperビジネスに参入することになったのでしょうか。

入江様、大塚様(以下、入江、大塚):グローリーは、金融機関などで利用される通貨処理機や、レジのつり銭機などの、「お金」に関係する製品を製造・販売している会社です。

そのなかで我々は、日々移り変わる世の中の技術や商品に目を向けて、つねに新しい商品を生み出してゆく業務を担当しています。

このような業務活動の中で、自社の製品と先端技術の融合を模索していたときに、SoftBankさんから、Pepperが発売されるというニュースを耳にしました。

大塚:当時は一般販売モデルが発売される時期だったので、すぐにPepperを1台購入しました。これを自社の製品と組み合わせることによって何かができるはずだ!という思いをもって開発を始めました。価格的にもお手ごろでしたし、これからPepperのようなコミュニケーションロボットがどんどん普及するだろうという期待も、購入を後押ししました。

ハッカソンは社内外に、良い結果をもたらした

イ:御社の顔認証機能を使ったPepperの開発事例を教えてください

入江:顔認証とのコラボレーションを試行するために、社内でいろいろな試作アプリを開発はしていたのですが、社外向けとして最初に作ったのは、みずほ銀行主催のハッカソン「Mizuho.hack」で発表を行ったアプリです。

おかげさまで、Mizuho.hackで最優秀賞をいただくことができ、その後みずほ銀行で1ヶ月間の展示をさせていただけることになりました。1ヶ月もの長い間展示をしていただくということで、ハッカソンで作成していたアプリを大幅にリニューアルしました。社外に発表したアプリは、これが最初の開発事例になります。

イ:ハッカソンに出場されていましたがどんな意図があったのでしょうか。

大塚:私は技術部門に所属しており、試作実験を進める中でPepperに関する基本的な知識や技術を深めていました。このころには、SBRさんの提供する「ロボアプリパートナー」の認定を取得していました。

そんなある日に、営業部門から、Mizuho.hackの情報を聞きました。当初は弊社の営業部門を中心としたメンバー編成で出場を検討しておりましたが、最終的にさまざまな部門のメンバーが集まった混成チームとして出場することになりました。

エンジニアと営業担当者はお互い頑張るところ、踏ん張らないといけないところが違うと思うので、営業サイドのメンバーからはハッカソンの初日、「本当に2日でできるのかな?」と懐疑的にみられていた部分もあったと思います。そうなると、エンジニアとしては自分の使命をかけて、なんとしてもPepperを動かさないといけない。必死になってアプリを制作しました。頑張りの甲斐もあって、ハッカソンが終わるころにはメンバーの気持ちがひとつになっていました。お互いの役割を尊重しあい、部門の垣根を越えられたことは、非常に良かった思い出のひとつです。

他の開発事例としては、小売店に来店された方の顔を覚えて、1回2回…と来店回数をカウントしてポイントを累計発行するアプリがあります。

最近では、特大ペッパソン2016にAPI提供スポンサーとして参加しました。Pepperだけではなく、スマホで顔を登録するという工夫を見せてくれたチームもあり、今後の発展が楽しみです。

入江:特大ペッパソンでは、Pepperだけで完結するというアイデアよりも、あらかじめ社員証などのデータで事前登録しておいて、顔認証をPepperで行いたい、という意見を多く頂戴しました。顔認証はWebAPIとして提供しているため、このような使い方をすることも可能です。

認証精度は99%

イ:御社のサービスを利用することでどれくらいの認証能力を得られるのでしょうか?

入江:弊社エンジンの認証精度としては、他人受入率0.01%、本人拒否率0.5%の精度、を誇っています。

これは弊社独自データでの評価ですが、正面で撮影し、理想的な画像が撮影できた場合の数値で、ここから画像を取得する環境要因によって多少変動します。

Pepperは人間よりも背が低く、人と対面すると、どうしても見上げるような姿勢になります。このときPepperのカメラは、人の顔を下から上に見上げるような角度で撮影することになります。このような撮影の角度は、通常の防犯カメラなどではあまりない撮影環境です。人の目線よりも下から画像を撮影すると、部屋の照明が逆光となる場合が多く、影響がみられます。

このような環境で顔に影が入ってしまうと、本人拒否率が上がってしまい、認証が通りにくい場合があります。しかし、別の人がPepperの目の前に立って認証を行っても、他人受付率は変わらないので、本人と他人を間違えることはありません。

大塚:また、弊社の顔認証機能をPepperのロボットビジョンの一部として利用するとき、2つのフェーズに分けた運用が必要になってくると思います。まず、周囲を見渡して、ざっくりと周辺がどのような状態かを把握する。次に、人が近くにいるなら呼び掛けて、Pepperと人間の1対1のコミュニケーションに持ち込み、顔認証によって個人を特定する、といった流れです。

イ:認証の条件をよりよいものにするために、何かいい方法はありますか?

入江:例えば、人に椅子に座ってもらうことで顔の位置をPepperと同じ高さにし、逆光にならないような工夫を行えば、通常の利用シーンに近い認証性能が発揮できると思います。

また、Pepperのカメラで高精度の画像を撮影し認証に使うこともできるのですが、そうすると、1枚の画像をキャプチャする時間や、大きなデータサイズの画像を転送するのにかかる時間が長くなってしまい、時間当たりの認証回数が限られてしまいます。

人がPepperと対面している限られた時間のうちに、認証精度を保ったままできるだけ多くの回数の認証機会が得られるようにするため、画像の採取条件を最適化しています。

大塚:顔認証のためにPepperが特別に人を誘導しなくても、目線を合わせるだけで自然に認証ができるように、あれこれと試行錯誤しました。身構えてから認証を行うのと、自然に認証が完了するのでは、随分ユーザーの体験が変わりますよね。

ロボットビジョンとしての顔認証のありかた

イ:今後の課題はなんでしょう?

入江:例えば、複数人の対応があります。

現在の顔認証エンジンの仕様では、画像中に複数の顔を見つけた場合、顔毎に照合処理を行い認証結果を算出しています。

ただ、このような認証結果をロボット側でどのように活かすかが悩みどころです。

Pepperにどのような振る舞いをさせればいいのか、というふうに言い換えてもいいかもしれません。

大塚:今までの顔認証装置であれば、カメラの前に1人だけが立って利用するという運用が想定されていましたが、コミュニケーションロボットはそうとも限りませんよね?

顔認証機能をとりまく、ロボットのふるまいを考えることも今後の課題の一つです。

簡単に使えるようにBox Library

イ:特大ペッパソンでの利用者から、非常に使いやすい、とお聞きしました。どれくらい簡単に開発できるものなのでしょうか。

大塚:当初はAPI仕様と最低限のサンプルプログラムだけ公開して、APIを利用してもらおうと考えていたんです。

ですが我々もMizuho.hackに出場させてもらった経験から、ハッカソンの場を思い返すとそんな時間はないなと(笑)。

2日間という限られた作業時間の中で、APIの仕様の調査と理解にかけられる時間はないことはよくわかりましたから、顔認証機能のエッセンスだけを手軽に利用してもらえるようにBoxLibrary化しました。その分、いろんな使い方を膨らませてもらうことに時間を使ってもらいたいと思ったのです。

入江:正式にAPIとしての提供を近いうちに始める予定です。その際も、ユーザーが悩むことなく使い始められるように機能的なAPIをboxにしてありますから、すぐに使えるような状態になっています。

また、顔認証機能に特化して提供する予定ですので、そのあたりの仕様も非常にわかりやすいサービスだと思います。

みなさまから、利用したいとのご要望も伺っておりますから、早々に提供できるよう準備しております。

 

本記事でご紹介している技術やPepperの利用方法はソフトバンクロボティクスが公式に推奨やサポートするものではありません。
本記事で紹介された技術は自身の責任においてご利用ください。
本記事でご紹介している技術や利用方法についてのご質問は取材先へご連絡ください。