はじめに
はじめまして！19新卒の笹原です。
7~8月のテクノロジー本部OJT（以下OJT）が終了し、9月から配属され今は各部署でそれぞれ技術や業務を学んでいるところです。
OJTの一環として、私たちテック新卒5人は調査し学んだことをハンズオン・勉強会形式でアウトプットしました。
チームつっきょ（tsukamotok/nakanoan）・チームkitak（kitak/bannot/sasaharay）の2チームに分かれ、内容は
- チームつっきょ
LINEbotを作ってみよう - チームkitak
あなたの知らないAutoML visionの世界
です。
チームkitakの勉強会についてお話いたします。
勉強会
10月24日（木）に開催しました。
テーマは「AutoMLvision」。
簡単に説明すると、用意した画像にラベルを付けてトレーニングさせることによって独自のデータセットを作ることができるGCPのサービスの一つです。（詳細は後ほど）
あらかじめ用意しておいたデータセットをもとにAutoMLvisionの使い方や評価方法などを説明していきました。
実演した内容は以下の2種類です。
- オペラのリップティントとロレアルのマットリップを分類してみた
コスメを実際に分類できるのかを試してみました。用意したのは、オペラのリップティントとロレアルのマットリップの画像のデータセットです。画像は、自分たちが撮影したものを用意しました。その場で二つのリップの写真を撮影し、実演しました。 -
あなたは何顔でSHOW(塩顔/しょうゆ顔/ソース顔)
人の顔を分類できるのかを試してみました。用意した画像は、塩顔/しょうゆ顔/ソース顔の芸能人です。
参加者をその場で撮影し、写真の顔が何顔に分類されるのかを評価しました。
1と2それぞれのデータセットに対して、先輩方からご指摘等をいただき、有意義な勉強会となりました。とても面白い勉強会になってこちらも大満足です！
ここからは、
「勉強会開催までの準備」「AutoMLvisionについて」「アイスタイルでどう生かすことができるのか」「感想」
をお話いたしますので、ご興味のある方はぜひ読んでいただけると嬉しいです。
勉強会のテーマが決まるまで
私たちはOJTの時間で学んだ内容の中でも、クラウドサービスに興味をもちました。
クラウドサービスとは、従来は手元のコンピュータに導入して利用していたようなソフトウェアやデータ、あるいはそれらを提供するための技術基盤（サーバなど）を、インターネットなどのネットワークを通じて必要に応じて利用者に提供するサービスのことです。（引用：クラウドサービスとは – IT用語辞典 e-Words）
Amazon Web Service(AWS)やGoogle Cloud Platform(GCP)、Microsoft Azureなどがよく知られています。
そこで、3人でそれぞれ気になるクラウドサービスを使ってみました。
– 【Lambda(AWS)】今季アニメのタイトルをSlackに通知してくれるシステム
– 【EC2(AWS)】Webサーバを構築してみた
– 【Cloud vision API(GCP)】芸能人の画像のラベル検出してみた
この中から「Cloud vision API」を選定し、調査を開始しました。
Cloud vision APIとは？
Cloud vision APIは、トレーニング済みの機械学習モデルから画像を読み込み、事前に定義された数百万のカテゴリに分類することができます。
今回試してみたことは、「自分で撮影した写真の評価」です。
結果になります。
ラベルが「lipstick」で商品名やブランド名までは正確に検出されませんでした…。
ではなぜ正確にラベルが検出されなかったのでしょうか。
答えは、
「VisionAPIはGoogle Cloud Storage またはウェブに存在する画像ファイルに対して直接ウェブ検出を実行できるようになっているので、ウェブ上に自分たちが撮影した写真と類似するものがなかったため検出されなかった」（引用：cloud vision API テキスト検出のサンプル）
です。
そこで私たちは、撮影した写真に対して独自にラベルを作成することができれば、他の写真も分類できるのではないかと考えました。調査して見つけたのが「AutoML vision」です。
AutoML visionとは
AutoML visionには、
– 画像分類
– オブジェクト検出
の二つのサービスがあります。
今回の勉強会では、「画像分類」について説明しました。ラベル付けされた複数の画像をトレーニングさせ、それをもとに独自のラベルを生成することができます。
以下、画像分類の手順になります。
1. データセットの作成
2. トレーニングしたい画像のアップロード
3. 2の画像にラベル付け
4. ラベル付けされた画像をトレーニング
5. 評価/分類したい画像のアップロード
6. 評価
評価について
AutoMLvisionには評価の項目がいくつかあります。
- 適合率
トレーニングされた画像のうちラベルに分類されるべきものの数値 -
再現率
トレーニングされた画像のうち、実際にラベルに割り当てられたものの数値
この適合率と再現率は100%に近いほどよく、また低い場合、トレーニングに使われる画像の枚数が減ってしまいます。トレーニングに使われる画像が少ないほど、良いデータモデルとは言えないですよね。
- 平均適合率
評価の際、それぞれの画像の検索時における適合率の平均
平均適合率は、1.0に近いほどより良いデータモデルであると言えます。下図の水色の部分の面積が大きければ大きいほどよいということになります。
（下図は、何顔でSHOWのデータセットより用いました。）
アイスタイルでどう生かすのか
最後に、ここまで説明してきたAutoMLvisionを、アイスタイルや@cosmeでどう生かしていくのか考えました。以下3つの案があります。
1. タグ付け/フォト機能への応用
@cosmeでは、商品のクチコミを投稿できます。クチコミを投稿するためには、商品を検索してクチコミに商品を紐づけるか、商品ページに遷移して「クチコミをする」ボタンを押下する必要があります。クチコミすることがメインですが、商品を検索するアクションがあることは正直めんどくさいです。
そこでAutoMLvisionの出番です。クチコミしたい商品を撮影すると、写真から商品を認識し、クチコミに商品がラベル付けされます。そのため、商品を検索する手間を省いてクチコミを投稿できるのではないかと考えました！
2. 似ている芸能人提案サービス
これは、@cosme storeでの活用を考えました。
@cosme storeでBAさんに試したいコスメやおすすめのコスメで化粧をしてもらいます。その後、カメラなどで顔を撮影すると似ている芸能人がモニターなどに表示されるという仕組みです。誰でも、かわいい素敵な芸能人に似ていると言われたらコスメを買いたくなってしまうのではないでしょうか。このようにコスメ購買の促進につながると考えました。
3. イエベ/ブルベ診断
最後は、トレンドキーワードにも入るイエベ/ブルベ診断に応用することです。
イエベ/ブルベ診断とは、それぞれイエローベース/ブルーベースの略で、自分のパーソナルカラーを診断することで、より自分に合うコスメを探しやすくなるというものです。
@cosmeの記事にもイエベ/ブルベの関連記事がたくさんあり、もちろん診断記事もあります。現状、肌の色や似あうアクセサリーの色などを選択していき、最後に診断結果が出るというものになっています。しかし自分では似合う色や肌の色はなかなかわかりにくいので、選択しにくく、また選択する行為自体が面倒です。
そこで、自分の顔を撮影しただけですぐに診断結果が出たら面白いと考えました！それにより、選択する手間も省け、より正確なデータセットであれば、自分で選択するよりもより正確に診断ができます。
感想
sasaharay
勉強会の準備はもちろん大変だったのですが、一番大変だったことは時間管理です。OJT期間中は、午前にOJTで技術を学び午後は振り返りの時間だったため、振り返りと勉強会の準備/学習を同時にしなければいけませんでした。また配属後も同様、普段の業務と同時並行で準備を進めていきました。複数のタスクを一日でこなす練習としてとても良い経験だったと思います。勉強会を開催できたことは、技術だけでなく、仕事のやり方を学ぶ面でも得ることが多かったと感じています。
kitak
調べていくうちに知識として内容が複雑だったり、説明するのに時間を要する物がいくつかありました。勉強会として相手にちゃんと理解してもらうために用意する内容や知識だったりをまとめるやり方、範囲を決めることに最終的に時間がかかりました。改めて相手に知識や技術を理解してもらえるためのプロセスだったり、何に使われるかの展望だったりと自分たちでそれを行うことは伝える側としてもとても大きいメリットが得られるなと感じました。今後は社外の勉強会に積極的に足を運び、自分と違う考えやナレッジを持った人と吸収してみたいとも考えています。
bannot
アウトプットが最強のインプットという言葉をしばしば聞くのですが、今回の勉強会はまさしくそれだなという風に感じました。人前で話すということは言葉にしなければいけない。言葉にしなければいけないということは自分の頭の中で勉強した内容をきちんと理解していなければできないことである。そのためのいい機会であり、とても有意義な時間でした。
ぜひまた勉強会などで登壇したいと思っています。
