はじめに
初めまして!2019年6月に中途で入社したkakizakihです。
7月30日~8月1日に開催されたGoogle Cloud Next’19 in Tokyoに参加してきたので、そのレポートを書きたいと思います。
前職ではパートナー会社でエンジニアとして働いており、パートナー枠として毎年ブースを出していました。
今年は3日間あるうちの1日(7/31)に一般参加者として満喫してきたので、会場の雰囲気や参加したセッション内容の概要をお伝えできればと思います!
Google Cloud Nextとは
Next は Google Cloud に関する技術や事例などを共有するためのイベントです。デベロッパー、パートナー、業界の専門家など、様々な方から応募いただいたセッションをお届けします。
※公式サイトから引用
今年は「かつてないクラウドを体験しよう」というテーマのもと、東京プリンスホテル・東京プリンスパークタワーで開催されました。
基調講演(9:30~11:30)
午前はGoogle Cloud日本代表の阿部さんをはじめとして、Googleのエンジニアやパートナー企業、GCP利用企業の代表の方々が登壇され、最新サービスや既存サービスの機能拡張紹介、事例紹介を聞くことができました。
紹介された最新サービスと事例紹介について、いくつかご紹介したいと思います。
全ての基調講演はこちらからご覧いただけます。
最新サービス紹介
- Anthos
Anthos(アントス)とは、クラウド環境とオンプレミス環境で一貫性のある開発と運用ができるアプリケーション管理プラットフォームです。
コンテナ化したアプリケーションをGoogle Cloud上ではGKE、オンプレミスではGKE On-Prem、他社クラウドではAWSなどにまたがってデプロイし、GCPのコンソール上でそれらを同じ方法で一括管理することができるサービスとなります。
デモでは、オンプレミスのVMをGKEへ移行するAnthos Migrateが紹介され、コードの書き換えを一切せずにオンプレミスのVMをコマンド一行でコンテナ化する実演がありました。 -
Cloud Run(ベータ)
コンテナとサーバーレスのいいとこどりをしたマネージドコンピューティングプラットフォームです。任意のプログラミング言語・フレームワーク・ライブラリを使って、インフラを意識することなく自動スケーリングなどを行ってくれます。
サーバーレスのCloud Functionsでは使用言語に制限がありますが、Cloud Runでは自由に言語の選択が可能で、GKEのようにサーバーの管理を必要としません。
この度東京リージョンでも利用できるようになったとのことです。 -
Cloud Code
Kubernetesアプリケーションの作成、デバッグ、デプロイに必要なツールセットです。VS codeやInteliJ向けに提供されています。 -
Cloud SQL for Microsoft SQL Server
MySQLおよびPostgreSQLに加え、SQL Serverもサポートされるようになりました。 -
Managed Service for Microsoft Active Directory(アルファ)
GCP上でMicrosoft ADを実行できるようになるようです。
31日の基調講演では、Anthos、Cloud Run、Cloud Codeを利用してアプリケーションをモダナイズしましょう!という強いメッセージを感じられました。
事例紹介
- DeNA
高品質かつ低コストの大規模なオンプレからどうしてクラウド化を決めたのかについてお話をしてくださいました。
一番のネックはコスト問題だったようです。オンプレでの使い方をそのままクラウドにシフトするのではなく、オンプレのコスト体型になるようなクラウドの使い方をすることで解決ができそう+創造的な仕事にフォーカスするにはクラウド化が避けられないということからクラウドに決めたとのことです。
こちらのブログに詳しい内容が書かれています。 -
メルペイ/アクセンチュア/ガンホー・オンライン・エンターテイメント
GCPを利用したサービスのご紹介をしてくださいました。
3社とも共通してGKEとSpannerを利用していたのが興味深かったです。
セッション(12:00~21:00)
午後は各ルームにてアプリケーション開発やインフラストラクチャ、データ分析や機械学習とAIなど、様々なカテゴリのセッションが行われていました。(セッション一覧)
私が聴講したセッションはデータ分析に偏っていますが、ご報告したいと思います。
一部のセッション動画はこちらで公開されており、その他のセッション動画は9月以降こちらで公開予定です。
AIを使う鍵は、データへの理解度!! データエンジニアとデータ活用専門家が答えるデータの本当の価値
http://cloud.withgoogle.com/next/tokyo/sessions?session=321192-141160
前職でお世話になった方々のセッションです。こちらではデータ活用の専門家であるコンサルタント、サイエンティスト、エンジニアが、会場からのデータ活用に関するあらゆるお悩み・質問を受けて答えていくスタイルで行われました。
質問・回答の一部内容
Q)データの変換やクレンジングをどのタイミングで行うか悩んでいます(pubsubに投げる前か、dataflowで行うか、BigQueryで行うか)
A)そのデータを使って何がしたいかでタイミングは異なる。BigQueryで済むならBigQueryでしてもOK。
Q)データの保存先としてオンプレとクラウドのメリットデメリットは?
A)データサイエンティスト目線だと、自由にデータにアクセスできないという点でオンプレは辛い。データウェアハウスとしてBigQueryは最適。
Q)データがいっぱいだから捨てろと言われて困っています
A)クラウドによって大量のデータを低コストで保存ができるようになっている。データを捨てないことがとても大事。
Q)データサイエンティストといった専門家は社内に必要か?
A)いたらベストだけれど、現実は難しい。データ活用に対して、どういう技術を使ってどういうことができるかという勘所を持っている人を社内に増やすことが大切。
上記以外にも30個以上の質問が寄せられ、データ活用にこれから取り組もうとしている方から実際に取り組んでいる方たちの様々な悩みを聞くことができました。
セッション終了後に登壇者の中村さんと、弊社でもまさにデータを活用したビジネスを行なっているので座談会などできたら面白いねとお話し、実現できたらいいなぁと思いました。
Google Maps Platform と GCP を活用した位置情報ソリューション
http://cloud.withgoogle.com/next/tokyo/sessions?session=318971-141235
こちらも前職でお世話になった方のセッション。地図を利用したWebアプリケーション開発に特化したベンチャー企業で、Google Maps APIの様々な機能から、それらを利用した店舗検索システムや動態管理システムといった製品の紹介・導入事例の紹介をしてくださいました。
筆者は登壇者の今関さんのもとで2018年6月から約1年間、店舗検索システムの開発をしていたのですが、APIの紹介では使ったことのないAPIや知らなかったAPIもあり、まだまだすぎたな・・・と反省するとともに、地図利用の幅広さを感じました。
店舗を持っている、エリアマーケティングに取り組んでいる、地図を使ってどんなことができるのか知りたいなどなど、興味のある方はぜひこちらからお問い合わせを!(宣伝)
データ ウェアハウスのあるべき姿と BigQuery の新機能
http://cloud.withgoogle.com/next/tokyo/sessions?session=321179-141137
データ活用するに当たってデータウェアハウスに求められる機能、それを備えたBigQueryの新機能を紹介するセッションです。
データウェアハウスに必要なストレージ、バッチ・ストリーミング処理、クエリ機能や機械学習を、サーバーレスで備えたBigQueryの新機能として、
- BigQuery BI Engine
インメモリクエリ対応でより高い並列度で高速化を実現 - UDFの永続化
これまで都度宣言が必要であったUDFを永続化 - Integer Column Partitioning(アルファ)
Integer型のカラムでパーティショニングが可能 - BigQuery Storage API
BigQueryに保存されたデータへ高速にアクセスが可能。-Spark,pandas,kerasなどのコネクタができる - Parquet & ORC federation
Hadoopで使用されているParquetとORCの読み込みが可能 - Coud SQL federation
BigQueryとCloud SQLのjoinが可能 - BigQuery ML
予測分析、K-meansクラスタリング、行列分解、tensorflowモデルのインポート、DNNモデル作成などが実行可能
などが紹介されました。
性能向上や機能の充実といったBigQuery自体のアップデートだけでなく、他のデータウェアハウス・データベースとの互換性といった機能も充実してきており、他のデータウェアハウスとの併用や移行を想定したアップデートでもあるように感じました。
Twitter での GCP 事例: オンプレミスとクラウドで構成されたハイブリッドなデータ処理プラットフォーム
http://cloud.withgoogle.com/next/tokyo/sessions?session=318944-140846
1日平均5億ツイートされ、1.5兆のメッセージデータを保有しているTwitterが、既存のオンプレhadoopから、いかにしてGCPに移行したかの紹介でした。
日々増加するデータに対してのスケーリング、ハードウェアの運用負荷といった既存アーキテクチャの課題を解決するために、移行アプローチとして
- 全てのhadoopではなく、今後拡張されるhadoopをクラウドへの移行対象とする
- 1日ペタバイトデータ転送をサポートするために、8x100gbpsピアリングを確保
- 移行計画とキャパシティプランニングの実施
- google psoチームによる移行サポートの利用
などを行ったとのことでした。
GoogleとTwitterの共同開発でGCPとhadoopのマイグレーション機能のオープンソース化にも取り組んでいるとのことで、詳しいアーキテクチャ図や取り組みはこちらで見ることが可能です。
前回のセッションでもHadoopファミリーとの互換性を叶える機能の紹介があり、語弊を招く言い方かもしれませんが、全部GoogleでOKじゃん!というスタンスから変わってきているとひしひしと感じます。
BigQuery を活用した既存データ分析サービスのマイグレーションと新規事業開発事例
http://cloud.withgoogle.com/next/tokyo/sessions?session=319198-141151
Googleのパートナー会社であるクラウドエースがGCPの導入・開発支援を行なった、BigQueryを活用したデータ分析の事例紹介セッションです。
- 事例紹介1)パーソルキャリア
ビジネス:転職支援サービスの提供
課題:キャリアアドバイザーと転職者で行われるカウンセリング内容のデータが無いため、可視化ができない。
解決方法/利用サービス:音声テキストを利用してカウンセリング内容のデータを収集・蓄積/Cloud Speech-to-Text・BigQuery・Cloud Natural Language API
効果:カウンセリング内容の可視化を実現し、キャリアアドバイザーの育成活用、テキスト履歴入力の効率化、マッチング精度の向上の効果があった。 -
事例紹介2)True Data
ビジネス:購買行動データ商用分析サービス(SaaS)の提供
課題:増え続けるデータ量と処理量が課題。大量のデータに対するクエリで数時間かかっても結果が返ってこないときがあった。
解決方法/利用サービス:オンプレミスのDBをBigQueryに変更し、シャーディング及びパーティショニングを正しく活用/BigQuery
効果:扱えるデータが1000倍に増え、10億件のデータ分析に耐えることが可能に。BIツールのライセンス数を気にする必要も無くなった。
BigQueryの特性を生かした事例紹介でした。音声データを利用したデータ分析開発はわずか3ヶ月で実現したようです。今回の事例のような非構造化データを利用した分析事例は今後増えてくる分野でもあるようにと思いました。
おわりに
今年最初のGoogle Cloud Next’19は4月9日~11日にサンフランシスコで開催され、最新サービスの紹介などはそちらで発表済みでしたが、今回の東京ではGCP利用企業の事例やデータ活用に関する興味深いセッションをたくさん聞くことができて面白かったです。
また、Google Cloud Nextには4回目の参加ですが、はじめて一般参加者の立場で参加することで、サービスを持っている他の企業がGCPを利用してどのような運用をしているのかに関心を持つようになり、何でもかんでもクラウドが良いという訳でもないんだなと感じたり、新たな視点を持って参加できたことが個人的にはとても良かったです。
最後に会場の雰囲気を写真でお伝えします!