2021.12.07
現状の問題と目的
ヤフー株式会社様は Yahoo! JAPAN クリエイターズプログラムという動画コンテンツ・記事コンテンツの投稿プラットフォームを運営しています。そして、プログラムに参加されるクリエイター（コンテンツの投稿者）に対し、日々の成果（自身が投稿したコンテンツの閲覧状況）をレポートにまとめて共有する業務を手動でおこなっています。
しかし、レポートの作成にあたり、「レポート作成業務に多くの時間と労力がかかっている」という問題を抱えていました。具体的には、レポート作成にあたり、膨大なログデータを手動で集計する工程、集計した数値を手動でグラフや表にまとめる工程などです。さらに、レポートをクリエイターひとりひとりに対して提供していたため、クリエイターの人数分だけ、レポートの作成・共有を繰り返す必要もありました。
このような問題を解決するためには、BIツールの活用によりレポート作成時間を削減することを通じた業務効率化が必要となります。
この目的を達成するため、当社では Google BigQuery（以下 BigQuery ）をはじめとする Google Cloud サービスにより加工・蓄積されたログデータを、Google データポータル（旧 Google データスタジオ）（以下データポータル）を活用してダッシュボード化する、というアプローチでレポートの作成および提供の効率化を目指しました。
（図1：問題とその解決アプローチ）
活用した製品のご紹介
Google Cloud と Google BigQuery
まずは、データ準備の工程です。ログデータの加工・集約に使用した Google Cloud および BigQuery の特徴を説明します。
Google Cloud は、コンピューティング（アプリケーションの開発など）やストレージ（データ保存）などの豊富なサービス群で構成されていますが、なかでも大規模なデータを高速で解析することに特化したデータウェアハウスである Google BigQuery は、その処理性能に加え、Google の提供するマーケティング用のツール群である Google Marketing Platform（以下、GMP ）との強固な連携力があるという理由で、マーケティング業界で注目を集めています（図2）。
※ Google Cloud の詳細は公式サイトをご参照ください。
（図2：Google Cloud の概念図 （当社イメージ））
Google データポータル
Google データポータル（旧 Google データスタジオ）は、グーグル合同会社が提供している無料で利用可能なダッシュボード作成ツールであり、前述の GMP に含まれる製品のひとつです。複数のデータをダッシュボード上でまとめて可視化したうえで、リアルタイムに共有できます（図3）。また、前述の BigQuery に蓄積されたデータを容易に可視化できます。
（図3：データポータルによるダッシュボード例）
製品選定の理由
データ加工・集計の自動化やダッシュボード作成であれば、他の製品でも実現可能ですが、今回のプロジェクト特有の条件を満たすには、Google Cloud とデータポータル、という組み合わせが不可欠でした。
以下 A・B の条件を満たす必要がありました。
A：レポートには自身のデータのみ表示される（他クリエイターのデータは確認できない）
B：今後クリエイター数が増加してもコストの増加を抑える
データポータルであれば、A の条件を容易に満たすことができます（図4）。データポータルでは、さまざまなデータのなかで、閲覧者のメールアドレスに紐づくデータのみをダッシュボード上に表示させる機能がデフォルトで実装されています。つまり、各クリエイターがダッシュボード上で確認できるのは、自身のメールアドレスに紐づいているデータ、自身が投稿したコンテンツの閲覧データのみです。
通常であれば、クリエイターの数だけデータマートを用意する必要がありますが、データポータルを使用する場合はクリエイターが何人いたとしてもデータマートの数は変わりません。前者を選択した場合、開発の工数が膨れ上がり過ぎるため、本プロジェクトの費用対効果が大幅に悪化する可能性がありました。しかし、データポータルを使用することで、開発および運用保守の工数を大幅に抑えることが可能になります。
また、B の条件もデータポータルが満たしています（図4）。多くのダッシュボードツールでは、膨大な初期利用料が発生したり、ユーザーが増えるごとにライセンス費用が増えたりするツールもありますが、データポータルは原則として無料で利用することができます。そのため、レポートを利用するクリエイターの数が増加したとしても、費用は増加しません。
（図4：データポータルをダッシュボードツールとして選定した理由）
そして、データポータルとの連携が強固であるという理由で、ログデータを加工・蓄積するためのデータ基盤として、BigQuery をはじめとする Google Cloud を選択しました。
実施内容
Google Cloud によるデータ環境整備
データポータルなどの BI ツールでレポートを自動作成するためには、データが継続的に蓄積される環境が必要となります。そのため、まずは Google Cloud を活用した環境整備を実施しました。
機能としては主に「①：Cloud Storage™ に格納された csv データを統合・整形した後、BigQuery に蓄積する」「②：①の処理を1日1度自動で実行する」「③：csv データに誤りがあった場合、処理を停止させ、アラートメールを送信する」の3点となります。
csv を Cloud Storage へ格納する作業は手動となってしまうものの、その他の処理は自動で実施することができる環境を構築しました（図5）。この環境を使用することで、膨大なデータを手動で集計する工数を削減することができます。
（図5：Google Cloud を活用したデータ基盤構築）
※図中に括弧書きで記載している Cloud Storage・Cloud Schedular・Pub / Sub・Cloud Functions は、BigQuery へデータを集約する過程で使用した、Google Cloud 製品の名称です。
データポータルによるレポート作成自動化
BigQuery に集約したデータをデータポータルで可視化することで、レポート作成を自動化しました。本レポートはアクセスするクリエイターのメールアドレスでデータをフィルタする仕組みとなっているため、レポートを開いたクリエイターには自身のデータのみが表示されます。この仕組みにより、レポートをクリエイターごとに作成する必要が無くなった、すなわち作成するレポートをひとつだけとする運用が可能になった結果、レポート作成業務の大幅な効率化を実現しました。
さらに、レポートがひとつのみであるため、レポートのメンテナンスも容易です。クリエイターごとにレポートを作成した場合、複数レポートをメンテナンスする必要があるため、レポートをひとつにすることで、メンテナンスに要する工数を最小限に抑えられます。また、クリエイターから自由にレポートを確認することができるため、作成したレポートを提供する業務も削減することができました（図6）。
（図6：データポータルを活用したレポート提供）
成果
一部手動作業が発生してしまうものの、レポート作成およびレポート提供の効率化に成功しました。多くの時間と労力を要していたレポート作成業務ですが、環境構築後は毎週1、2時間の作業をするのみで運用ができるようになった結果、業務に工数を要しているという当初発生していた問題を解決できました。
また、レポートの提供頻度の増加も実現できました。従来は、レポート作成およびレポート提供に一定の工数を要していたため、レポートを頻繁には提供し難い状況でした。しかし、本プロジェクトを通じて、無理のない工数でレポート提供頻度を増やすことができました。その結果、レポートに対するクリエイターからの満足をさらに高めることができました。
まとめ
本記事では Google Cloud とデータポータルを活用した業務効率化の事例を紹介しました。当社では Google Cloud やデータポータルはもちろん、その他 CDP（Customer Data Platform）や Google 製品の導入から活用までを一貫してご支援しております。今回紹介した Google Cloud を活用した環境構築およびダッシュボード活用はもちろん、その他のサービスについてもご関心・お悩みをお持ちの方は、ぜひアイレップへお問い合わせください。
なお、本記事で取り上げた BigQuery とデータポータルについて、当社で紹介資料をご用意しております。以下よりダウンロードが可能ですので、こちらもぜひご覧ください。
※ Google Cloud、BigQuery および Cloud Storage は Google LLC の商標です。
▼関連資料
