inFablic | Fablic, inc. Developer's Blog.

フリマアプリ フリル (FRIL) を運営する Fablic の公式開発者ブログです。Fablic のデザイナー・エンジニア・ディレクターが情報発信していきます。

A/Bテストを用いてCMの費用対効果を改善する

f:id:shoby:20170906194945p:plain

こんにちは。shobyです。

フリルでは定期的に全国でCMを放送しており、各CMの費用対効果を改善する必要が生じています。

CMを定期的に放送し続ける場合、PDCAを回しながら、CMの費用対効果を改善していくことができます。 今回は、CMの費用対効果改善のために、広告内容のA/Bテストを行う方法をご紹介します。

CM費用対効果の最適化対象

CMの費用対効果の改善においては、主に二つの最適化対象があります。 広告内容と、投下箇所です。

それぞれについて、主な最適化箇所を列挙すると以下のようになります。

  • 広告内容
    • 訴求ポイント
    • タレント
    • 表現
  • 投下箇所
    • 都道府県
    • 時間帯
    • 曜日
    • 番組

今回は、広告内容における訴求ポイントをA/Bテストを用いて最適化することを考えます。

訴求ポイントに関する知見は、次回以降のCMでも利用できる可能性が高いためです。

投下箇所の最適化に関しては、以前書いた記事をご覧ください。

in.fablic.co.jp

in.fablic.co.jp

CMのA/Bテストにおけるグループ分割

CMにおいては、都道府県単位でグループを分割し、グループごとに訴求ポイントが異なるCMを放送することで、A/Bテストを行います。 CMではランダムに分割したグループでの効果の比較や、時系列での効果の比較を行うことが難しく、都道府県単位であれば独立したグループに分割が可能であるためです。

Webやアプリにおいては、ユーザーIDなどを元に、ランダムにグループ分割し、A/Bテストを行うのが一般的です。 しかし、CMにおいては、放送局単位で全く同じCMが流れてしまうため、Webのようなランダム分割の手法が使えません。

また、CMには残存効果と呼ばれる効果があるため、CM放送期間の前半と後半という時系列分割で異なる内容のCMを放送してしまうと、後半の方が実際よりも効果が良く出てしまう可能性があります。

そのため、都道府県を元にいくつかのグループに分割し、それぞれのグループに対して異なる訴求ポイントのCMを放送します。 CMは各都道府県の放送局単位であるため、他の都道府県には影響がなく、独立したグループに分割することができます。

各都道府県別に過去のCMと効果を比較し、グループごとにまとめることで、訴求ポイントの良し悪しを判定することができます。

A/Bテストの結果分析

過去に行ったCMとA/Bテスト対象のCMの効果を都道府県別に比較し、グループごとにまとめることで、A/Bテストの結果を分析します。

都道府県ごとの費用対効果を推定CPIを用いて判定する方法については、過去に書いたこちらの記事をご覧ください。

in.fablic.co.jp

都道府県別に過去データと比較した上で、グループごとにまとめることで、A/Bテストの結果を分析することができます。

フリルでの実施例

フリルでは実際に、都道府県をベースにしたグループ分けを行うことで、訴求ポイントのA/Bテストを行っています。

実際に9月に放送されるCMもいくつか種類があります。


2017年フリルCM手数料無料アニメーション篇FRIL01 A


2017年フリルCM売れるスピードアニメーション篇FRIL02 A

今後は投下箇所の最適化に力を入れるだけでなく、広告内容の最適化も継続して行っていく予定です。

まとめ

CMを定期的に放送し続ける場合、PDCAを回しながら、CMの費用対効果を改善していくことができます。

CMの最適化対象には、広告内容と投下箇所の二箇所がありますが、広告内容はA/Bテストで最適化を行うことができます。 都道府県を元にいくつかのグループに分割し、異なる内容のCMを放送した上で、推定CPIの比較を行うことで、広告内容の良し悪しを判定することができます。

フリルでは実際にA/Bテストを用いて広告内容の最適化を行っています。 あなたの都道府県でどちらのCMが流れるかチェックしてみてください。