Q1リテンション施策は効いた？純増売上の測り方

1月下旬。ブラックフライデー・サイバーマンデーの初回購入者に送った「2回目の注文が10ドル割引」コードは、176回利用され、売上は1万2000ドルを超えました。あなたのチームはこれを成功と見ています。

しかし、そうした顧客の中には、いずれにしてもリピーターになってくれた人もいて、その全員が10ドルの割引を受けられました。Shopifyの割引レポートは、コードを使用した顧客数をカウントするだけで、実際にそのオファーによって発生した注文数までは表示されません。純増売上を測定するには、この注文数こそが重要なのです。

わずかな違いが、オファーが成功するかどうかを左右する。 オメトリアによる小売顧客分析2024年のブラックフライデーの新規顧客のうち、12ヶ月以内にリピート購入したのはわずか4%だった。自然なリピート率がこれほど低い場合、わずかな追加注文でも大きな成果のように見えてしまうが、それは単なる偶然のノイズに過ぎない。

簡単に言うと、オファーを受け取らない対象顧客のランダムなグループを保留し、2 つのグループ間でリピート購入と利益率を比較します。このガイドでは、比較する 6 つの数値、Shopify とスプレッドシートのみを使用する設定、具体的な例、そして明確な答えが得られないほどストアが小さい場合の対処法について説明します。これは、 休暇保持計画の第1四半期測定段階。

簡潔な答え： 顧客維持のための特典がリピート購入につながるのは、特典を受け取った顧客が、特典を受け取らなかった同様の顧客よりも頻繁にリピート購入した場合に限られます。純増売上を測定するには、対象となる顧客の10%～30%をランダムに保留し、残りの顧客に特典を送信します。そして、同じ60～90日間で、両グループのリピート購入率と顧客一人当たりの貢献利益率を比較します。

要約

• クーポン利用件数には、クーポンコードを使用したすべての人が含まれるため、クーポンコードがなくても購入していたであろう顧客も含まれるため、キャンペーンによる効果を過大に評価してしまうことになる。

• ホールドアウトグループ（オファー非配信群）は、対象顧客からランダムに選び、特典を送らないグループです。特典がなかった場合の結果を示す基準になります。

• 合計値ではなく、顧客ごとの結果を比較してください。具体的には、リピート率、割引後の貢献利益率、2回目の注文までの時間、定価でのリピート率などです。

• オファーを送信する前に損益分岐点となる売上増加率を計算しておきましょう。そうすれば、オファーの費用を回収するためにどれだけの売上増加率が必要かが分かります。

• Shopifyのセグメント、顧客タグ、注文のエクスポートがあればテストを実行するのに十分であり、DiscountRayのような割引アプリを使えばテストグループのみにオファーを配信できます。

• 少人数のグループではばらつきのある回答が得られるため、1回のテスト結果を方向性として捉え、第1四半期の計画全体を変更する前に、再度テストを実施するようにしてください。

利用件数だけではリテンション施策の効果を証明できない理由

特典の利用状況は、誰が特典を利用したかを示すものであり、特典によって行動を変えた人を示すものではありません。特典利用者は3つのグループのいずれかに分類され、そのうち実際に利益を得たのは1つのグループのみです。

• いずれにしても買っていたでしょう。 これらの顧客は既に2回目の注文を計画していました。今回のオファーは、彼らが既に計画していたことに対して資金を提供したものであり、割引額は純粋なコスト削減分に相当します。

• 納得した。 これらの顧客は、キャンペーンに惹かれて購入しました。つまり、あなたが費用を支払っているのは、こうしたリピート購入による顧客獲得なのです。

• 前方に引っ張った。 これらの顧客は本来3月に購入する予定だったが、代わりに1月に購入した。今回のキャンペーンは購入日を変更しただけで、金額は変更していない。

償還レポートはこれら3つを混ぜ合わせたものです。また、効果の一部を見落とす可能性もあります。 メールによる割引オファーに関する70件のフィールド実験Sahni、Zou、Chintaguntaらは、これらのオファーによって平均支出額が37.2%増加したことを発見したが、その増加分の90%はオファーを全く利用しなかった購入によるものだった。メールを見て店舗を覚えていたため、定価で購入した人もいた。利用回数をカウントすると、これらの注文はオファーによるものとはみなされない。

そのため、償還は効果を過大評価すると同時に過小評価する可能性がある。メールツールの「帰属収益」には同じ盲点がある。なぜなら、メッセージによって引き起こされた注文ではなく、メッセージに続いて発生した注文をカウントするからである。 高い償還率でも損失が出る BFCM（ブラックフライデー・サイバーマンデー）の後によくあることだが、コードは使われたものの、ほとんどはそれを必要としていない人たちによって使われた。

リテンション施策における純増売上とは

純増売上とは、同じ期間において、オファーを提供していない同等のグループが生み出した収益を上回る収益のことです。これは、顧客ごとに2つのグループの収益を比較し、その差にオファーグループの規模を掛けることで算出できます。

2つの用語がほとんどの役割を果たします。

• 暴露されたグループ: オファーを受け取った対象顧客。

• ホールドアウトグループ： オファーを受け取っていない対象顧客のランダムなグループ。これはベースラインを示しており、つまり、割引を受けなかった場合に対象グループがどのような行動をとったかを示しています。

重要なのは「ランダム」という言葉です。もし意図的に除外対象者を選んだり、特典利用者と非利用者を比較したりすると、特典提供開始前から両グループは異なっており、比較対象は特典の効果ではなく、その違いを反映したものになってしまいます。

ホールドアウト比較で見る6つの指標

ホールドアウト比較表とは、テスト終了時に各グループについて算出する6つの数値のセットです。グループの規模が異なるため、必ず割合と顧客一人当たりの数値を比較してください。

スコアカードからは2つの数字が出てくる。

• 増分貢献 =（オファー配信群の顧客1人当たり貢献利益 − ホールドアウトグループの顧客1人当たり貢献利益）× オファー配信群の顧客数。

• 新規リピーター顧客一人当たりのコスト = 特典コスト ÷ 純増リピート顧客数。

ここでは、割引は対象となるすべての注文の利益を低下させるため、貢献利益が収益よりも重要になります。 割引後の利益率 注文ごとに、まずそれを実行してください。両グループとも同じ費用を使用します。

6番目の数字は飛ばしやすいですが、飛ばすべきではありません。 アンダーソンとシメスターによる3つの大規模な野外実験大幅な割引は、新規顧客の今後の購入を増加させる一方で、既存顧客の今後の購入を減少させる。1月には魅力的に見えるオファーも、4月には定価での注文につながる可能性があるので、クーポンコードの有効期限が切れた後も継続的に効果を検証する必要がある。

配信前に損益分岐リフトを計算する

損益分岐点となる上昇率は、割引分を回収するために必要なリピート率の最小改善率です。キャンペーン開​​始前に計算しておけば、そのオファーが現実的に成功する可能性があるかどうかが分かります。

損益分岐リフト = 予想特典コスト ÷（リピート注文1件当たり貢献利益 × オファー配信群の人数）

具体例を挙げましょう。1,600人の顧客に10ドルの割引クーポンを送付し、そのうち約176人が利用すると予想するとします。この場合、予想されるインセンティブ費用は1,760ドルです。2回目の注文1件あたりの平均金額は70ドルで、商品原価、送料、決済手数料を差し引くと、貢献利益は31.50ドルになります。

1,760ドル ÷ (31.50ドル × 1,600) = 0.035、または 3.5パーセントポイント。

つまり、このグループの通常のリピート率が9%だとすると、割引分を補うためには、今回のオファーでリピート率を約12.5%まで引き上げる必要があります。それが難しいと思われる場合は、オファーの価格を下げる（送料無料にする、または割引額を小さくするなど）か、自発的にリピートする可能性が最も低い顧客層に絞り込むようにしましょう。

リテンション施策の純増売上を測る方法

純増売上を測定するには、まず1つのグループと1つの目標を選択し、そのグループをランダムに分割します。次に、片方のグループにのみオファーを提示し、同じ期間後に両方のグループを比較します。これらの7つのステップでは、Shopify独自のツールとスプレッドシートを使用します。

ステップ1：対象顧客と目的を1つに絞る

「ブラックフライデー・サイバーマンデーの初回購入者、4月上旬までに2回目の注文をする」など、単一の目標を持つ単一のグループを選択してください。初回購入者、休眠顧客、VIP顧客を1つのテストに混ぜてしまうと、各グループで何が起こったのかが分かりにくくなります。

グループを分割する前に整理してください。ギフト購入者を特定できる場合は、彼らを除外することを検討してください。 購入者の好みを反映していないギフト注文 Q1では異なる動作をする。また、未払いの人は削除する。 注文の遅延または破損後のサービス回復策そういう顧客はどんな状況でも自分の望むジェスチャーを受け取るので、テストの対象にはならない。

ステップ2：Shopifyで顧客セグメントを作る

グループの顧客セグメントを作成します。BFCM 初参加者には、次のようなフィルターが使えます。 Shopifyセグメントクエリ言語:

number_of_orders = 1 AND first_order_date BETWEEN 2026-11-20 AND 2026-12-02

日付はご自身のBFCM期間に合わせて調整してください。セグメントは分割日に作成してください。それ以前に2回目の注文をした顧客はテスト対象から除外されるべきです。

ステップ3：対象顧客をランダムに分ける

セグメントをCSVとしてエクスポートし、各行に乱数を含む列を追加します（=RAND() Google スプレッドシートまたは Excel で、該当する列で並べ替えます。最初の 20% をホールドアウト、残りを公開対象としてマークします。次に、乱数が変化しないように値をコピーします。

顧客をエンゲージメント、支出額、地域、アルファベット順などで分割してはいけません。また、分割後に顧客をグループ間で移動させてはいけません。各グループの日付と規模を記録しておきましょう。

ステップ4：両グループにタグを付ける

各グループに顧客タグを追加します。例: q1-26オファー そして q1-26-holdoutShopifyの一括編集機能またはタグ付けアプリを使用してタグを追加できます。

CSVインポートには注意してください。Shopifyのヘルプセンターでは、上書きオプションを使用してインポートすると、顧客のすべてのデータが置き換えられると指摘しています。 タグを含めてそのため、インポートによって他のアプリが依存しているタグが削除される可能性があります。

ステップ5：オファー配信群のタグだけに特典を送る

タグ付けされた顧客のみに割引を適用する q1-26オファーShopifyでは、コードを制限することができます。 特定の顧客または顧客セグメント利用は顧客1人につき1回、有効期限付きです。クーポンサイトで共有されたコードは、利用していない顧客にも届き、結果を曖昧にしてしまう可能性があるため、顧客1人に限定したコードが最適です。

キャンペーン期間を1月6日から2月2日など固定期間に設定し、キャンペーン開​​始後は金額を変更しないでください。

ステップ6：両グループへのメッセージをそろえる

可能であれば、両グループに同じ1月のメールを送信し、オファーを送らなかったグループにはオファーの内容を記載しないようにしてください。そうすることで、リマインダーではなく割引の効果を測定できます。多くの店舗では、メールを送るだけで顧客が戻ってくることがわかっています。

ホールドアウト群に何も送信しない場合、テストでは「メール＋オファー」の効果をまとめて測定します。それでも有用な測定方法ですが、結果を報告する際にはその旨を明記してください。

ステップ7：測定期間の終了後に結果を集計する

両方のグループに同じ期間（例えば1月6日から4月5日まで）を使用してください。次に、2つのものを集めてください。

• 繰り返し回数。 例えば、 customer_tags CONTAINS 'q1-26-holdout' AND last_order_date >= 2027-01-06 これは、一度注文を保留していた顧客のうち、再注文した顧客数を示します。公開タグに対しても同じフィルターを適用してください。

• 収益と利益率。 注文をエクスポートする ウィンドウ用です。ファイルには、各注文のメールアドレス、小計、割引額、合計金額、および返金金額が含まれています。メールアドレスを2つのグループリストと照合し、各グループの合計金額を計算してください。

注意点が1つあります。エクスポートのDiscount Code列には自動ディスカウントが表示されませんが、値引き額はDiscount Amount列に入ります。利益を計算する前に返金額も差し引いてください。

試算例：BFCMの初回購入者2,000人

こちらは、BFCM（ブラックフライデー・サイバーマンデー）に初めて参加した顧客2,000人を対象とした、ある実例店舗の保留スコアカードです。この店舗は、そのうち80%に2回目の注文で10ドル割引を提供し、残りの20%には割引を保留しました。そして、1月6日から4月5日までの期間で測定を行いました。

それでは結果を発表します。

• リピート購入率の向上： 13.0%から9.0%を引くと4.0ポイント。

• リピーター顧客の増加： 4.0% × 1,600 = 64。

• 増分貢献： （2.995ドル－2.835ドル）×1,600＝256ドル。

• リピート顧客1人当たりのコスト： 1,760ドル ÷ 64 = 27.50ドル。これは、通常の注文における利益率31.50ドルと比較して低い値です。

利用レポート上は、コード経由で176件、売上約$12,300です。しかし実際の純増は64人、貢献利益は$256でした。施策はぎりぎりプラスで、3.5ポイントの損益分岐リフトを0.5ポイント上回りました。

注目すべきは、対象グループのうち32人がコードを使わずに戻ってきたことです。引き換えレポートにはこれらの人は含まれていませんが、ホールドアウト比較ではこれらの人もカウントされます。

ノイズも考慮する必要があります。このグループ規模では、リフトの95%信頼区間は約0.7～7.3ポイントです。つまり、実際の結果は損失から確実な利益まで、あらゆる可能性が考えられます。賢明な判断としては、このオファーを維持し、次回はより安価なバージョンをテストし、5月までの両グループの定価でのリピート率を確認してから、規模を拡大するのが良いでしょう。

ホールドアウトグループは何人必要？

ほとんどの店舗が予想するよりも規模が大きい。リピーター率が低い場合、小規模なリフトは、偶然の成功と区別できるようになるまでに、グループあたり数千人の顧客を必要とする。

この表は、標準設定（信頼度95%、検出力80%、グループサイズが等しい場合）を使用した場合に、各グループがリフトを確実に検出するために必要な顧客数の概算を示しています。

ここからいくつかの実践的なルールが導き出される。

• ホールドアウトサイズ。 対象となる顧客が数万人いる場合は、10%から20%のホールドアウトで十分です。数百人から数千人の場合は、ホールドアウトが少なすぎるとテスト全体にノイズが入り込むため、30%から50%を使用してください。

• テスト期間。 少なくとも60日から90日間、つまり商品の自然な再購入サイクル1回分は実施してください。そうすることで、購入頻度の低い顧客が再び購入する機会が生まれます。

• 試験を繰り返してください。 同じ分割テストを2つか3つのキャンペーンで実施し、結果を合計してください。複数のテスト結果をまとめて分析することで、大きな推測よりも明確な答えが得られます。

• あなたが小さすぎるとき。 各グループの顧客数が数百人程度であれば、ホールドアウトテストを実施しても構いませんが、その結果はあくまで方向性を示すものであり、決定的な証拠とはみなさないでください。試行錯誤の過程では、誤った判断をした場合のリスクが小さいため、低価格のオファーを優先的に検討しましょう。

Shopify Rolloutsと顧客ホールドアウトの使い分け

Shopify Rolloutsと顧客ホールドアウトでは、検証できる問いが違います。Rolloutsは数日〜数週間のストア訪問者を比較する一方、顧客ホールドアウトは既存顧客を数か月追跡します。

2026年10月2日以降、Shopify Rolloutsではディスカウントをテストに含め、ストアのトラフィックを施策群と対照群に分けられます。Shopifyの ロールアウト分析ドキュメント訪問者はブラウザのCookieによって割り当てられるため、同じユーザーが新しいデバイスを使用すると、異なるグループに分類される可能性があります。実験結果はコンバージョン指標に焦点を当てており、割引固有の指標は利用できません。Shopify POSおよびヘッドレスストアフロントは含まれておらず、実験にはGrow plan以上が必要です。

そのため、Rolloutsは以下のような用途に適しています。 Rolloutsを使ってShopifyの割引をテストする ストアフロントでは、今週どのBFCMオファーのコンバージョン率が高いかなどを確認できます。第1四半期の顧客維持オファーは異なります。これは指定された顧客にメールで送信され、2回目の注文はどのデバイスやチャネルで行われる可能性があり、重要なのは60～90日間のリピート購入と利益率です。そのためには、タグベースの顧客ホールドアウトツールの方が適しています。

DiscountRayでできること・できないこと

EFOLIが提供するShopify割引アプリ「DiscountRay」は、公開対象グループに対して割引オファーを実行できます。ただし、結果を測定する機能はありません。結果測定は、Shopifyのデータとスプレッドシートまたは分析ツールで行います。

この方法において役立つ点は以下のとおりです。

• タグ1枚のみのオファーです。 Growth planでは、DiscountRayは顧客タグによる価格設定をサポートしているため、タグ付けされた顧客にのみオファーを限定できます。 q1-26オファー。

• 漏洩しないコード。 パーソナライズされた使い捨てコードは、顧客一人につき1つしか使用できません。購入者のメールアドレスが一致している必要があり、コードは一度しか使えません。これにより、他の顧客が共有コードを使用することを防ぎます。

• 日程が確定しました。 キャンペーンの開始日と終了日を設定できるため、対象となるすべての顧客に対して同じ期間が適用されます。

• より豊かな条件。 Pro planでは、 タグまたは顧客リストによるパーソナライズされた割引 また、カートの合計金額、国、注文履歴に基づいて、固定金額、パーセンテージ、送料無料、または無料ギフトを報酬として設定することもできます。

一方、顧客のグループ分け、リフトの計算、純増売上のレポートには対応していません。実験ツールではないため、結果はShopifyの顧客セグメントと注文エクスポートで確認します。Growthは月額$14、Proは月額$29で、どちらも14日間の無料トライアルがあります。料金は DiscountRayの料金ページ。

ホールドアウトから除外すべき顧客

顧客に提供しないのは、あくまでも任意であるべきサービスに限る。顧客に何らかの権利がある場合、それを顧客に提供することの方が、テストを完璧にクリアすることよりも重要だ。

• 顧客はサービス回復を受ける権利がある。 注文品が遅れて届いたり、破損していたり​​した顧客には、通常通りの対応をすべきです。

• 価格が合意済みのB2Bアカウント。 契約条件や価格表の内容は、テスト変数ではありません。

• 約束された報酬。 もしあなたが、ロイヤルティ特典や「2回目以降の注文割引」といった特典を箱に印刷して宣伝していた場合、条件を満たす人は全員その特典を受け取ることができます。

よくある失敗

抵抗する者を厳選する。 関心度の低い顧客を保留にすると、どんな場合でも保留状況は悪化し、オファーは実際よりも良く見えてしまう。

救済者と非救済者を比較する。 償還を選択した人々は、もともと関心が高かった人たちです。必ず、償還対象者全体と償還を拒否した人々全体を比較してください。

コードの漏洩。 公開または共有可能なコードは、クーポンサイトを通じて未解決の顧客に届く可能性があります。顧客限定コードを使用し、 割引コードの共有。

テスト期間中にオファー内容を変更する。 2週間低迷した後に割引率を上げると、1回のテストが2回の半分のテストになってしまう。

最初の良い週で止める。 初期の結果は大きく変動します。始める前に終了日を決めて、それを守りましょう。

割合ではなく、総読書量を表示する。 対象グループの方が規模が大きいので、注文数も常に多くなります。顧客一人当たりで比較してください。

返金やキャンペーン終了後の期間を忘れてしまう。 返品された2回目の注文はリピート購入とはみなされず、1月の好調な売上が4月の定価注文の減少につながることもある。

結果を次のQ1施策に反映する

その結果を基に、一度に1つの項目だけを変更してみましょう。リフトの値を損益分岐点となるリフトの値と比較し、その差がどれくらい大きいかを確認してください。

目標は、時間の経過とともにリピート顧客1人当たりのコストを削減することです。この数値は、ターゲットオファーとポイントプログラムを比較する最も公平な方法でもあります。 追加のリピート注文あたりのコスト 支給された報酬の数ではなく。

まとめ

顧客維持のためのキャンペーンは、自発的に戻ってこなかった顧客を呼び戻し、そのコストを利益率の向上で賄える場合にのみ効果を発揮します。特典の利用状況だけでは、その効果は分かりません。無作為に抽出した非利用グループを分析すれば、それが可能になります。

第1四半期のオファーによる増収を測定するには、送信前に損益分岐点となる増加額を算出し、対象となる顧客をランダムに2つのグループに分け、一方のグループにオファーを提供し、60～90日後に両グループのホールドアウト比較表を比較します。これを1月に1回実施し、春に再度実施すれば、それ以降の第1四半期のオファーはすべて、実際に効果があったものに基づいて構築されます。