因果関係の問いから始めます

レポートにはクリック率上昇と購入転換があります。しかし「送らなくても購入したか」には答えにくい状態です。よくクリックされたメッセージと追加売上を作ったメッセージは同じではありません。

新たに生んだ効果を知るには、同時期に同じ資格を持つ顧客を無作為に分け、そのキャンペーンを実施した群と実施しない群を比べます。 他の運用条件を可能な限りそろえ、当初割当全員の購入・売上を見ます。クリック有無や前月・今月の比較では代替できません。[1]

求めたい値は増分効果です。キャンペーンに売上を結び付ける集計規則と、キャンペーンがない場合との差を推定する実験は、別の問いに答えます。

各指標が答える問いを分けます

役割を分けるとレポートの不足が見えます。以下は測定の問いの整理で、全ツール共通のフィールド仕様ではありません。

指標確認する問いこれだけでは分からないこと
配信量何件を配信対象として処理したか？実際に顧客に届いたか？
配達そのチャネルのどこまで確認したか？人が読んだか？
開封・クリック記録された操作はいくつか？操作が購入の原因か？
転換・帰属売上イベント・帰属規則がどの購入・金額を数えたか？メッセージなしでも発生する購入はいくらか？
増分購入・売上比較可能な対照群より事業結果がどう変わったか？別顧客・季節・長期でも同じか？

「配達」もチャネル別の意味を確認します。OneSignalプッシュのDeliveredは事業者への引渡しで、端末受信のConfirmed Receiptと異なります。CTRはClicksをDeliveredで割った値です。メール開封は追跡画像の読み込みなどに左右され、実際の読書とは一致しない場合があります。[2][3]

Uniqueも異なる顧客数とは限りません。 OneSignalメールの固有クリック・開封はSubscription単位です。購入者を顧客IDで数える会社は、メッセージと注文の単位を先に照合します。[4]

帰属期間と実験観察期間は別の時計です

OneSignalの現行転換集計は、チャネル別帰属期間内の最新適格操作に直接帰属を与えます。一転換に複数メッセージがinfluenced creditを得る場合もあります。これは売上配分であり、メッセージなしの売上計算ではありません。複数のinfluenced実績を合算して純増成果としてはいけません。[5]

帰属期間はクリック・開封などから始まります。実験観察は両群に存在する基準、例えば割当から14日間とします。対照群にはキャンペーンクリックがないため、その日を共通起点にはできません。

実験結果には期間内の購入を流入経路によらず含めます。クリックせず直接訪問した購入も除きません。逆に追跡可能な接点がないだけで無影響とも断定しません。帰属レポートと実験レポートを別名称で維持します。

サービスの仕組み

企画と配信検証を運用のリズムに — キャンペーン計画に合わせて対象を検証・配信し、実験結果を次の運用計画に反映します。

比較対象が変わると答えも変わります

文面A/Bは同じキャンペーン内の表現を比較します。両群が受信したなら、全く送らない場合より有利とは結論できません。その問いには当該キャンペーンを送らないホールドアウトが必要です。

一つの再購入キャンペーンだけを除く対照群は、既存運用にそれを追加する効果を見ます。全マーケティングを除く長期ホールドアウトはCRM全体という別の問いです。注文確認・セキュリティなど必要な案内まで止める実験にはしません。

新しい割引クーポンも入れたなら、メッセージと特典を組み合わせた運用の効果です。割引を維持し文面だけ変える比較と同じには解釈しません。何を試すかを先に決め、結果後に説明を変えません。

OneSignalもメッセージA/Bと、無作為タグ付けで対照群を作り配信から除く方法を区別します。A/B機能があっても増分売上分析は自動完成しません。 対照群の購入をどこで集め、何単位で分析するかを別途決めます。[6]

一つの再購入メッセージを検証する設計

以下は仮定の設計例です。購入30日後、1対1割当、14日・28日は説明用で、業界平均や推奨既定値ではありません。実際の標本・期間は購入周期、変動性、見逃せない最小効果で決め直します。

設計項目例の選択
測定の問い既存運用に案内一回を追加すると割当顧客当たり純売上は増えるか？
適格対象最終購入30日後、割当時に再購入なし、顧客IDとチャネル同意・到達可能状態を確認
割当単位顧客ID。同じ人のアプリ・ブラウザー・メールを同群にし、実験に一度だけ割当
無作為割当同じ適格母集団を1対1。実験ID・時刻・群を保存し途中で再抽選しない
実験・対照群実験群は追加割引なしの案内一回、対照群は当該だけ除外。他キャンペーン・価格・必須案内規則は同じ
観察期間各割当後14日の注文を集計し、その返金は28日まで反映。最後の顧客と事前合意の収集遅延余裕まで終えて確定
主指標割当顧客当たり純売上。割引後の商品実決済額から返金を引き、税・送料を同規則で除外
補助・保護指標購入顧客比率、顧客当たり配信費、新規拒否・苦情率。返金規模・時点も確認
分析当初割当全員を分母にし平均差と不確実性を報告。主指標・判定時点・拡大に必要な最小効果を事前固定
結論保留条件対照群への混入、両群に同じ顧客、片側の注文欠落、割当比異常が未解決、観察・返金期間未完了

ここでの純売上は実験用の定義です。割引後決済額から割引を再度引きません。メッセージ費や別の贈答品費は別集計です。小さな増収が追加費用と顧客不便に見合うかは別の事業判断だからです。

14日内の購入増が翌月購入の前倒しである場合もあります。長期再購入・更新が重要なら、その周期の追跡を最初から設計します。短期間を長期売上効果の証拠に拡張しません。

複数従業員が組織アカウントで購入・特典共有する場合は、個人より組織割当が適切なことがあります。分析も組織内相関を考慮します。組織を割り当てて中のクリック・注文を全部独立標本と数えると、不確実性を誤ります。[7]

クリックした顧客だけ残すと比較が変わります

実験群1,000人のクリック者100人だけと対照群を比べると、無作為化した集団を維持していません。割当後行動で再選択したためです。未配信・未読顧客を実験群だけから除いても同じ問題が起きます。

この設計は当初割当全員を比較する割当基準分析を基本にします。配達・クリックは作用経路を説明する補助指標です。無作為化が正しくても収集や分析対象選択が片側で異なれば比較は損なわれます。[1]

特に次の三点は配信と分析設定を一緒に確認します。

同一顧客の複数端末・チャネル。 OneSignal JourneysはExternal IDによる購読接続を説明します。接続がなければ購読ごとにユーザーが分かれ、同じ人が複数Journeyに入る場合もあります。ホールドアウトはメール名簿だけでなく同じキャンペーンのプッシュ・代替経路にも適用します。[8]

受信状態と例外。 実験中の拒否は以後の配信を止めますが、不満顧客を分析から黙って削除しません。計測に必要な権限撤回で結果不明なら欠測と区別します。OneSignalプッシュのUnsubscribedには配信時に到達不能な購読も含まれ、即「この施策が原因の新規拒否」とは読めません。[2]

注文データと他キャンペーン。 両群に同じ正本と顧客対応を用い、注文IDで重複排除します。完全観察で注文がなければゼロですが、接続失敗・収集障害をゼロ円にはしません。他キャンペーンは両群に同じ資格・配信規則を適用するか干渉を分離します。組合せ効果が含まれるなら運用条件を結果に残します。

割当・分析群の規模が計画比率と統計的に合わなければ、標本比率不一致（SRM）の兆候です。数人差だけで失敗とはしませんが、原因確認前に成果を解釈しません。[9]

サービスの仕組み

顧客データから実行するキャンペーンへ — データと測定体制を診断し、事業目標に合う主要キャンペーンと導入順序を定めます。

12%と10%の差は何を示せるか

以下は計算用の仮想データで、実顧客実験ではありません。転換率の解釈例であり、前設計の主指標である純売上改善を検証しません。

項目実験群対照群
当初割当の固有顧客1,000人1,000人
期間内に一度以上購入120人100人
購入顧客比率12.0%10.0%

観測差は12% − 10% = 2パーセントポイントです。対照群を基準とする相対差は2 ÷ 10 = 20%です。2ポイントと相対20%は同じデータの単位違いで、別々の成果ではありません。

顧客が独立し、購入が正確に観測され、固定終了時点で一つの事前指定比較をすると仮定します。正規近似の標準誤差と95%信頼区間は次です。[7]

標準誤差 = √(0.12 × 0.88 ÷ 1,000 + 0.10 × 0.90 ÷ 1,000)
         ≈ 0.0139857

95%信頼区間 = 0.02 ± 1.96 × 0.0139857
            ≈ −0.007412 ～ +0.047412
            = −0.74 ～ +4.74パーセントポイント

点推定は改善方向でも区間はゼロを含みます。これだけで転換率改善は確定できず、無効果を証明したわけでもありません。特に「売上20%増」とは書けません。 客単価と返金を反映した顧客別金額がないからです。

稀な転換が数件だけ、組織単位割当、同じ顧客の重複計数には、この近似をそのまま適用しません。購入数が同じでも一部高額注文で売上不確実性は大きく変わるため、純売上は顧客別金額分布で別分析します。[7]

各群1,000人なら十分という規則もありません。意思決定に必要な最小差、指標の変動性、検出力を先に定めます。購入周期が長ければ標本収集だけでなく結果成熟の期間も必要です。[10]

結果の確認と成功宣言は別です

実験中も誤配信・欠落・苦情を監視します。ただし通常の固定期間分析で毎日有意性を見て最初の有利な日に終了すると、元の統計的判断条件は維持しにくくなります。途中結果で止めるなら逐次分析と停止規則を事前設計します。被害防止の運用停止は別に行い、早期停止を確定的な売上成功に見せません。[11]

開封・クリック・購入・売上・多数顧客群を見て最良だけを代表成果にしません。主指標を事前指定し探索結果を区別します。Microsoftの最近の実験資料も指標の相関と関連性の考慮を扱っています。[12]

報告は次のように分かれます。これも実績ではなく判断文の例です。

観察状況報告できる結論
文面A/Bのクリック率は向上したが非配信対照・購入観察なし「操作指標は改善。追加売上効果は未確認」
適切な対照と完全観察があり、主指標差・不確実性が事前条件を満たし保護指標も許容「この対象・期間・運用条件で増分効果を支える証拠を得た」
推定範囲に損失と意味のある改善の両方を含む、または購入周期未完了「現データで拡大を決めるのは難しい。次の観察・実験計画が必要」

顧客ID、両群の注文、一貫した除外を既に管理できるなら、新ツール前に比較設計を整理できます。チャネル別識別が異なる、組織効果を個人ログで計算しているなら、先に測定構造を補います。

次の報告ではクリック率の下に比較集団、主指標の差と不確実性、まだ結論できない部分を記載します。CRMキャンペーン効果測定・実験設計ワークブックに設計を残せます。指標と必要イベントの外部支援はIXC CRMコンサルティングの範囲を参照します。