データサイエンティストのメソッドをサブスクの解約予測を例に最初から最後まで追う

相談者に確認すること

一つ目は、結果を見て実際に動く人が誰かです。カスタマーサクセスの担当が連絡する相手を選ぶのか、マーケティングが割引クーポンを配る相手を選ぶのかで、必要な予測の粒度が変わります。二つ目は、動ける量の上限です。週に連絡できる人数が〇〇人なら、全会員の解約確率を細かく出すより、上位〇〇人の精度が重要です。三つ目は、動いた結果をどう評価するかです。

問いを書き換えた例

「解約を減らしたい」は、「今月更新を迎える会員のうち、来月までに解約しそうな上位〇〇人を、担当者が確認できる形で毎週出す」に書き換えられます。ここまで具体化できると、必要なデータ、評価の指標、納品の形がほぼ決まります。

解約の定義をそろえる

サブスクでは、解約の申し込み日、課金が止まる日、アカウントが削除される日がそれぞれ違います。どれを解約とみなすかで、予測の対象も変わります。定義を決めるときは、経理や事業側の責任者と一緒に文書にして残します。後から定義がずれると、過去の分析との比較ができなくなるためです。

見えない未来の情報が混ざっていないか

モデルの精度が不自然に高いときは、予測する時点では手に入らない情報が特徴量に入っていないかを疑います。たとえば解約手続きページの閲覧履歴は、解約の直前にしか現れないため、予測には使えません。この混入はリークと呼ばれ、現場でのつまずきの典型です。

集計して眺める作業を省かない

SQLで月別、プラン別、登録経路別に解約率を並べるだけで、課題の多くが見えることがあります。モデルを作る前に、解約が特定のキャンペーン経由の会員に偏っているとわかれば、予測よりも先に施策の見直しが必要かもしれません。

ベースラインを先に置く

最初に作るのは、直近〇〇日の視聴がない会員を危険と判定するような単純なルールです。これを基準にして、ロジスティック回帰や勾配ブースティングがどれだけ上積みするかを測ります。複雑なモデルで数ポイント改善しても、運用の手間が増えるだけなら採用しない判断もありえます。

評価の指標を業務に合わせる

全体の正解率は、解約する人が少ない場合に意味を持ちません。担当者が確認する上位〇〇人のうち、実際に解約した人の割合を見るほうが現場の実感に合います。時間で区切って、過去のデータで学習し、直近の期間で検証する方法を取ると、実運用に近い精度が見えます。

説明できる形にしておく

担当者は、なぜその会員が上位に出たのかを知りたがります。特徴量の寄与を示すSHAPのような手法で、視聴回数の低下や支払い方法の変更といった理由を添えると、連絡の内容を考える助けになります。

納品の形を決める

予測を出しただけでは、動く人が使えません。毎週決まった曜日に、担当者が開くスプレッドシートやBIツールへ自動で更新される形にします。パイプラインの運用はエンジニアと分担することが多く、その調整もメソッドの一部です。

施策の効果を切り分ける

連絡した会員の解約率が下がっても、それが連絡の効果か、もともと残る人を選んだ結果かは区別できません。対象のうち一部を連絡しない比較群として残すと、施策の効果を測れます。事業側に理由を説明して、実験の設計を承認してもらうことも仕事のうちです。

精度は時間とともに落ちる

料金改定や新作の投入で、会員の行動は変わります。入力の分布のずれを週次で監視し、基準を超えたら再学習する運用を決めておくと、気づかないうちに予測が外れ続ける事態を避けられます。job tagでも、自分の分析結果やモデルが最善のものか、検討を続けていくと記載されています。運用を始めた後もモデルを見直し続けることは、この職業の仕事そのものです。運用まで担える人の評価についてはデータサイエンティストの高単価ジャンルでも触れています。

目安になる時間の割り振り

初めての案件では、問いの設定とデータの確認に全体の多くの時間を割く想定で計画すると、現実に近くなります。モデリングに使える時間は思ったより短く、残りが納品と検証です。見積もりの段階でモデルの作成にばかり時間を積むと、データの定義が決まらないまま納期が迫ります。

残しておく資料

各段階の終わりに、一枚ずつ資料を残します。どの段階で何を残すかは、次の表のとおりです。

担当者が替わっても分析を引き継げるうえ、数か月後に結果を疑われたときの根拠にもなります。ノートブックに処理を書くだけでなく、判断の理由を言葉で残す点がこの職種の特徴です。

事業側との確認の頻度

週に一度、短い時間でもよいので途中経過を見せます。完成してから見せると、定義の食い違いが最後に発覚するためです。途中で見せる資料は、きれいなグラフよりも、いま決めたい論点を一つ書いたものが適しています。

初めて一人で担当するときの注意

最初のうちは、手法を増やすよりも、各段階の判断を文章に残す習慣が役に立ちます。問いの定義、データの前提、評価指標の理由を一枚に書いて先輩に見せると、手戻りが早い段階で見つかります。職種の入口にあたる学び方はデータサイエンティストになるための道筋で整理されています。学習の到達点を確かめたい場合は、データサイエンティスト協会が実施するデータサイエンティスト検定 リテラシーレベルのように、見習いレベルの知識を対象にした試験を目安にする方法もあります。練習で取り組んだ一連の流れも、判断の記録を添えて公開すれば、実力を示す材料になります。見せ方はデータサイエンティストのポートフォリオで解説しています。

経験者が判断を変えるところ

経験を積むと、モデルを作らない選択肢が見えるようになります。単純な集計で十分な課題、データが足りない課題、そもそも施策を打てない課題を見分けて断るのも、専門家の判断です。数年後にチームを率いる立場になったときの役割の変化は、キャリアの段階ごとの役割を整理した記事でも見通せます。集計で十分な課題の進め方は、データアナリストのメソッドも参考になります。