誤報のない AI 可視性アラート

誤報が最も少ない AI 可視性アラートは、一つの回答ではなく、繰り返し測定した結果の傾向に基づいて発生するものです。AI エンジンは同じプロンプトに対しても尋ねるたびに異なる回答を返すことがあるため、1 回の測定に基づくアラートが伝えるのは、ほとんどがノイズです。

現在、多くの AEO・GEO プラットフォームがアラート機能を提供しています。ブランドが回答から消えた、競合に追い抜かれた、引用がなくなった、といったものです。問題は、監視している対象そのものが勝手に動くことです。ChatGPT、Gemini、Perplexity に同じ購買担当者の質問を 3 回尋ねると、3 通りの異なるブランドの一覧が返ってくることがあります。これが回答のばらつきであり、変化のたびに発生するアラートが、半月もしないうちにチームにアラートを無視する習慣をつけてしまう理由です。

このガイドでは、1 回の測定に基づくアラートが誤作動する理由、誤報を減らす設計上の選択、トライアル中にベンダーのアラートを試す方法、そして当社が開発する Stellarcast でのアラートの仕組みを解説します。当社は自社アラートの誤報率を公表していません。また、どのように測定したかを示さずに誤報率を提示するベンダーには注意が必要だと考えています。

1 回の測定に基づくアラートが誤作動する理由

一つの AI 回答は、ありうる回答の範囲から一つを引いたものにすぎません。モデルは単語をある程度ランダムに選び、根拠とする検索結果は変わり、エンジンはモデルを更新し、所在地に合わせて回答を変えるものもあります。どれも、あなたの可視性が変わったことを意味しません。

そのため、「このプロンプトで当社の名前が挙がらなかったら知らせる」といったアラートルールは、ほとんどの日に名前が挙がっていても、エンジンがたまたまあなたを外すたびに発生します。これがプロンプト、エンジン、市場の数だけ掛け合わされると、チームには一日に何件ものアラートが届き、そのほぼすべてがノイズについてのものになります。本当の低下が起きたときには、もう誰も読まなくなった受信トレイに届くことになります。

解決策は、同じ 1 回の測定に対するしきい値を改善することではありません。入力そのものを変えることです。多数の測定結果をまとめ、それが通常どの程度動くかと比較します。

誤報を減らすアラート設計の選択

どれも特別なものではありません。しかしこれらを組み合わせることで、「何かが動いた」と伝えるだけのアラートと、「何かが通常以上に、1 回の測定にとどまらず動いた。その根拠はこれだ」と伝えるアラートの違いが生まれます。

トライアルでベンダーのアラートを試す方法

1. サイトを変更せずに、2 週間アラートをオンにしておく。自社側で何も変えていなければ、届くアラートはすべて実際の市場の動きかノイズのどちらかです。その数を数えましょう。
2. 各アラートを傾向と照らし合わせる。その背後にあるグラフを開きます。低下は 1 回の測定だけでしたか、それとも複数回でしたか。翌日には回復していましたか。
3. アラートが何を比較したのかを尋ねる。一つの回答と直前の回答か、それとも一定期間の測定結果と前の期間か。答えられないベンダーは、おそらく単発の実行同士を比較しています。
4. 数値に範囲が付いているかを尋ねる。範囲のない言及シェアでは、動きが異常かどうかを判断できません。P25-P75 範囲は、測定結果の中央の半分にあたります。
5. 実際に読むチャネルを確認する。月に一度しか開かないダッシュボードの中にしかないアラートは、アラートではなくレポートです。

Stellarcast のアラートの仕組み

すべての有料プランで、Stellarcast は追跡する各プロンプトをすべてのエンジンで市場ごとに毎日実行し、すべての測定結果を保持します。アラートは単発の回答ではなく、これらの測定結果に基づいています。現在、製品が送信するアラートの種類は次のとおりです。

• 順位を落とした。ある市場での言及シェアが、連続する 2 つの日次スナップショットの間で 5 ポイント以上下がったときに発生します。各スナップショットは直近 7 日間のシェアで、エンジン全体をまとめ、各エンジンのサンプル数で重み付けしているため、一つの例外的な回答は 1 週間分の他の回答とまとめて扱われます。初回の測定でアラートが出ることはなく、測定結果のない日はゼロとして扱わずにスキップします。アラートには両方のシェアと両方の日付が表示されるので自分で確認でき、同じ低下は一度だけ通知されます。
• リフトの確認（Growth プランから）。修正のリフトが「可能性が高い」または「判断は時期尚早」から「実測」に移ったときに発生します。「実測」には、変更後に少なくとも 14 日間の測定結果があること、変更前に見られた範囲を外れる差があること、交絡するモデル更新がないことが必要です。アラートにはラベルと、範囲がある場合はその範囲が含まれます。
• 市場の動き。あなたの修正ではなくエンジンのモデル更新によって順位が動いたときに届く、日次のメールです。
• 対応待ち（Starter プランから）。作成された修正の下書きが承認を待っている、または接続が切れて再接続が必要な場合です。
• 利用上限。プランの利用枠の 80% と 95% に達したときに、請求期間ごとにそれぞれ一度通知するため、予告なく止まることはありません。
• 週次ダイジェスト。その週の動き、承認待ちの修正、アラートをまとめた 1 通のメールで、実際のイベントの合間には受信トレイが静かに保たれます。

すべてのアラートの種類は、メールと Slack それぞれで個別にオン・オフを切り替えられ、アプリ内のアラートカードにも表示されます。その背後にある言及シェアには、すべての画面で P25-P75 範囲が付きます。手法についてはAI 可視性の測定方法をご覧ください。

当社が主張しないこと：誤報率です。低下のアラートは実際の 2 つのスナップショットを比較するもので、アラート自体には範囲が付きません。前日比の比較のために作り出した範囲は、当社が根拠を示せない数値になってしまうからです。アラートは $39 の Lite プランから利用できます。料金をご覧ください。