See below for the English version.
対象のプラン・オプション：チームサクセスプラン、フリープラン
対象のサービス：Engagement（エンゲージメント） 、Analytics（アナリティクス）
この操作ができる人（権限）：ログイン可能な全メンバー
はじめに
エンゲージメントスコアの「重要な変動」のアルゴリズムについて説明します。
重要な変動の概要は、[比較画面の赤・青の点滅（重要な変動）について]をご確認ください。
「重要な変動」のアルゴリズムは、以下のそれぞれ役割の異なる統計手法3種の結果を総合してスコアの変動を検知します。
短期変動検知：1ヶ月間で今回と前回の結果を比較し、重要な変化を検知するためのアルゴリズム
長期変動検知：90日間で起こった変化を検知するためのアルゴリズム
異常水準検知：直近1年間の変動を加味し、これまでと違う状態になったことを検知するためのアルゴリズム
その結果、以下の特徴があります。
チームの人数の大小に関わらず、注目すべき変動を検知する
スコア変化のうち、異動による偏りを取り除いて注目すべき変化を検知する
短期の急激な変化も、長期の緩やかな変化も両方検知する
データが溜まるほど個々のチームについての学習が進み、より個別最適化された変動検知ロジックに進化していく
下記に以前との変更点をまとめておりますので併せてご確認ください。
※詳細は、Wevoxチーム/Data Scientist 杉山が紹介している[変動検知機能が大幅アップデートされました 【wevox data blog】 - formal ver.]をご確認ください。
重要な変動を検知する配信頻度について
重要な変動の検知対象となるサーベイの配信頻度について説明します。
「重要な変動」は、月に1回またはそれ以上の頻度でエンゲージメントサーベイを実施している場合を主な対象としています。 配信間隔が1ヶ月以上あいている場合や、不定期にサーベイを実施した場合は、期待した変動が検知されない可能性があります。
よくある質問
重要な変動のアルゴリズムに関するよくある質問は以下の通りです。
※Wevoxチーム/Data Scientist 杉山の記事[変動検知機能が大幅アップデートされました 【wevox data blog】 - formal ver.]より抜粋
Q：変化しているのに検知されない
「変化してるのに検知されない」ということが、たまにあります。たとえば、こんな場合です。
明らかにスコアが上昇しているのに、この場合は検知されませんでした。
今回のアルゴリズムは、100回配信したときに5回程度以下しか起こらない大きさの変化を検知しています。そのため、このレベルの変化でも、そこまで（統計的には）レアでない変化だったと言えます。（検知量を増やすと誤報が増えるため、悩ましいところです。） とはいえ、これは検知できるよう引き続き精進します。
Q：スコアは下がっているのに、「上昇」と検知される
5/14 のタイミングで、スコアは前回と比べて6点下がっていますが、短期変動検知は「上昇」という検知をします。
これは誤報ではありません。実は、細かくデータを見ると、このタイミングでこのチームには異動があり、大きくメンバー構成が変わっています。実際、異動しなかったメンバーは、スコアが6点上昇しています。そのため、そちらに注目していた変動検知ロジックは、「上昇」と判定します。かなり紛らわしいですが、今までのUIではわからなかったことも分かるようになりました。
Q：長期変動と短期変動が食い違う
上記のようなスコア変化をした場合、12/15時点で、「短期変動は上昇」「長期変動は下降」という検知結果が出ます。レアケースですが、こういう場合もあります（この場合、画面上は、「下降」と表示されます）。
変動検知は難しいですね、、、。
解釈としては、「ブレが戻っただけで、トレンドは下降」か「下降トレンドが終了し、上昇に転じている」などがあり得ると思います。
残念ながら、データだけからだと、このどちらか、または別の可能性かは分からないため、実際の現場を知っている皆さんに判断を委ねたいと思います。
Q：一時的なブレを拾ってしまう
この推移でも、今回の変動検知は「重要な変動だ！」と言って検知してしまいます。しかし、どうやらその後の推移を見ると、少しスコアがブレていただけのようにも見えます。
どうしても、検知するタイミイングでは、将来スコアが戻る（つまりブレだった）のか、将来もスコアが低いまま（本質的な変動）なのか分かりません。
このように後から見れば大したことがなかったことを拾ってしまうこともあります。
しかし、「後から見れば」を予測できるほどの力はまだなく、アンケートデータのみで、チームの雰囲気を知らずに予測するのは、今後を含めても極めて困難です。
やはりここは、変動の検知をきっかけとして、実際のチームを知っているお客様に、本当に注目すべき事が起こっているかどうかを再度考えていただくのが良いと考えています。
（重ねてですが、これがAI と人間の協働の一つの形です。）
Q：超長期の変動は拾えない
実は、このタイミングでは、変動検知は働きませんでした。正確にお伝えすると、スコアの下降期間の途中何回かは検知されますが、この一番スコアが低かったタイミングでは検知されませんでした。
「異常水準検知」にて、長期変動を検知するようにしていますが、下降トレンドが超長期に亘って継続する（今回は約1年）場合、下降トレンド自体にアルゴリズムが慣れてしまい、検知しなくなってしまった仕様です。 こちらも解決できるよう、引き続き精進します。
関連キーワード：統計手法、短期変動、長期変動、異常水準検知、ロジック、トレンド