See below for the English version.

この操作ができるサービス：Wevox Engagement

この操作ができる人：全メンバー

この操作でできること：「重要な変動」を算出するアルゴリズムについて、ご説明します。なお、重要な変動についての概要はこちらをご覧ください。

「重要な変動」のアルゴリズムは、下記のそれぞれ役割の異なる統計手法3種の結果を総合してスコアの変動を検知します。

その結果、下記の特徴があります。

下記に以前との変更点をまとめておりますので併せてご覧ください。

※より詳細については、wevoxチームのData Scientist 杉山がこちらでご紹介しておりますので、ご覧ください。
​

※Wevoxチーム／Data Scientist 杉山の記事より抜粋

変化してるのに検知されない！ということが、たまにあります。たとえば、こんな場合です。

明らかにスコアが上昇しているのに、この場合は検知されませんでした。

今回のアルゴリズムは、100回配信したときに5回程度以下しか起こらない大きさの変化を検知しています。なので、このレベルの変化でも、そこまで（統計的には）レアでない変化だったと言えます。
（検知量を増やすと誤報が増えるので、悩ましいところであります。）

とはいえ、ちょっと、これは、検知したいと思っています。引き続き精進します。

5/14 のタイミングで、スコアは前回と比べて6点下がっていますが、短期変動検知は「上昇」という検知をします。なぜでしょうか。

これは誤報ではありません。実は、細かくデータを見ると、このタイミングでこのチームには異動があり、大きくメンバー構成が変わっています。実際。異動しなかったメンバーは、スコアが6点上昇しています。なので、そちらに注目していた変動検知ロジックは、「上昇」と判定をします。かなり紛らわしいですが、今までの UI ではわからなかったことも分かるようになりました。

上記のようなスコア変化をした場合、12/15時点で、「短期変動は上昇」「長期変動は下降」という検知結果が出ます。レアケースですが、こういう場合もあります（この場合、画面上は、「下降」と表示されます）。
​

変動検知は難しいですね、、、。

解釈としては、「ブレが戻っただけで、トレンドは下降」か「下降トレンドが終了し、上昇に転じている」などがあり得ると思います。
残念ながら、データだけからだと、このどちらか、または別の可能性かは分からないので、実際の現場を知っている皆さんに判断を委ねたいと思います。

この推移でも、今回の変動検知は「重要な変動だ！」と言って検知してしまいます。ですが、どうやら、その後の推移を見ると、ちょっとスコアがブレていただけのようにも見えます。

どうしても、検知するタイミイングでは、将来スコアが戻る（つまりブレだった）のか、将来もスコアが低いまま（本質的な変動）なのか分かりません。
このように後から見れば大したことなかったことを拾ってしまうこともあります。

ですが、「後から見れば」を予測できるほどの力はまだありませんし、アンケートデータのみで、チームの雰囲気を知らずに予測するのは、今後を含めても極めて困難だと思います。

やはりここは、変動の検知をきっかけとして、実際のチームを知っている Wevox ユーザーの皆さんに、本当に注目すべき事が起こっているかどうかを再度考えていただくのが一番いいのではないかと思います。
（重ねてですが、これが、 AI と人間の協働の一つの形です。）

実は、このタイミングでは、変動検知は働きませんでした。
正確にお伝えすると、スコアの下降期間の途中何回かは検知されますが、この一番スコアが低かったタイミングでは検知されませんでした。
​

「異常水準検知」にて、長期変動を検知するようにはしているのですが、下降トレンドが超長期に亘って継続する（今回は約1年）の場合、下降トレンド自体にアルゴリズムがなれてしまって、検知してくれなくなってしまったようです。
こちらも解決できるよう、引き続き精進します。