AIsmiley Magazine

AIsmiley編集部によるAI・人工知能サービスの導入事例や活用事例などの情報を記事にしてお届けします

AI・人工知能サービス

2020/1/9

文書やWebサイトのログといった非構造データの異常を検出する「異常検知」とは?

  • 業種・業態
  • 編集部記事

文書やWebサイトのログといった非構造データの異常を検出する「異常検知」とは?|人工知能を搭載した製品・サービスの比較一覧・導入活用事例・資料請求が無料でできるAIポータルメディア

AI・人工知能の技術が進歩したことにより、近年は多くの企業が業務にAIを導入するなどして、商品やサービスの向上を図っている状況です。特にAIは大量のデータを分析し、予測することを得意としているため、そのような業務をすべてAIに置き換えている企業も決して少なくありません。

そんな、大量のデータを扱う現代だからこそ、データの異常を検出する技術にも注目が集まっています。扱うデータの量が増えていけば、当然その中に異常なデータが含まれる可能性も増していくからです。今回は、そんな異常データの検出を行う「異常検知」について詳しくご紹介していきますので、ぜひ参考にしてみてください。

■異常検知とは

■異常検知とは|人工知能を搭載した製品・サービスの比較一覧・導入活用事例・資料請求が無料でできるAIポータルメディア

異常検知とは、大量のデータから通常とは異なるもの(異常)を検出することをいいます。データマイニングを利用してデータセット中の他のデータと照らし合わせを行い、一致していないものを識別していくという仕組みです。そのため、異常検知における「異常」というのは、通常の動作として定義された概念に当てはまらないものことを指しています。

そんな異常検知ですが、用途によっては「故障検知」「不正使用検知」といった呼ばれ方をすることもあります。そのため、これらを別物として捉えてしまう方もいらっしゃいますが、これらはすべて「他の大量のデータとは異なる振る舞いをみせるデータを検出する技術」であることに変わりはないため、すべて同じものと捉えて問題ありません。

なお、最近の異常検知では、メールや文書、動画、画像、Webサイトのログといった「非構造化データ」が用いられるケースが多くなっています。そのため、実際のビジネスにおいて活用していくためには、データ分析に関する知識や経験が必要になるでしょう。

(参照:株式会社ALBERT(アルベルト) 異常を検知したい)
(参照:製造業向けAIサービスを提供する株式会社スカイディスク 機械学習を使った異常検知の仕組みと方法一覧)

 

■異常検知の種類

ここまでの解説で、異常検知というものがどのような仕組みなのかお分かりいただけたかと思いますが、異常検知にはいくつかの種類が存在します。大きく分けると、以下の3種類の方法です。

 

・外れ値検出

外れ値検出とは、データを記録する際に生じてしまった人為的なミスなど、全体から大きく外れているデータを検出する方法のことです。他の大半のデータとは値が大きく異なるため、機械学習によって過去のデータを積み重ねていくことで、より精度を高められるようになります。

 

・変化点検出

変化点検出とは、データの構造や性質などといった時系列データのパターンが急激に変化する部分を検出する方法のことです。例えばWebサイトにおいて、特定のワードでのアクセスが、ある時期を境に急激に増加するケースなどがあります。この場合のアクセスが急激に増加する「境目」を検知することができるのが、この変化点検出というわけです。

 

・異常部位検出

異常部位検出とは、不正行為や不審行為など、通常とは明らかに違う動きを検出するための方法です。例えば、我々人間の心拍数は一定のリズムであることが大半ですが、急激な心拍数の変化(異常部位)だけを検出したい場合などには、この方法が活用できます。
 

■異常検知のシステムを作成する際に重要となる5つの機械学習モデル

■異常検知のシステムを作成する際に重要となる5つの機械学習モデル|人工知能を搭載した製品・サービスの比較一覧・導入活用事例・資料請求が無料でできるAIポータルメディア

異常検知システムを作成する際には、いくつかの機械学習モデルについて理解した上で取り組んでいくことが大切になります。それぞれの特徴を理解していなければ、異常検知のシステムに合ったモデルを選択していくことができないからです。そのため、ここからは5つの機械学習モデルの特徴をご紹介していきますので、ぜひ参考にしてみてください。
 

・教師あり学習

教師あり学習とは、「学習処理」「判定処理」という2つのプロセスに分かれているのが特徴の機械学習モデルです。大量の学習データに「正常」「不良」といった判定ラベルを付けることで、AIに学習させていきます。ただし、一度学習させただけで認識精度が完璧になるわけではありません。人間と同じように、繰り返しトレーニングをしていくことで認識の精度を高めていくというものです。
 

・教師なし学習

教師なし学習も、事前に学習を行うという点においては教師あり学習と一緒です。ただ、教師あり学習と大きく異なるのは、「正常・不良といったラベルを付けることなく、大量のデータを読み込んでいく」という点にあります。そして、大量のデータを読み込んでいくことによって、次第にAIが自律的に認識を行うようになるわけです。
 

・半教師あり学習

半教師あり学習は、その言葉通り「一部のデータにだけラベルを付ける」という作業をすることで、ラベルなしのデータを生かしていく機械学習モデルです。アルゴリズムとしては、混合ガウスモデルやブーストラップ法といったものが存在します。
基本的に、半教師あり学習のラベル付きデータだけでは疎かになってしまう部分が存在するわけですが、それをラベルなしのデータが補っていくことが可能です。
 

・強化学習

強化学習とは、AIが報酬の獲得を求めて能動的に学んでいく機械学習モデルです。その一例としては、試行錯誤を繰り返し、膨らんだ利益を獲得する方法などが挙げられるでしょう。そのため、株取引などの分野で活躍するケースが多い傾向にあり、異常検知ではあまり用いられることがありません。
 

・生成モデル

生成モデルとは、既存のデータをもとにしてオブジェクトをつくることが特徴の学習モデルです。外れ値の検出を行うことができ、データをサンプリングできるという点が大きな特徴といえます。異常検知の分野でいうと、正常なデータのみを学習する必要があるケースにおいては重要な役割を果たす学習モデルといえるでしょう。
 

■大量のデータを扱う現代において異常検知は必要不可欠

今回は、異常検知の仕組みや種類などについて詳しくご紹介しました。AIを用いて生産性向上や業務効率化を図る企業は非常に多くなっていますが、大量のデータを扱うようになるにつれて異常なデータが混ざり込む可能性も増えていくため、異常検知システムは必要不可欠なものになっていくでしょう。また、ただログやリソースデータを蓄積していくのではなく、調査や分析によって異常検知の精度を高めていくことも極めて重要になります。そのためにも、一人ひとりがAIに関する知識を養い、根本から理解していくことが重要になるのではないでしょうか。

(参照:日本サイトラインシステムズ 異常検知 | ソリューション)
(参照:しまねソフト研究開発センター 共同研究「機械学習によるサーバの監視・異常検知のためのログやリソースデータの分析」レポート)

 

異常検知のサービス比較と企業一覧を見る

 

この記事で紹介されたAIサービスを無料で資料請求