Future Tech Blog
フューチャー技術ブログ
Cultureカテゴリ

Elastic{ON}-2017 レポート ~セッション編~

はじめに

こんにちは！ 齋場です。
本記事ではElastic{ON}-2017のセッション内容を紹介します。カンファレンスの様子はこちらの記事で紹介しています。

セッションの紹介

3日間にわたり、およそ90セッションが行われました。主に、Elastic社からの新製品の紹介とユーザ事例の発表に分かれます。
(※以下は、主なセッションを抜粋しました。)

  • Elasticsearch
  • What’s Evolving in Elasticsearch? (5.xシリーズでの新機能、6.0でリリース予定の機能を紹介)
  • Kibana
  • What’s Cookin’ in Kibana? (ヒートマップ表示対応、ログのコンテキスト表示、CSVエクスポート等の新機能の紹介)
  • Kibana Visualizations Deep Dive (Kibanaの新たな可視化機能の詳細紹介)
  • Timelion: Magic, Math, and Everything in the Middle (新たにKibanaに組み込まれたTimelionでの可視化、分析方法の紹介)
  • Beats
  • What’s Brewing in Beats (Beatsモジュール機能、Heartbeatによるモニタリング機能の紹介)
  • Logstash
  • What’s the Latest in Logstash? (Logstashのモニタリング機能、新たな設定方法、今後のUIについて)
  • Elastic Cloud
  • What’s Next for Elastic Cloud (Elastic Cloud Enterpriseの紹介、AWSへのデプロイについて)
  • Machine Learning
  • Machine Learning in the Elastic Stack (新たにElastic Stackに組み込まれた”Machine Learning”の紹介)
  • ユーザ事例
  • Walmart : リアルタイム購買分析事例 (スーパーマーケットチェーン)
  • General Mills : Webサイト検索精度向上事例 (食品加工企業)
  • NERSC : マシンルーム整備データ分析事例 (データ分析企業)
  • UCLA Health : 健康に関するデータ分析事例(ヘルスケア)
  • NVIDIAs : ユーザーエクスペリエンス分析事例(ゲームのストリーミングプラットフォーム)
  • Dell.com : Dell.comの検索機能実装事例 (コンピュータメーカー)
  • Tinder : ユーザマッチングアプリ実装事例 (マッチングアプリ)
  • Terradue : 地球科学での活用事例 (地球科学研究機関)
  • eBay : ECサイト構築事例 (オンラインショッピングサイト)
  • Sprint : ビジネス情報、IT運用管理情報の可視化システム構築事例 (携帯電話事業者)
  • Workday : ECサイト検索事例 (薬局チェーン)
  • Fandango : Elastic Cloud活用事例 (映画関連事業)
  • Walgreens : アプリケーション監視システム構築事例 (薬局チェーン)
  • Merck : 遺伝子データ分析事例 (化学品・医薬品メーカー)
  • Uber : 配車サービスアプリ実装事例 (配車アプリ)
  • MZ Games : オンラインゲームログ分析事例 (オンラインゲーム会社)
  • Barclays : セキュリティ分析事例 (国際金融グループ)
  • Slack : セキュリティ分析事例 (チャットアプリ)
  • (and more..)
  • その他、Elastic製品のノウハウをレクチャーしてくれるセッションも多数行われました。

ロードマップ(Opening Keynote)

Opening Keynoteで発表された、Elastic{ON}-2017の主要トピックを紹介します！

以下の順番で説明していきます。

  1. New Products
  2. 今後リリース予定の機能紹介

1. New Products

今年の春にリリースが予定されている新製品および新機能の発表です。

Filebeat Modules

Filebeatのログファイル設定、Elasticsearchのテンプレート、Kibanaのダッシュボードがモジュール化され、ログデータの収集、分析、可視化までを自動化してくれます。まずはApache、nginx、MySQLなどのサービスがモジュール化されるようです。

デモでは、moduleコマンドによってKibanaで可視化するまでを行ってくれました。基本的なアクセスログ分析に加えて、アクセス元のmap表示も組み込まれていました。コマンドのmodule=xxxの部分を変えるだけで他のサービスに対応可能で、非常に使いやすそうです。

Kibana-Time Series Visual Builder

Kibanaの時系列データの可視化機能を拡張するTime Series Visual Builderです。ヒストグラム、ゲージ、メトリック、トップN等の可視化も可能になります。

非常にリッチな監視ダッシュボードの作成が可能になりそうです。時系列グラフを横断的に観測できるのが、メトリクス監視の観点で嬉しいですね。
特に、Timelionは複雑なクエリを作るのが大変でしたが、Web画面上でプルダウン選択にてグラフを生成するのは非常に簡単そうでした。(Grafanaのグラフ設定よりも簡単そうでした。)

Machine Learning

Elastic StackにPrelert社の教師なし機械学習技法が統合された”Machine Learning”。これにより、生成された予測モデルに基づきデータの異常値や外れ値を自動的に検知することが可能になります。

デモでは、時系列データのサンプルからモデルを生成、異常値の検知が行われました。
Beta版では、機械学習ジョブの結果はジョブ完了後にTimelionでグラフ化する必要がありましたが、今回のデモではグラフ上でデータが読み取られて随時モデルが生成されているのが描写されていたので、非常にイメージがつきやすいですね。

Elastic Cloud Enterprise

Elasitc Cloud EnterpriseはElastic Cloudと同等なオーケストレーション、プロビジョニングをオンプレミス環境で可能とします。
Elastic Stackのクラスターの設定、管理、運用作業を単一のコンソールで行うことができ、もちろん、Elastic StackやX-Packは最新の機能が提供されます。

クラスターの状態(メモリ使用率等)も一目でわかるダッシュボードで、さまざまな設定もダッシュボード上で完結していたため、管理コストが抑えられそうです。

2. 今後リリース予定の機能紹介

リリース時期は未定ですが、今後リリースが予定されている機能も発表されました。

Elasticsearch SQL

SQLのインタフェースでデータの検索が可能になります。
デモでは基本的なクエリを実行してくれました。基本的なFunctionも使用可能で、平均値等の算出もデモしてくれました。

(show tablesとSELECT文を実行)

ODBCでの接続も可能になり、DbVisualizer(接続クライアントソフト)での接続も行っていました。

ElasticsearchにてSQLが標準で使用可能になることで、利用用途の幅も広がりますね。

Kibana Canvas

ボランティアのモチベーションについての円グラフが並ぶプレゼンが始まりました。

実はこれはKibanaの新機能”Kibana Canvas” Kibanaの画面上で、プレゼンテーションが作成できる機能です。

Kibanaの画面からだけでリアルタイムのデータによるプレゼンテーション、インフォグラフィックスの作成が可能になります。十数個のオブジェクトが使用でき、自由に移動・回転ができるので表現力も申し分なさそうです。何より見た目がキレイ!
これがあるとレポート作成のためだけのExcel、PowerPointの作業は必要なくなりますし、今までは考えられなかったリアルタイムに反映されるデータでのプレゼンテーションが可能になりますね。

最後に (セキュリティ用途としてのElastic Stackについて)

ユーザ事例は、やはりサーチの分野の事例が多い中、ログ解析、セキュリティ(異常検知・分析)といった分野の事例も目立ちました。

  • Barclays(国際金融業)、USAA(アメリカ軍関連の金融業)等でのセキュリティ分析の事例もあり、ミッションクリティカルな場面でも利用されています。
  • ArcSightとElastic Stackの連携についてのセッションでは以下のElastic Stackの要素が、SIEM 1としての要件にマッチしていることが述べられていました。
    • 容易にスケールが可能
    • リアルタイムに近い分析が可能なパフォーマンス
    • REST APIによる拡張性
  • また、新たに発表された”Machine Learning”もセキュリティ用途の追い風となりそうです。
    • メトリクスの異常検知から、マルウェアに感染しているかを検査、普段発生しないログメッセージを検知し、インシデントへの対策を行う等の利用が考えられます。
    • (Machine Learning Beta版の検証をしてみましたが、ユーザは異常検知のための閾値、ロジック、パラメータを意識せず、データを読み込ませるのみで容易に実行可能でした。)
  • Demoコーナーでも、機械学習を用いたエンドポイントセキュリティ対策を行っており、Elastic社としても力を入れているのが分かりました。

上記のように、Elastic Stackのセキュリティ分野への応用は今後活発になることが予想されます。弊社としても、Elastic Stackの新機能を用いて新しいソリューションを提案できるように検討中です。

Elastic{ON}-2017のセッション内容を紹介させていただきました。
本記事で、Elastic{ON}参加レポートは完結です。ありがとうございました。

  1. 1.SIEM: さまざまなネットワーク機器やサーバーから、多様かつ膨大なログを収集して一元管理し、それらを基に不正を検知する新しいセキュリティシステムのこと ↩