2008.04.26 Saturday 22:36
ストリーム処理基盤
○モデル
従来のDBMSではデータの書き込み、牽引、問合せ、計算処理、結果の出力の流れとなっており、短い期間に数千のデータイベントを受信する場合ではこのデータベース駆動型アーキテクチャではデータストリームに対応が出来ない。
In-MemoryDBでも同じ。In-Memoryでは書き込みコストはなくなるが、インバウンドイベントの牽引、問合せ、トランザクションの完全性優位などにより、データストリーム対応は困難。
そこで、イベント駆動型アーキテクチャのストリーム処理エンジンが登場。
データ到着すると、即座に問合せ、計算処理を行い結果を出力し、データベースへの書き込みは必要なものだけをデータ処理と並行もしくは結果出力後行われる。これにより、real-time処理が出来る。
このモデル（アーキテクチャ）のために、スケジューラ、プロファイラ、オプティマイザ、エグゼキュータ、ロードシェダー、メモリマネージャなど多くの機能がある。この詳細はこのサイトの技術レポートが詳しい。
○応用分野
・金融業界
世界最先端のアルゴリズム・トレーディング、リスク管理、コンプライアンス・システムの基盤として
機能できることを実証している。イベントの監視、分析、イベントに合わせた最適なアクションによりトレードの好機を逃さない
・通信業界
ネットワークを送信されるデータの監視、分析、アクション。これにより、プロバイダはブロードバンド、IPネットワークなどでQoS(Quality of Servic3)を保障できる。また、スパム検知可
・公益事業
電力等の集中管理ではなく、小型発電機器にセンサを付けて、リアルタイムに電力供給状況を監視。参考
・軍事偵察
有人偵察機や無人偵察機から衛星データを収集し、離れた地域の最新状況を地上部隊に通知
・ユーザの行動分析
HTTパケットやWebサーバログをモニターすることで、Webアプリユーザのリアルタイム行動分析および統計処理を行い、必要な情報を瞬時に提示できる
・テレコミュニケーション
車搭載のGPSや携帯電話から位置情報、速度情報を得て、交通渋滞等を通知。ドライブが快適になるとともに、省エネルギー、環境負荷軽減できる。
また、ワイパにセンサを付けることで、気象状況を把握できる。
・RFIDに対応するサプライチェーン、製造業、小売業、工場などの物流管理（商品の出荷、倉庫、品出し）
・倉庫の保守・保全。機器の故障検知や交換時期通知
肉を保存する冷蔵倉庫のコンプレッサーに圧力センサを取り付け、圧力情報をリアルタイムに収集することで、倉庫の保守・保全に役立てる。
・ユビキタス・コミュニケーション
異種情報源統合利用の性質を利用したWebアプリとSIPアプリそして音声認識、音声合成による応用。
exp. 顧客対応部門にかかってきたユーザからの電話に対して、異なる部署に電話をつなぐ際に、適切な担当者を社内のWebアプリ上で探し、通話を受け渡すとともに、顧客の情報や既に受けている相談内容をブラウザ画面に表示させる。他にも病院内の患者に位置タグ付けておいて、音声で患者の場所を尋ねることなどのサービスが想定される（by NEC)
○製品＆企業の研究
・NEC WebOTX
・NEC データストリーム処理基盤@サービスプラットフォーム研
・日立 uCosminexus Stream Data Platform 2008/10月リリース
・Sonic Software "Apama"
・GemStore "GemFire"
・Oracle "Oracle EDA Suite"
・CORAL8 (STREAMの影響大）
・StreamBase(Auroraから）
・TRUVISO （TelegraphCQから。Amalgamated Insightから名前変更）
・IBM "IBM Stream S"
・Esper
○今後
複合イベント処理(CEP)に向くような言語拡張や最適化、また現在は第三世代エンジンと言われ、専門特化エンジン化してきており、その流れを汲むのか？
従来のDBMSではデータの書き込み、牽引、問合せ、計算処理、結果の出力の流れとなっており、短い期間に数千のデータイベントを受信する場合ではこのデータベース駆動型アーキテクチャではデータストリームに対応が出来ない。
In-MemoryDBでも同じ。In-Memoryでは書き込みコストはなくなるが、インバウンドイベントの牽引、問合せ、トランザクションの完全性優位などにより、データストリーム対応は困難。
そこで、イベント駆動型アーキテクチャのストリーム処理エンジンが登場。
データ到着すると、即座に問合せ、計算処理を行い結果を出力し、データベースへの書き込みは必要なものだけをデータ処理と並行もしくは結果出力後行われる。これにより、real-time処理が出来る。
このモデル（アーキテクチャ）のために、スケジューラ、プロファイラ、オプティマイザ、エグゼキュータ、ロードシェダー、メモリマネージャなど多くの機能がある。この詳細はこのサイトの技術レポートが詳しい。
○応用分野
・金融業界
世界最先端のアルゴリズム・トレーディング、リスク管理、コンプライアンス・システムの基盤として
機能できることを実証している。イベントの監視、分析、イベントに合わせた最適なアクションによりトレードの好機を逃さない
・通信業界
ネットワークを送信されるデータの監視、分析、アクション。これにより、プロバイダはブロードバンド、IPネットワークなどでQoS(Quality of Servic3)を保障できる。また、スパム検知可
・公益事業
電力等の集中管理ではなく、小型発電機器にセンサを付けて、リアルタイムに電力供給状況を監視。参考
・軍事偵察
有人偵察機や無人偵察機から衛星データを収集し、離れた地域の最新状況を地上部隊に通知
・ユーザの行動分析
HTTパケットやWebサーバログをモニターすることで、Webアプリユーザのリアルタイム行動分析および統計処理を行い、必要な情報を瞬時に提示できる
・テレコミュニケーション
車搭載のGPSや携帯電話から位置情報、速度情報を得て、交通渋滞等を通知。ドライブが快適になるとともに、省エネルギー、環境負荷軽減できる。
また、ワイパにセンサを付けることで、気象状況を把握できる。
・RFIDに対応するサプライチェーン、製造業、小売業、工場などの物流管理（商品の出荷、倉庫、品出し）
・倉庫の保守・保全。機器の故障検知や交換時期通知
肉を保存する冷蔵倉庫のコンプレッサーに圧力センサを取り付け、圧力情報をリアルタイムに収集することで、倉庫の保守・保全に役立てる。
・ユビキタス・コミュニケーション
異種情報源統合利用の性質を利用したWebアプリとSIPアプリそして音声認識、音声合成による応用。
exp. 顧客対応部門にかかってきたユーザからの電話に対して、異なる部署に電話をつなぐ際に、適切な担当者を社内のWebアプリ上で探し、通話を受け渡すとともに、顧客の情報や既に受けている相談内容をブラウザ画面に表示させる。他にも病院内の患者に位置タグ付けておいて、音声で患者の場所を尋ねることなどのサービスが想定される（by NEC)
○製品＆企業の研究
・NEC WebOTX
・NEC データストリーム処理基盤@サービスプラットフォーム研
・日立 uCosminexus Stream Data Platform 2008/10月リリース
・Sonic Software "Apama"
・GemStore "GemFire"
・Oracle "Oracle EDA Suite"
・CORAL8 (STREAMの影響大）
・StreamBase(Auroraから）
・TRUVISO （TelegraphCQから。Amalgamated Insightから名前変更）
・IBM "IBM Stream S"
・Esper
○今後
複合イベント処理(CEP)に向くような言語拡張や最適化、また現在は第三世代エンジンと言われ、専門特化エンジン化してきており、その流れを汲むのか？
研究 | - | -
