ストリーム処理関連研究

○ベイジアンネットワークを用いた確率的データストリームモデルの提案
実世界の確率を踏まえたデータストリームを処理する基盤システムの提案の論文で、今のM1の研究。
貢献は
1、ベイジアンネットワークを関係データベースに取り込み、イベント生起確率を確率的関係データに変換するモデルの提案
2、ベイジアンネットワークに時間の概念を導入
3、ベイジアンネットワーク内での検索処理の高速化
全体のシステムの実装はまだのようだが、確率データストリームの処理はおもしろそうだ。ただ、その確率がどこからやってくるかが問題となる。その点は論文中では述べられていない。
今後は実装や確率をどうやって与えるかが問題となるのかな?

○ダイナミックタイムワーピング距離を用いたセンサストリーム処理システムの設計と実装
あらかじめ保存しておいたデータストリーム(この論文中ではテンプレートと呼んでいる)と新しく到着したデータストリームとの類似度をMPIで高速に並列計算して類似度を算出した。
応用例としては人の腰に加速度センサを取りつけて、静止中、歩行中、乗車中などの状況を高速に判断できる。類似度計算としてはダイナミックワーピング距離(DTW)を用いている。DTWは時系列の伸縮に頑強で汎用性の高い認識手法のこと。

○ユビキタス情報アクセス環境におけるプラットフォーム
ストリームに対する処理をストリーム処理エンジンのような新しいモデルではなく、従来のDBMSのモデルでトリガを使ってSQLでストリームに対する処理を行う枠組みを提案。ストリーム処理エンジンとの比較等の実験は行われていなかった。

○大規模データストリームのためのマイニング技術の動向
サーベイ論文。データストリームに対する基盤技術の紹介ではなく、その処理の技術に関するサーベイ。
例えば、簡単な統計計算を限られた資源で計算する方法や、結合規則、決定器、クラスタリングなどの機械学習やデータマイニングなどである。この中で、データストリームを対象としたアルゴリズムの目標は
・非常に少ない計算資源を用いて、
・長期間安定して動作し
・利用者の要求に即応して、
・近似的な解を出す
ような特徴を持つ。
研究室の他のメンバにも関係した研究かなと思った。

○Providing Resiliency to Load Variations in Distributed Stream Procesing
を一通り読んだ。詳しいアルゴリズム等の中身は追っていないが全体像は掴んだ。目的は分散ストリーム処理環境において、演算の初期配置を最適にして、処理が動作している中で負荷が大きくなることで一部の処理が出来なくなることを避けることを目的としている。多くの研究では演算の再配置に焦点を当てているが、演算の再配置が出来ないストリーム処理エンジンもあるし(StreamSpinnerもできない)演算移動のコストは大きいという面もある。そこで、各マシンで十分目的の処理ができるかをあらかじめ判断して急な処理の負荷にも耐えられるように考慮している。その判断をするのにヒューリスティックアルゴリズムや別のROD(the Resilient Operator Distribution)のアルゴリズムを利用している。詳細はまだ詰めていない。
ゼミや講演 | - | -
calendar
recommend
データベースシステム (情報系教科書シリーズ)

データベースシステム (情報系教科書シリーズ) | 北川 博之

一番のお勧めです!数学の面から詳しくデータベースに関して説明をしてくれています。データベースは理論が大事ですので、難しいですが、学習の大きな手助けとなります。

recommend
トランザクション処理〈上〉―概念と技法

トランザクション処理〈上〉―概念と技法 | ジム グレイ
アンドレアス ロイター

ジムグレイが書いた上下巻の厚い本。トランザクションについて細かすぎるほどに書いてある。きちんと読めていないので、ちゃんと読みます

recommend
珠玉のプログラミング―本質を見抜いたアルゴリズムとデータ構造

珠玉のプログラミング―本質を見抜いたアルゴリズムとデータ構造 | ジョン ベントリー

プログラミング言語に捉われず、アルゴリズムの面から丁寧に説明してくれている。面白く読める本

recommend
リファクタリング―プログラムの体質改善テクニック (Object Technology Series)

リファクタリング―プログラムの体質改善テクニック (Object Technology Series) | マーチン ファウラー
Martin Fowler
児玉 公信
平澤 章
友野 晶夫
梅沢 真史

プログラミング作法の一つのリファクタリングの本。前半よりも後半がためになった。リファクタリングの本では結城さんの入門書も良かった

recommend
内定勝者 私たちはこう言った! こう書いた! 合格実例集&セオリー2009 面接編

内定勝者 私たちはこう言った! こう書いた! 合格実例集&セオリー2009 面接編 | キャリアデザインプロジェクト

就職活動する前には必見の本。面接官への伝え方がかなりレベルアップする。就活生にはお勧め

selected entries
categories
archives
recent comments
profile
others