2008.05.03 Saturday 02:15
打ち合わせ2
○今回までにしたこと
・Network-Aware Operator Placement for Stream-Processing Systems論文読み
・利用者１で情報源が移り変わる分散環境のモデル考察
・商用SPEの調査とSPEのこれまで
・IBMのSystem Sの論文流し読み
○今回の打ち合わせ内容
１、各ノードが自律的に最適化(SBON)＜中央で最適化判断で伝達(ORINOCO)
２、中央最適化に三つの判断材料
３、ネットワーク使用量最小化の前に、一つステップ踏む
４、複数クエリのmultiple queries optimizationは一時保留？
1,2 利用者一人でも実は結構複雑になることを念頭に置く必要あり。これは、クエリが複雑化した時の、演算配置や、情報源が複数選ばれたときの対処などである。利用者が複数になった時でも、中央最適化器は同じ扱いが出来なくてはいけない。分散での最適化器のイメージは下図
a、利用者の問合せは解析して、処理木を求める。
b、最適化器により、利用者の興味ストリームデータ、データレート、遅延から判断してネットワーク使用量を最小化する演算配置を考える。問合せの興味部分は複雑化することもあり（DBコネクト、ジョインなど）
c,処理結果は最適化からの配信か利用者アプリを固定してそこに渡すかの二択
3.Network-Aware Operatorの論文のネットワーク使用量を最小にする手法の前に1Step必要となる
これは、上記式のLがあらかじめ決まらないからだ。(Lはリンク集合）そのために
STEP1,利用者の興味ストリーム+遅延+入力レートを基に演算配置を最適化器が決定する
STEP2,上記で決定した配置からLが決まる。そしたら、上記式を適応
4.今までは利用者一人の場合。図のような怖そうな利用者の要求は一台ノードで大丈夫だが、多人数になると単独マシンでは処理の限界があるので、クレームが怖そう。。。
なので、処理結果の遅延や動作不備を起こさないように分散を考えている。情報源が動的に変動するという新しいモデルなので、まずは簡単に利用者を一人と想定した。次は利用者複数を考える。
ここで、Mulitple queries optimizationで、処理を共有する方法も考えられるが、従来とやはり違うのが情報源の変化。今回はここまで考えると大変そうなので、ストリームデータ共有でネットワーク使用量共有モデルにとどめることになった。もちろん、できそうなら処理の共有も考えたい。
○おまけ
・SUN SPOT
現在、M1の人が取り組んでいるようだ。StreamSpinnerを起動させるようにチャレンジしてる模様。携帯電話くらいの大きさ。これにStreamSpinnerが動作することができると、情報源が動的のみならず、ストリーム処理エンジンも動的に動くことになり、またモデルが変わることになる。これは、自分の守備範囲外だけど。彼も外部の大学から来ている。色々苦労する（確実に）と思うが、努力が大事だとアドバイス。。。
・シュミレータの改良？
不吉な話を御教授された。前の映像配信シュミレータは現実とシュミレータの世界を繋いだものであり、他の人に見せた時に説得力がないとのお話。確かに、目的は提案した動的選択演算の評価実験だった。そこで、シュミレータ世界の移動映像を流すようにして、シュミレータ世界のやり取りをするようにとのお話。セカンドライフみたいな感じ。実験するにしても説得力ある環境が整って、初めて研究が充実するとのお話。「やってみたら」的流れだったので、「分散してます」で交わしといた。。。
・OS輪講
気づいたら提案者兼取りまとめ役になってた（操り人形ですが）。最初の発表者だから、準備をしなければいけない。CSセミナーと重なる予感
○次の打ち合わせまでにすること
１、利用者一人、多数の最適化モデルの具体化（タスクコスト等に関して、今回は考えない）。
２、コストを考えた配置のために、Providing resiliency to load variations in distributed stream processing読む
もしくはBorealisの演算配置の最適化のDynamic Load Distribution in the Borealis Stream Processor を読む。（ただ、一週間では無理だろうな）
・Network-Aware Operator Placement for Stream-Processing Systems論文読み
・利用者１で情報源が移り変わる分散環境のモデル考察
・商用SPEの調査とSPEのこれまで
・IBMのSystem Sの論文流し読み
○今回の打ち合わせ内容
１、各ノードが自律的に最適化(SBON)＜中央で最適化判断で伝達(ORINOCO)
２、中央最適化に三つの判断材料
３、ネットワーク使用量最小化の前に、一つステップ踏む
４、複数クエリのmultiple queries optimizationは一時保留？
1,2 利用者一人でも実は結構複雑になることを念頭に置く必要あり。これは、クエリが複雑化した時の、演算配置や、情報源が複数選ばれたときの対処などである。利用者が複数になった時でも、中央最適化器は同じ扱いが出来なくてはいけない。分散での最適化器のイメージは下図
a、利用者の問合せは解析して、処理木を求める。
b、最適化器により、利用者の興味ストリームデータ、データレート、遅延から判断してネットワーク使用量を最小化する演算配置を考える。問合せの興味部分は複雑化することもあり（DBコネクト、ジョインなど）
c,処理結果は最適化からの配信か利用者アプリを固定してそこに渡すかの二択
3.Network-Aware Operatorの論文のネットワーク使用量を最小にする手法の前に1Step必要となる
これは、上記式のLがあらかじめ決まらないからだ。(Lはリンク集合）そのために
STEP1,利用者の興味ストリーム+遅延+入力レートを基に演算配置を最適化器が決定する
STEP2,上記で決定した配置からLが決まる。そしたら、上記式を適応
4.今までは利用者一人の場合。図のような怖そうな利用者の要求は一台ノードで大丈夫だが、多人数になると単独マシンでは処理の限界があるので、クレームが怖そう。。。
なので、処理結果の遅延や動作不備を起こさないように分散を考えている。情報源が動的に変動するという新しいモデルなので、まずは簡単に利用者を一人と想定した。次は利用者複数を考える。
ここで、Mulitple queries optimizationで、処理を共有する方法も考えられるが、従来とやはり違うのが情報源の変化。今回はここまで考えると大変そうなので、ストリームデータ共有でネットワーク使用量共有モデルにとどめることになった。もちろん、できそうなら処理の共有も考えたい。
○おまけ
・SUN SPOT
現在、M1の人が取り組んでいるようだ。StreamSpinnerを起動させるようにチャレンジしてる模様。携帯電話くらいの大きさ。これにStreamSpinnerが動作することができると、情報源が動的のみならず、ストリーム処理エンジンも動的に動くことになり、またモデルが変わることになる。これは、自分の守備範囲外だけど。彼も外部の大学から来ている。色々苦労する（確実に）と思うが、努力が大事だとアドバイス。。。
・シュミレータの改良？
不吉な話を御教授された。前の映像配信シュミレータは現実とシュミレータの世界を繋いだものであり、他の人に見せた時に説得力がないとのお話。確かに、目的は提案した動的選択演算の評価実験だった。そこで、シュミレータ世界の移動映像を流すようにして、シュミレータ世界のやり取りをするようにとのお話。セカンドライフみたいな感じ。実験するにしても説得力ある環境が整って、初めて研究が充実するとのお話。「やってみたら」的流れだったので、「分散してます」で交わしといた。。。
・OS輪講
気づいたら提案者兼取りまとめ役になってた（操り人形ですが）。最初の発表者だから、準備をしなければいけない。CSセミナーと重なる予感
○次の打ち合わせまでにすること
１、利用者一人、多数の最適化モデルの具体化（タスクコスト等に関して、今回は考えない）。
２、コストを考えた配置のために、Providing resiliency to load variations in distributed stream processing読む
もしくはBorealisの演算配置の最適化のDynamic Load Distribution in the Borealis Stream Processor を読む。（ただ、一週間では無理だろうな）
研究 | - | -
