2. ネットワークサービスアーキテクチャに関する研究

2.1 オーバレイネットワークアーキテクチャに関する研究

2.1.1 オーバーレイネットワーク共生環境

物理網上に構築されたオーバーレイネットワークはそれぞれのアプリケーションレベルのQoSの向上のため，利己的にトラヒック制御，経路制御，トポロジー制御を行う．このような利己的な振る舞いは物理網を介して他のオーバーレイネットワークに影響を与え，それらネットワークの利己的な制御を引き起こすため，結果としてネットワーク全体の性能が劣化する．本研究では，生物の共生メカニズムに着想を得て，オーバーレイネットワークの共生の仕組みを提案している．ノードは自律分散的に振る舞い，オーバーレイネットワークに参加，離脱するとともに，他のネットワークに対して論理リンクを接続，切断する．互いに利する論理リンクは維持されるため，双利関係にあるオーバーレイネットワーク間には多くの論理リンクが設定されるようになり，いずれ一つとなる．このようにしてよりよいオーバーレイネットワークが自己組織的に構築されることとなる．

本研究では，生物の共生の仕組みを説明する数学モデルを適用することにより，ネットワークが共生するための条件について分析した．その結果，単一のネットワークでは存在できないが他のネットワークとの共生によって生存が可能となるパラメータ領域が存在することを示した．

[関連発表論文]

2.1.2 アトラクタ選択モデルにもとづくマルチパス経路制御

オーバーレイネットワークやアドホックネットワークでは，時々刻々と変化する通信状態に応じて送受信ノード間で適切な経路を選択し，通信を行う．オーバーレイネットワークにおいては他のオーバーレイネットワークとの競合，アドホックネットワークでは無線通信環境の変化といった予測できない事象によってネットワークの特性が動的に激しく変動する．このようなネットワークにおいて経路制御の最適化戦略を構築することは困難であるため，自律的で適応的な経路制御が必要となる．

本研究では，環境変化に対する生物システムの適応的な振る舞いをモデル化したアトラクタ選択モデルを応用することにより，自律分散的で通信状態の変化に対する適応性のある経路制御手法を提案している．経路の選択確率は，選択した経路のよさとノイズによって定義される偏微分方程式によって決定される．遅延が小さいなど選択した経路が適切である場合にはノイズの影響は小さいが，不適切な経路が選ばれた場合，あるいは，通信状態の変動によって経路の品質が低下した場合には，ノイズの影響が大きくなり，ランダムによりよい解（経路）を探索することとなる．シミュレーション評価により，提案手法を適用することにより，ノードの状態が変化し続けるアドホックネットワークにおいて，AODVと比較して1.5倍程度の高い配送率をより低いオーバーヘッドで達成できることを示した．

[関連発表論文]

2.1.3 P2Pファイル共有システムにおける進化ゲーム理論を用いたキャッシングアルゴリズム

P2P ファイル共有システムでは，それぞれのノードが所有するファイルを複数のノード間で共有する．複数のノードが同一ファイルをキャッシュし，他のノードに提供することによって，低遅延でファイル可用性の高いファイル共有が期待できる．しかしながら，ファイルのキャッシングには処理負荷，ストレージ資源などのコストが生じる．そのため，ノードが自身の利得だけにもとづき利己的に振る舞うと，十分にファイルがキャッシュされず，特に人気の低いファイルがシステムから消失するなどの問題が発生する可能性がある．

本研究では，ノードの自律的，利己的な振る舞いによってシステム全体で適切なキャッシングが行われる機構の実現を目指す．そのため，利己的な振る舞いのモデルとして進化ゲーム理論を用い，ノードの振る舞いがシステム全体のダイナミクスに与える影響について検証した．進化ゲーム理論では，プレイヤはより多くの利得を得た対戦相手の戦略を模倣することにより，自身の利得の向上を図る．シミュレーションやモデルにもとづく議論の結果，キャッシングに対するコストと需要のモデルによっては，進化ゲーム理論のもとでノードが利己的に振る舞ったとしても，ファイルがシステムから消失することのない，効果的なファイル共有が実現可能であることを示した．

[関連発表論文]

2.1.4 オーバレイルーティングに起因するネットワークただ乗り問題に関する研究（NEC社との共同研究）

オーバーレイネットワークには，エンドホスト間のTCPスループットや遅延時間，IPネットワークレベルあるいはオーバレイネットワークレベルのホップ数などのネットワーク性能を指標として，トラヒック制御を行うものが存在する．また，特定のアプリケーションを前提とせず，トラヒックのルーティングそのものを目的(アプリケーション) とするオーバーレイネットワークも登場しつつある．オーバレイルーティングを行うことによって，通常のIP ルーティングに比べて，利用するユーザにとってのネットワーク性能(スループットや転送遅延時間など) が改善することが明らかとなっている．これは，オーバレイルーティングとIPルーティングではルーティングに用いるポリシーが大きく異なることに起因している．しかし，逆にオーバレイルーティングが，IPルーティングを司るISPに悪影響を及ぼすことが考えられる．これは，主にISP が持つ他ISPとの接続リンクの課金構造が原因で発生する．ISPが上位ISPに対して持つトランジットリンクは，通過するトラヒック量の最大値に応じて通常課金される．一方，ピアリングリンクに関しては，コストは回線そのものの維持コスト(通常ピアリングするISP で折半される) を除いてほとんど発生しない．ISP が行うIP ルーティングはこのコスト構造の違いを考慮して行われており，ピアリングリンクにはピアリング関係にある両ISPを起点・終点とするトラヒックのみが通過する．一方，アプリケーションレベルで行われるオーバレイルーティングはこのようなISPの都合を考慮せず，ネットワーク性能やアプリケーションの要求のみに基いて行われるため，ISPが前提としているコスト構造を無視したトラヒックが発生することが考えられる．

本研究ではこの問題をオーバレイルーティングによるネットワークただ乗り問題と呼び，それがISPにとって無視できない問題であることを指摘した．まず，本研究において対象とするただ乗り問題の定義を行い，ISPにとって深刻な問題となり得ることを指摘した．また，オーバレイルーティングがルート選択の際に用いるパスの性能指標として空き帯域(利用可能帯域)およびノード間ラウンドトリップ時間を考え，それぞれを用いた場合に，他のノードを中継してトラヒックが運ばれる条件およびそのトラヒック量に関する定式化を行った．また，研究用大規模オーバーレイネットワークであるPlanetLabで得られている参加ノード間の計測データを用いて，ネットワーク全体でどの程度のトラヒックがただ乗り経路によって運ばれる可能性があるかを試算し，それが無視できない量であることを指摘した．

さらに本研究では，ネットワークただ乗り問題を評価するための定量的な指標を導入し，オーバレイルーティングを行った際に発生する，ただ乗り問題の大きさに関する評価を行った．その結果，ユーザ性能が向上するようにオーバレイルーティングを行うと，その時用いられるオーバレイパスの65-90%はただ乗りを発生させることが明らかとなった．また，特に利用可能帯域をメトリックとする場合には，ユーザ性能が向上し，かつ，ただ乗り量が減少するようなオーバレイパスを選択できる確率が高くなることを示した．

[関連発表論文]

2.1.5 大規模ネットワーク障害に対応可能なオーバレイルーティング手法に関する研究

地震，風水害，テロなどの大規模災害に対するコンピュータネットワークの対策に関しては未だ体系的に議論されておらず，災害発生時においてもネットワークの十分な信頼性を確保することは難しい．通常，高信頼なネットワークは冗長性に優れた構成を組むことにより実現されるが，インターネットにおけるIPルーティングプロトコルでの転送経路切替方法では短時間での切替は困難である．また，IP層の機能強化を行う場合にも，共通基盤に新しい機能を付加することにより，それに付随する制御が種々派生し，その複雑さによってアーキテクチャの破綻を招く恐れがある．また，これまでのネットワーク制御に関する研究の多くはコストと性能のトレードオフを論じるものであり，非常時などにおける障害は確率的には非常に小さい発生事象にも関わらずコストが大幅に増大するため，これまであまり検討されていない．また，それらの中でもネットワークの高信頼化を実現する研究はあったが，それらのほとんどは単一障害を仮定しており，大規模なネットワーク障害に関する研究はほとんど行われていない．

そこで本研究では，オーバーレイネットワークを用いたトラヒックルーティング技術を用いることで，大規模災害等によってIPネットワークに大きな障害が発生した際に，従来のBGPによるAS間ルーティングでは到達不可能となるAS間通信の大部分を短時間で復旧することが可能となる，オーバレイルーティング手法を提案した．具体的には，オーバレイノードの設置場所，情報交換手法，ASの参加・離脱手法等の検討を行い，小さい通信オーバーヘッドでより多くのASが参加可能となるオーバーレイネットワーク構築手法を提案した．提案手法の有効性は，CAIDAがBGPトラヒックの計測を行い公開しているASネットワークトポロジーを用いて検証し，提案手法がオーバレイノード間の情報交換量を従来手法に比べて1/10-1/1000程度に削減できること，および大規模ネットワーク障害に対して，高いネットワーク接続性を維持し，BGPに比べて短時間で代替経路を発見することができることを示した．

また本研究では，ネットワーク障害からの回復手法のもうひとつのアプローチである，プロアクティブ型の障害回復手法を，オーバーレイネットワークを用いたオーバレイルーティングに適用する手法について検討を行った．検証の結果，提案手法が単一の障害のみに留まらず，複数の障害発生時においてもBGPによるルーティングに比べて高い到達性を実現し，かつ障害発生後の平均経路長が理想的な場合に比べてほとんど増加しないことを明らかにした．本研究ではさらに，オーバレイルーティングを行う際に用いるリンクメトリックに関する情報が不確実な場合に，それが経路制御手法に与える影響を，シミュレーションを用いて調査した．具体的には，3種類のネットワークトポロジーを用いたシミュレーションにより，リンクメトリックが変化したときに最短経路を選ぶことができなくなる制御ミス率を評価し，ネットワークトポロジーやネットワーク規模が与える影響について考察した．また，真のリンクメトリック集合を用いることができない場合においても効率的に経路を選択するために，経路制御に必要となる条件を考察した．その結果，リンクメトリックの変化により最良の経路を選ぶことができない割合が，品質変化発生率およびネットワークの平均ホップ数に影響を受けるということがわかった．また，品質変化発生率が低い場合には，ノード単位でリンクメトリックとして推定値を用いるリンクを選択する方が，制御ミス率が低くなることがわかった．

[関連発表論文]

2.1.6 TCPオーバーレイネットワークに関する研究

我々の研究グループでは，IP層やアプリケーション層において品質制御を行うのではなく，IP層においては従来のルーティングなど必要最低限の機能のみを提供し，品質制御をトランスポート層において行うTCPオーバーレイネットワークに関する研究を行っている．TCPオーバーレイネットワークにおいては，通常エンドホスト間に設定されるTCPコネクションをネットワーク内のノード(TCPプロキシ)で終端し，分割されたコネクションごとにパケットを中継しながら転送を行う．これにより，TCPコネクションのフィードバックループを小さくすることが可能になるため，スループットの向上を期待することができる．また，TCPオーバーレイネットワークを構築することによって，ネットワーク環境の違いを吸収することが可能になるため，要求されるサービス品質に応じた制御を行うことが可能になる．

そこで本研究では，TCPオーバーレイネットワークにおける基本技術であるコネクション分割に着目し，コネクション分割を行うことによりエンドホスト間のデータ転送速度が向上すること，および，プロキシノードにおけるパケット処理のオーバーヘッドが原因になり，期待するほどのスループットが得られないことを明らかにした．また，これらの影響を考慮したエンドホスト間のスループット解析を示し，その妥当性をシミュレーションとの比較により検証した．その結果，スループット劣化はTCPプロキシの前後のコネクションが通過するネットワーク環境に差が少ない場合に大きくなり，最大で約60%性能が低下することがわかった．また，そのスループット劣化を防止するためには，従来TCPコネクションに必要とされる量の3倍から10倍の送信バッファが必要であることが明らかとなった．

また，NECとの共同研究により，東京―大阪間の公衆インターネット回線を用いた，TCPプロキシ機構の実証実験を行った．その結果，TCPプロキシ機構が実ネットワークにおいても有効であり，エンド端末のプロトコルやパラメータ設定を変更することなく従来手法に比べて高いデータ転送スループットを獲得できることを明らかにした．また，TCPプロキシ間のTCPコネクションに高速TCPを用いることで，さらに高いスループットが得られることがわかった．

[関連発表論文]

2.2 λコンピューティング環境の構築に関する研究

近年，ネットワーク接続された複数の計算機を用いて大規模な科学技術計算を行うグリッド計算に関する研究開発が盛んに行われている．グリッド計算環境で分散計算を実行する場合，現状ではノード計算機間の通信にはTCP/IPが用いられているが，TCP/IPを用いたパケットを単位としたデータ交換では，パケット損失やパケット処理に要するオーバーヘッドの影響が大きく，大規模計算で必要な大量データの共有や交換を行うには十分な性能を得ることは困難である．そこで各ノード計算機に光ファイバを直結し，さらに近年研究開発が活発に行われているWDM (Wavelength Division Multiplexing)技術を適用して波長パスをノード計算機間の高速な通信チャネルとして活用するλコンピューティング環境を提案している．すなわち，波長パスを利用することにより，ユーザに対して高速かつ高信頼な通信パイプを提供することが可能になり，さらに，波長パスを用いて，例えば仮想的にノード計算機をリング状に接続することによって，分散計算を行うノード計算機間でのデータ交換，共有ができるようになる．現在，λコンピューティング環境の実現形態として，WDM技術に基づくフォトニックネットワークを用いてグリッド計算環境を構築している．

2.2.1 λコンピューティング環境におけるOpenMPライブラリの実装と評価

本研究では，λコンピューティング環境を実現するひとつの形態としてWDM技術に基づくAWG-STARシステムを用いることとし，共有メモリを用いた並列計算プログラミングAPIであるOpenMP の設計と実装を行っている．我々は既存のOpenMPコンパイラであるOMPiに基づき，OMPiおよびそのランタイムライブラリをAWG-STARシステム上で並列計算を可能とするように修正することによりAWG-STARシステム向けコンパイラを作成している．具体的には，AWG-STARシステムの共有メモリを用いて計算データを共有するようにコンパイラを修正し，AWG-STARシステムで接続された複数のノード計算機を用いて並列処理を行うようにランタイムライブラリを修正している．さらに，並列計算を行う際に必要となるライブラリの同期プリミティブおよびデータ共有機構を設計し，AWG-STARシステム上で実装している．

また，我々の計算環境の性能をベンチマークアプリケーション，ならびにOpenMPアプリケーションを実行させることによって評価している．しかしながら，現在のAWG-STARシステムでは既存の計算環境と同等の性能は達成できなかった．これは，共有メモリのアクセス速度が十分でなくボトルネックとなり，計算性能を低下させているためである．

現在のAWG-STARシステムではローカルメモリに比べて低速なPCIバスを介して共有メモリにアクセスしなければならない．そのため，現在，NTTフォトニクス研究所では共有メモリアクセス速度を改善した次期AWG-STARシステムを開発中であり，この次期システムでの性能改善の効果について見積もりを行った．その結果，次期AWG-STARシステムでの改善は計算性能の改善に非常に効果のあることが分かった．さらに，次期システムための同期プリミティブと，共有メモリの仮想化も同時に提案した．

[関連発表論文]

2.2.2 光リングネットワークにおけるλコンピューティング環境に適した共有メモリアーキテクチャの評価

λコンピューティング環境における共有メモリアーキテクチャでは，従来のマルチプロセッサシステムとは異なり計算機が広域に展開しているため，ネットワーク特性がその性能に大きな影響を与える．以前の研究において，λコンピューティング環境における共有メモリアーキテクチャのモデル化を行い，ネットワークやキャッシュ一貫性制御のための処理がシステムの性能にどのような影響をあたえるかを解明し，どのような共有メモリアーキテクチャが，λコンピューティング環境に適しているかについて報告されている．この報告において対象とされたネットワークモデルは単一波長のリングモデルとフルメッシュモデルである．単一波長モデルにおいては，各ノード計算機での処理時間等の影響が大きくなり，フルメッシュモデルではハードウェアの制約上，実現が難しいと考えられる．

そこで，本報告では，λコンピューティング環境において波長数やハードウェアの制約を考慮した実現可能なリングネットワークにおける共有メモリアーキテクチャを提案し，その性能を評価する．具体的には，リングネットワークにおいて複数波長を用いてデータ転送やキャッシュ一貫性制御を行う方式の設計を行い，制御にかかる遅延時間を求め，セミ・マルコフ過程を用いて解析を行った．その結果，共有メモリアクセス頻度が大きい場合など，大きな性能向上が得られるパラメータ領域が存在することが明らかになった．

[関連発表論文]