Scala / Hadoop
Top / Scala / Hadoop目次 †
Hadoopとは †
http://ja.wikipedia.org/wiki/Hadoop
巨大なファイルシステムってことで理解してていいんじゃないかな？
Apache版 Hadoop †
紹介記事 †
http://d.hatena.ne.jp/stanaka/20091125/1259124272
MapReduce?とは †
Map処理, シャッフル, Reduce処理の３つの手順から構成されている.
- 1.Map処理入力データ（キーと値のペア）を受け取り, 任意の形式に変換することで, 必要な情報を
抽出する. 全てのMap処理は並列実行することができる.
- 2.シャッフル
Mapによって作られたデータを整理し, データを任意の順に並べ替える.
- 3.Reduce処理
データをまとめて最終的に手に入れたい結果を作り上げるプロセスで, データ全体についての整理された処理結果を得る.
MapReduce?が有効に働く処理 †
- 検索エンジンの転置インデックス作成
- grep
- ソート
- 平均値と分散計算
- PageRank? 計算
- PageRank? の高いウェブページを検索
- ドキュメント内のリンクの収集
- ログ解析
Last-modified: 2010-06-04 (金) 12:57:02 (5073d)