Scala / Hadoop
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
[[SCALAの記事一覧]]
&topicpath;
*目次 [#j9faa2ce]
#contents
*Hadoopとは [#e2e53ff9]
http://ja.wikipedia.org/wiki/Hadoop
巨大なファイルシステムってことで理解してていいんじゃない...
**Apache版 Hadoop [#j2cf3cf0]
http://hadoop.apache.org/
*紹介記事 [#sc40bb52]
http://d.hatena.ne.jp/stanaka/20091125/1259124272
*MapReduceとは [#p11948c5]
Map処理, シャッフル, Reduce処理の3つの手順から構成されて...
-1.Map処理入力データ(キーと値のペア)を受け取り, 任意の...
抽出する. 全てのMap処理は並列実行することができる.
-2.シャッフル
Mapによって作られたデータを整理し, データを任意の順に並べ...
-3.Reduce処理
データをまとめて最終的に手に入れたい結果を作り上げるプロ...
**MapReduceが有効に働く処理 [#l40c4084]
-検索エンジンの転置インデックス作成
-grep
-ソート
-平均値と分散計算
-PageRank 計算
-PageRank の高いウェブページを検索
-ドキュメント内のリンクの収集
-ログ解析
終了行:
[[SCALAの記事一覧]]
&topicpath;
*目次 [#j9faa2ce]
#contents
*Hadoopとは [#e2e53ff9]
http://ja.wikipedia.org/wiki/Hadoop
巨大なファイルシステムってことで理解してていいんじゃない...
**Apache版 Hadoop [#j2cf3cf0]
http://hadoop.apache.org/
*紹介記事 [#sc40bb52]
http://d.hatena.ne.jp/stanaka/20091125/1259124272
*MapReduceとは [#p11948c5]
Map処理, シャッフル, Reduce処理の3つの手順から構成されて...
-1.Map処理入力データ(キーと値のペア)を受け取り, 任意の...
抽出する. 全てのMap処理は並列実行することができる.
-2.シャッフル
Mapによって作られたデータを整理し, データを任意の順に並べ...
-3.Reduce処理
データをまとめて最終的に手に入れたい結果を作り上げるプロ...
**MapReduceが有効に働く処理 [#l40c4084]
-検索エンジンの転置インデックス作成
-grep
-ソート
-平均値と分散計算
-PageRank 計算
-PageRank の高いウェブページを検索
-ドキュメント内のリンクの収集
-ログ解析
ページ名: