spark
の編集
Top
/ spark
[
トップ
] [
編集
|
差分
|
バックアップ
|
添付
|
リロード
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
-- 雛形とするページ --
10の質問
ABC予想
AI
AI API
AI プロンプト
AIでつかわれているtransformerのまとめ
AIの話題
ANTLR
ANTLR v3 FAQ よくある質問
ANTLR 独学
ANTLR4 独学
ANTLRでOracleのDDLを解析してみる
ANTLRチュートリアル
AOP
API
ARMマイコン基盤
ATOM SHELL理論
Access VBAメモ
Access-Control-Allow-Origin
AndroidとTensorflow
Android開発
Android開発 入門
AngularJS
Anko
Apache Bench
ArchUnitを学ぶ
Axiosとは
Axis2
BI Publisherで始めるデータ駆動型レポート作成
BPMNの勉強
BackTrack4
Blog from iPhone
Bootstrapとは
BracketName
C3 AI Applications
C3 AI エクスマキナ
CSS備忘録
CentOS
ChatGPTの話題
Chevrotainのパーサメソッド
Chevrotain一覧
Chromeエクステンション
Cocoa Touch Static Library
CoffeeScript
Confluent Control Centerやってみる
C言語でオブジェクト志向な記述方法
DDD ドメイン駆動設計
DDL生成ツール
DJUnit
DMM.comのAPIとか
DOSコマンドメモ
Dashcode
DeepFloyd IF
Dockerが動かない場合の対処
ES2015
Eclipse Monkey
Eclipse Plugin
Eclipseの色設定
Eclipse使いがXCode使い初めて知りたいこと
ElasticMQメモ
Elixir
Emmet
Erlangメモ
ExcelファイルをAIに読ませる
Exceptionを見やすく
Expression Tree
FLEX
FLEX リフレクション
Fisheye
FlashやJavascriptを使った演出
FormattingRules
FrontPage
GAE
GAE Data Store API
GENERAL SQL PARSER JAVA を試してみる
GLOBAL
GPT4ALL
GQL
GUIからMacPortsを管理するアプリケーション - Porticus
Generative Adversarial Networks
Gin JavaScriptで構文解析
Git Blame
GitHubアクションを使ったトロイの木馬のまとめ
GitLab
GitLabRunnerを増やす
GitLabでPlantUML使ってみる
GitLabでプロジェクト管理する
GitLabの機能をそのまま使って認証システム作ったらどこまでできる?
GitLabサーバインストールとメンテ注意事項
GitとAntとSpringとJUnit
Google Cloud Platform
Googleの裏技
Google認定プロジェクトマネージャの勉強メモ
Grails
GraphQL
HTM 階層型時間メモリ
HTML スクレイピング
HTML パース
HTML5
HTML5 Canvas
Hadoop
Help
If Then Maybe プログラミング
Inkscape script
InterWiki
InterWikiName
InterWikiSandBox
JAVAの記事一覧
JBoss
JDBC テーブル一覧を得る
JDBC カラム一覧を得る
JDT eclipse
JGRIB
JHIPSTER JDL
JHIPSTER OpenAPI
JHIPSTER エンティティをフィルタリングする
JHIPSTER6.1.2
JHIPSTERでスマホサイト
JHIPSTERのBLUEPRINTを作る
JHIPSTER一覧
JHipster
JHipster API FirstDepelop
JHipster エンティティを更新する
JHipster7をつかってみる
JHipsterでBuleprintを使いこなす
JHipsterのコード生成を改造
JHipsterのプロジェクトをGitLabでCI/CDする
JHipsterのプロジェクトをデプロイする
JMeter
JOOQとは
JSFとStruts
JSqlParser
Java Closure
Java Compiler API
Java Function
Java SQL Parserを調査する
Java Spring AOP
Java Spriteを設計してみる
Java オブジェクトのダンプ
Java ドラックできる曲線
Java 備忘録
Java 文字化け
Java11以降のJRE
Java7サンプルコード
JavaFx
JavaScriptでパーサを作る Chevrotain
Javaasist 動的にクラスを編集
Javascript グラフィックライブラリ
Javascript コーディングパターン
Javascript界隈
Javassist
JavaでSVG
Javaで関数型で引数をとる
JavaのジェネリクスTip
Javaのラムダ式
Javaの有名なライブラリ紹介
Javaは、IDEのテンプレートを使いこなせばいいよ
Javaプログラマ向けモナド
Javaメモリリーク
Jenkins
Jenkins(Hudson)メモ
Jestとは
Jhipsterマイグレーション
Json Yaml Xml Hash Scala
Kafka REST Proxy さわってみる
Kotolin
LDAPサーバをdockerで立ち上げる
Linux メモ
LiquiBaseとは
Lombok
MDBをコンパクトにするVBA
MT4
MT5 EA
MYSQL
MacTool
Macにしゃべらせる
Mac用のメモ
Mattermostを使ってオンプレミスでチャット環境を作る
Maven
Mementoパターン
MenuBar
NILScript
NetBeanでプロファイル
Network Service Desk Engineer
Node-RED
Node-Red
NumPy
OQL オブジェクト問い合わせ言語
OSコマンドインジェクション
ObjctiveC サウンド
ObjectMapperの備忘録
ObjectiveC NSString
ObjectiveC サーバ
ObjectiveC ターミナル用コマンドを作る
ObjectiveC バックグラウンド
ObjectiveC ワーニング
Oculusアプリの開発
OpenFeint
OpenOffice
OpenResty
Outlook VBA
PHP
POSTGRESQL
Pandas Python Data Analysis Library
PdfBox Java用PDFライブラリ
Plagger
PukiWiki
PukiWiki/1.4
PukiWiki/1.4/Manual
PukiWiki/1.4/Manual/Plugin
PukiWiki/1.4/Manual/Plugin/A-D
PukiWiki/1.4/Manual/Plugin/E-G
PukiWiki/1.4/Manual/Plugin/H-K
PukiWiki/1.4/Manual/Plugin/L-N
PukiWiki/1.4/Manual/Plugin/O-R
PukiWiki/1.4/Manual/Plugin/S-U
PukiWiki/1.4/Manual/Plugin/V-Z
PyHipster
QuartzCore
RAD
REST
RWKV
Rails3
Railsと差分開発についての考察
React.js
React.js モーダル画面
RecentDeleted
RedmineLE
Redshift
Relumeでサイトの骨格を作る
Require.js
Rubycocoa
RubyでScalaをコンパイルするツールをつくる
Rubyアソシエーション認定証
Ruby入門
SCALA REPL
SCALA support tool
SCALAの記事一覧
SELinux
SEO
SEO Yahoo対策
SEO対策一覧
SPAM対策
SQLite
SSH
SVNをJavaで操作
SakuraZencoding
SandBox
Scala / Hadoop
Scala Process exec
Scala 遅延評価
Scala/LiftでSlim3
ScalaSigParser
ScalaWithExcel
Scala チュートリアル
Scalaで3D
ScalaでLisp
ScalaとGroovyのPOJO比較
ScalaのIDEについて
Scala言語を学ぶやさしいツール「Kojo」
Slack API やってみる
SocketAppender
Spring
Spring bootでのテストのTIPS
SpringBootのSTSの新規プロジェクトでるエラーの対応
SpringSecurity SAML
Sqlite
Squirrel
StringTemplate
Stringクラス拡張
TALEND
ThreadLocal
Todo一覧
Trac Lightning
Twitter
UltraEdit
Unityでシューティングゲーム作る際のメモ
VBAのコード
VBAをOpenOffice.org Basicにする
VBAをOpenOffice.org+Basicにする
VPN構築の勉強メモ
VPSやIaaSメモ
VSCodeでRuby開発
VSCodeメモ
VSCode用ChatGptのPlugin
VSCode設定
VirtualBox On Mac
Visual Studio Code プラグイン開発
Vuexとは
WBS管理の弊害
WIN32API
WSDL
Watson
WebDesign探訪
WebLogic フィルタ
WikiEngines
WikiName
WikiWikiWeb
Windows10のPowerShell でキーボードの言語切り替え
WindowsTool
Worker Thread パターン
XBee
XDOCLET
XForms
XPath
XSL
YahooPIPES
Yahooインフォセンター
Yet Another Pragger
YouTuber
YukiWiki
anacondaをcygwinで使う
ansible
antlr snippet
antlr 再入門
antlrと日本語
autoit
automator
bluemix
bootstrap2
bower
ccze Colorize log files on CentOS and Ubuntu using ccze tool
centos7
cglibを使って動的コード生成
cocos2d
cygwin
diff
dockerのローカルイメージをDocker-in-Dockerで参照する
eclipse設定
emacs 備忘録
emacs 文字列置換
emacsをviライクにする
excel tips
expectで自動化
figmaにプラグインをインストールする
ftp自動化
gemini
generator-jhipster-gql
git diffを使った構成管理の省力化
goをやってみる
grizzly
gulp
homebrew
iPhone Bluetoothプログラミング
iPhone iAd
iPhone 実機テスト手続き
iPhoneでグラフィックのHellowWorld
iPhoneとGmailメール
iPhoneに実機転送
iPhoneプログラミング
iPhoneプログラミング/ビューを理解すればiPhoneアプリの基礎を押さえられる
iPhoneプログラミング一覧
iPhoneプログラミング入門
iPhone開発/Interface Builder Plug-in
iPhone開発/キャプチャの取り方
intra-mart
jQuery.Flickableのメモ
java spring boot 認証 memo
jersey
jhipster-codeにアノテーション追加してみる
jhipsterのテンプレート改造準備
jparsecドキュメント日本語訳
jparsec入門
kafkaの勉強
log4j2の脆弱性
mac diff
mailcowのインストール
memcached
minecraft マイクラ あるきながら、高速ダンジョン作成
mqttの勉強
nginx_lua
nginxのメモ
node_moduleをnpm linkを使って自分用にする
npm
openapi generator
openapi-generatorをコンパイル
openstack
oraclerac
play framework 1.2.5 sample
play! framework
play!framework selenium
playframework テンプレート
postmanとopenapi
prezi プレゼン
pukiwikiで行動管理
pukiwikiに類似したツール
pukiwiki勉強
pukiwiki記事一覧
python
python3のwindowsでの日本語文字化け対応
pythonでseleniumを使う
pythonのテストに使うライブラリ
rails5
reactでポップアップ表示
redmine
ruby on rails 6.0.0
scala
scala 99problem 32~
scala prototype.zip
scala repl
scala sbaz
scala spring
scala/インストール
scalaでまだ不勉強なところ
scalaのインストール
selenium
slack api
spark
spring boot
spring initializerをつかってプロジェクトのひな型をゲットする
spring-test
springboot
springboot env
storybook
sublimetext2
swagger
tracについて
ubuntu
vaadin
vue を typescriptで開発
vue 共通部品作成
vue.js memo
vue.jsとは
vue.jsのデバッグ
vue一覧
webの編集画面のよくあるパターン
windows環境構築
wordpress
xamppについて
•Axis2の本家のスタートガイドによるWebサービスの作り方
【Javascript】【CLIライブラリ】commanderの勉強
【MQL5】KuniRangeBreakoutEA
いまさらながらC++
びっくりする短いコード
アクター
アニメーション
アノテーション
アプリコット
アプリコット PukiWiki
アプリコード
アプリコード林邦行
イラストのエフェクト
インテンショナルプログラミング
カスタマイズjhipster7.9.3イメージ
カブロボ
ガイガーカウンター
クラスとハッシュマップの関係
クラック対策
クロス集計
コマンドラインという概念への考察
コミニュケーション
コード生成
サロゲートキーを使ったテーブル設計
シェルのサンプル
シェルサンプル
スクレイピング
スレッドプログラミングメモ
ソースtoソース変形
ターミナルをAppleScriptで制御
テキストエディタ作成javascriptフレームワーク
テスト用まっさらDBをdockerでたてる
テスト駆動
テレワーク環境の比較
ドット絵
バイオビルダー合成生物学メモ
バグの少ない設計のためのValueObject
パフォーマンスチューニング
フロントエンドのテストの結合テストを減らすには?
プッシュ技術
プログラマーじゃない人に覚えてほしいプログラムのコメントの書き方
プロジェクト管理スプレッドシート
マイクラ 有名ディメンション モッド
マクスウェル方程式
メタ
ラムダ計算について考える
リベリカJava13いいみたい
リモートワークでのプロジェクト注意点
レイアウトツール
ログ解析
世界の構文解析グラマーたち
予定表
予定表/2009-12-14
予定表/2009-12-18
予定表/2009-12-19
予定表/2009-12-22
予定表/2009-12-23
予定表/2009-12-24
事業の心構え
事業計画方針
人工知能とCUDA
人工知能コンペKaggle
仕様書のフォーマットについての考察
他言語サイトサンプル作成
仮説Oracleの罠
作曲と効果音作り
共和分
口コミ
古いRails5を入れる
哲学
学習をHackする
扶養とシステム
投薬のみのガンの治療薬
擬似コーディングのすすめ
放射能対策
数式を扱う
文章を書く
新エネルギー
新年の抱負2010
新技術 プログラム編
日本のゼネコン式IT開発が失敗する理由
最近更新したページ
未来技術/新技術
枯れた技術の水平思考
株価データ
業界の動向
構文解析の記事一覧
正規表現
気象データ
流れるようなインタフェース
管理画面の生成におけるopenapiとJDLなどの考察
細胞の若返り
経済のことをまとめてみる
脆弱性
自分でPlaggerみたいなのを作るためのメモ
論語/学而第一
負荷テスト
販売/デスクトップPC
販売/ノートパソコン
販売/外部ストレージ
起業
酸化グラフェン
開発哲学
電子出版
電子出版の記事一覧
非可換幾何学
顧客分析のデシル分析とRFM分析
DIコンテナについて考える
MP3から携帯着うたを作る方法
*目次 [#j2bf0be9] #contents *はじめに [#l92e49b7] このページにかぎらないのですが、だれでも編集可能です。 間違っていたら修正をお願いします。 注意点、更新時には、「spamではない場合はチェック」を入れないと、修正は破棄するように改造しています。 *sparkってなに [#p439219f] 一言でいうならば、分散処理のRDDという考え方を実装したフレームワーク。 メリットは多段処理が必要な演算の記述が簡潔にできる。 ***採用実績 [#h1a12e5b] CONVIVA ビデオ配信 Yahoo 台湾 分析をsparkが行っている **RDDってなに [#yf3b2e0c] たとえば、プログラマーは分散処理の流れを書くとsparkは分散処理の種類に応じて処理をスケジュールしてくれる。これには、多段処理の依存性を2種類に区別して、同一サーバ内で処理できるものと、他サーバでの処理結果を待つものに分けてスケジュールすることで、ネットワークの通信を最小にして高速化を図る。 また、演算が何らかの理由で失敗したとしても、スケジュールの系譜を逆算して、途中の成功している演算結果を利用する仕組みが備わっている。それは再帰的に行われる。 このように分散処理を多段にわけ、2種類に区別することで、系譜を作りスケジュールを行う考え方をRDDと読んでいるようだ。 これは、障害に強い分散処理とでも言えばいいのだろうか。 sparkという名称よりRDD分散処理フレームワークとしたほうが、実態を表した名前に近いのになぁと思った。 **遅延実行 [#n595b73b] その他の特徴に、遅延実行がある。 アクションと呼ばれるトリガーが呼ばれるまで、なにもしない。 **Scalaの学習に最適 [#j85742bc] ソースコードがJavaのプログラマーが理解できるようにコメントがしっかりしていて、 Akkaをつかって、リモートで実行させる記述など、勉強になることが多い。 ***コードについて [#y63cf154] version0.6でだいたいできていて、1万行でversion1.0では、5万行、でも内容は大差なく、機能がプラグイン形式になったり、コメントが豊富になったりしている。 ***コミッターについて [#p56d6433] 100人規模になっているが、メインは4人 **チューニング [#tbf76cef] メモリを使うモード、ストレージを使うモードなどなど、 処理に合わせて、チューニングできるようになっている。 ソースコードを見るとわかる。 ***デバック [#n525ea54] デバックに癖があるとのこと **URL [#b2fd0f23] http://spark.apache.org/ ***ダウンロード [#lac3f811] spark.apache.org/downloads.html Scalaのサンプルが書いてあるので scalaがインストールされている前提。 **YARN [#y168c5b5] 任意の分散処理フレームワークやアプリケーションの作成を容易にする新しいフレームワークのことです。MapReduceのバージョン2とも呼ばれています。 JobTrackerの代替えです。 Yet-Another-Resource-Negotiatorの頭文字をとっています。 ***[Mesos]Hadoop YARNとApache Mesosの違いって何? [#x26e8db1] http://d.hatena.ne.jp/kimutansk/20131104/1383496192 http://blog.livedoor.jp/sonots/archives/35421955.html ***その他きになること [#v19673f8] Googleのオメガは、リソース管理やってて、参考にするのか、そのあたりどうなるか。。。 ***scala [#d36b9391] http://www.scala-lang.org/download/ **ドキュメントリンク [#hf6e3ef1] http://databricks.com/spark *Typesafe Activator [#a8919e3d] Typesafe Activatorとは、Scala/Java向けのWebアプリケーションフレームワーク「Akka」などに向けたアプリケーション開発ツールです。 Hadoop上にWebアプリを構築する方法を表示する「Play Framework + HBase」や「Reactive Mongo + Knockout」などがあります。 http://typesafe.com/activator **エコシステム(Sparkを使った特定用途のフレームワーク) [#hb387830] Spark Streaming Shark (SQLが使える) 以下略 *勉強会 [#bf9535fb] hadoopの勉強会で、紹介されてました。 twitterで#hadoopreading で検索するとヒットするはず。 NTT DATAの豊洲の人々と、Treasure DATAの人が盛り上げていました。
spamではない場合はチェックをいれてください。
タイムスタンプを変更しない
*目次 [#j2bf0be9] #contents *はじめに [#l92e49b7] このページにかぎらないのですが、だれでも編集可能です。 間違っていたら修正をお願いします。 注意点、更新時には、「spamではない場合はチェック」を入れないと、修正は破棄するように改造しています。 *sparkってなに [#p439219f] 一言でいうならば、分散処理のRDDという考え方を実装したフレームワーク。 メリットは多段処理が必要な演算の記述が簡潔にできる。 ***採用実績 [#h1a12e5b] CONVIVA ビデオ配信 Yahoo 台湾 分析をsparkが行っている **RDDってなに [#yf3b2e0c] たとえば、プログラマーは分散処理の流れを書くとsparkは分散処理の種類に応じて処理をスケジュールしてくれる。これには、多段処理の依存性を2種類に区別して、同一サーバ内で処理できるものと、他サーバでの処理結果を待つものに分けてスケジュールすることで、ネットワークの通信を最小にして高速化を図る。 また、演算が何らかの理由で失敗したとしても、スケジュールの系譜を逆算して、途中の成功している演算結果を利用する仕組みが備わっている。それは再帰的に行われる。 このように分散処理を多段にわけ、2種類に区別することで、系譜を作りスケジュールを行う考え方をRDDと読んでいるようだ。 これは、障害に強い分散処理とでも言えばいいのだろうか。 sparkという名称よりRDD分散処理フレームワークとしたほうが、実態を表した名前に近いのになぁと思った。 **遅延実行 [#n595b73b] その他の特徴に、遅延実行がある。 アクションと呼ばれるトリガーが呼ばれるまで、なにもしない。 **Scalaの学習に最適 [#j85742bc] ソースコードがJavaのプログラマーが理解できるようにコメントがしっかりしていて、 Akkaをつかって、リモートで実行させる記述など、勉強になることが多い。 ***コードについて [#y63cf154] version0.6でだいたいできていて、1万行でversion1.0では、5万行、でも内容は大差なく、機能がプラグイン形式になったり、コメントが豊富になったりしている。 ***コミッターについて [#p56d6433] 100人規模になっているが、メインは4人 **チューニング [#tbf76cef] メモリを使うモード、ストレージを使うモードなどなど、 処理に合わせて、チューニングできるようになっている。 ソースコードを見るとわかる。 ***デバック [#n525ea54] デバックに癖があるとのこと **URL [#b2fd0f23] http://spark.apache.org/ ***ダウンロード [#lac3f811] spark.apache.org/downloads.html Scalaのサンプルが書いてあるので scalaがインストールされている前提。 **YARN [#y168c5b5] 任意の分散処理フレームワークやアプリケーションの作成を容易にする新しいフレームワークのことです。MapReduceのバージョン2とも呼ばれています。 JobTrackerの代替えです。 Yet-Another-Resource-Negotiatorの頭文字をとっています。 ***[Mesos]Hadoop YARNとApache Mesosの違いって何? [#x26e8db1] http://d.hatena.ne.jp/kimutansk/20131104/1383496192 http://blog.livedoor.jp/sonots/archives/35421955.html ***その他きになること [#v19673f8] Googleのオメガは、リソース管理やってて、参考にするのか、そのあたりどうなるか。。。 ***scala [#d36b9391] http://www.scala-lang.org/download/ **ドキュメントリンク [#hf6e3ef1] http://databricks.com/spark *Typesafe Activator [#a8919e3d] Typesafe Activatorとは、Scala/Java向けのWebアプリケーションフレームワーク「Akka」などに向けたアプリケーション開発ツールです。 Hadoop上にWebアプリを構築する方法を表示する「Play Framework + HBase」や「Reactive Mongo + Knockout」などがあります。 http://typesafe.com/activator **エコシステム(Sparkを使った特定用途のフレームワーク) [#hb387830] Spark Streaming Shark (SQLが使える) 以下略 *勉強会 [#bf9535fb] hadoopの勉強会で、紹介されてました。 twitterで#hadoopreading で検索するとヒットするはず。 NTT DATAの豊洲の人々と、Treasure DATAの人が盛り上げていました。
テキスト整形のルールを表示する