久しぶりに書きますが，すごい小ネタ．EMR 5.9.0 で livy0.4.0 がサポートされたので，ちょっと試してみようかなと思ったわけです．EMR のよくある問題は，Step 経由でジョブを投げると，ジョブを並列実行できないところで，この解消のために ssh でログイン…

小ネタなんですが，なかなかググっても見つからず，あれこれと試行錯誤してしまったので，メモがわりに．要するに，gzip 圧縮してあるデータを読み出して，年月ごとにデータをパーティション分けして，結果を parquet 形式の 1 ファイルで書き出す，みたいな…

最近 AWS で Deep Learning 周りのモデルを試してみたりしています．Deep Learning AMI があるので，自分で CUDA や cuDNN や各種フレームワークを入れる必要がないというのが一番大きいです*1．10 分もあれば，P2 インスタンス上で Jupyter notebook 使って…

前回に引き続き分析環境ネタ第2弾*1．今回はEMRでRStudioを立ててみます． RStudioの構築 やり方自体は，AWS Big Data Blogにまとまっているので，別に難しくはなかったり．RStudioとか関連コンポーネントは，例のごとくS3に便利スクリプトがあるので，これ…

Sparkの最新状況をアップデートする意味も含めて，EMRで一通りの挙動を試してみたので，備忘録的にまとめておきます．慣れると簡単で便利なんですけど，それまでは結構ハマりどころが多いんですよねぇ，このあたり． Zeppelinにアクセスするまで AWS Big Dat…