データ分析がしたい

企業でデータ分析などやっています。主にRやPythonによるデータマイニング・機械学習関連の話題やその他備忘録について書いてます。

scikit-learnを用いたサンプルデータ生成

機械学習の勉強や新しいアルゴリズムのテストをする場合、irisなどのシステム組み込みのサンプルデータを利用するか、UCIリポジトリなどのネット上の公開データから良さげなものを探すというのが一般的だと思います。しかしながら、irisなどの組み込みデータ…

RのtransitionPlot関数を用いた遷移図の作成

こちらの記事で紹介されているRのtransitionPlotを用いた図がとても綺麗でしたので、試しにこれを使って遷移図を作図してみました。 パッケージインストール transitionPlotはGmiscパッケージに含まれていますがcranサーバから取得できないので、以下のよう…

はてなブックマーク記事のレコメンドシステムを作成 PythonによるはてなAPIの活用とRによるモデルベースレコメンド

私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分…

[R][データ分析]階層ベイズモデルのサンプルコード bayesmパッケージを利用

Rの階層ベイズモデルのサンプルコードが全然見当たらなかったので、自分で書くことにします。詳細を説明しだすとかなり面倒な領域なので、取り合えず使えるというレベルを目指します。利用するパッケージは「bayesm」です。 階層ベイズに限らずベイズ推定用M…

[R]SQLクエリでRのデータを加工・集計できるパッケージ「sqldf」

R

私が分析を行う際、データ加工や集計作業は基本的にSQLで行い、分析やモデル作成はRで行うことが多いです。 しかし、DBが使えないような場合やちょっとした集計などRでデータを加工・集計したい場合があります。RでSQLで行うようなデータ加工・集計を行うに…

[Python][データ分析]Pythonによるデータ分析環境

統計分析用ツールとして便利なRですが統計処理に特化しており、プログラム言語としては若干使い難い点もあります。 例えば、Web解析やXMLパースなどはRよりPythonのライブラリの方が機能的に充実していますし、モデル等をPythonで開発するツールに組み込む場…

[R]SQLのCASE WHEN 表現をRで書く

検定やモデル作成、ヒストグラムを書くといった場合に連続データをカテゴリデータに変換したい場合があります。 このときSQLでデータを変換する場合、例えば以下のようなクエリを書きます。 SELECT CASE WHEN revenue < 1000 THEN '1000未満' WHEN revenue <…

[データ分析]好景気におけるデータアナリストの価値は?

最近はアベノミクスによる金融緩和と財政出動による経済成長への期待感が強くなっていると感じます。これは誠に結構なことで、政府により需要が創設されれば現在供給過多により陥っているデフレが改善されインフレ化と共に所得増大、失業率低下、生活水準の…

[データ分析]分析・プログラミング環境について

分析・プログラミング環境は生産性に直結する重要なファクターだと思いますが、結構人によって差があるかなー、と思ってます。 せっかくなので、私の分析環境とダウンロード先などについて書こうかかなと思います。

[R]DBから日本語データを読み込んだ際の文字コードの変更

Rにおいて、「DBI」と「RPostgreSQL」を使ってデータを読み込む方法を以前紹介しました。 http://overlap.hatenablog.jp/entry/2013/05/16/224030上記の方法は基本的に問題はないのですが、日本語データを読み込む時に文字化けするという問題があります。 (…

[Python]pygameによるアニメーション

今日はpygameでいくつか試しにコード書いたりしてました。 pygameのサンプルコードは以下のサイトを参考に書きましたが、質・量ともに多く動画などもあり非常にわかりやすくて良かったです。 http://programarcadegames.com/index.php?chapter=example_code

[Python]UnicodeEncodeErrorの対処

Pythonで日本語を利用しているとき、unicode文字列をstr関数に渡すとUnicodeEncodeErrorが起きます。 例えば以下のコードを実行すると次のようなエラーが出てきます。 コード #!/usr/bin/python # -*- coding: utf-8 -*- test = u"テスト" print str(test) …

[R]RからPostgresql DBへの接続

R SQL

私はデータマイニングの仕事なんぞさせて頂いてる関係で、DBに保存してある情報をRで分析することが頻繁に生じます。Rで分析を行う際、元データをRに取り込む最も簡単な方法はcsvなどのテキストから読み込む方法です。 しかし、元データテーブルがDB上にある…

はてなブログの行間修正

はてなブログに移行して記事を書いてみたけど、行間が広すぎたので何とか短くしようと色々してました。 で、一応何とか修正できました。

Pythonによるライフゲーム

そうだ、ブログを書こう! ということでブログを新設しました。 RやPythonによるデータマイニングやその他雑記、備忘録を適当に載せる予定です。