ともにゃん的データ分析ブログ

勉強したことの備忘録とかね

python

Pythonのpandasで大きなデータを扱うときにメモリ効率を上げる方法メモ

最近Pythonを使って大きなデータフレームを結合したり、そのデータフレームに対してメソッドを使って処理をしていますが、頻繁に"Memory Error" に遭遇しています。そんな中で色々探し回って見つけたTips的なものをメモとして残しておきます。 pandas.DataFr…

ハミルトニアン・モンテカルロ(HMC)法のざっくりとした解説とPythonによる実装

ベイズモデリングが流行っている中で多くのRユーザーはStanを使って解析をしているんではないかと思います。そして、Stanはハミルトニアン・モンテカルロ(HMC)法と呼ばれる方法で事後分布からのサンプルを得ています。色々と解説記事はありますが、超ざっく…

【python】beautifulsoupでYahoo! ファイナンスから日経平均のデータをスクレイピング

ずっっっっっと前にbeautifulsoupでスクレイピングしたことがあったけど、使い方を完全に忘れてたので再び入門的なことをやってみた。とりあえずYahoo! Financeから日経225に関するデータを引っ張ってこようかと思います。 from bs4 import BeautifulSoup im…

pythonによる粒子フィルタの実装

2階差分トレンド+季節(週)トレンドを考慮した以下の状態空間モデル(線形ガウス状態空間モデル)について、粒子フィルターをpythonで実装しました。 ここではそれぞれ時刻における観測値、トレンド(平均)、季節トレンドです。 状態空間モデルの詳しい説明につ…