やましなぶろぐ
pythonを中心に技術的なことをまとめています。
日々感じたことを雑記しています。
seaborn.displotでヒストグラムを作成する
seabornでのヒストグラム作成はdisplotが良さそう
seabornでヒストグラムを作成する関数が3種類存在していてどれを使えば良いか迷うけどdisplotが良さそう
🕒 Last mod: 2021-10-01
「岩波データサイエンス Vol．3」で使用している公開データセットを確認
使い勝手の良さそうなデータセットがcsvで公開されているので内容を確認する
データ件数が多く変数の種類も豊富でマーケティング分析のサンプルデータとして魅力的なデータセット
🕒 Last mod: 2021-09-30
LogisticRegressionの確率予測をCalibrateしてみる
method=sigmoidでは効果がないがmethod=isotonicなら効果がありそう
LogisticRegressionの確率予測の歪みにCalibrateの効果があるのか確認してみた
🕒 Last mod: 2021-09-06
確率予測の妥当性をcalibration_curveで確認する
LogisticRegressionでもcalibration_curveが歪む場合がある
ロジスティック回帰だから確率予測できているとは過信しないでcalibration_curveで確認することが大事
🕒 Last mod: 2021-09-02
make_classificationで分類データを作成してみる
引数に関係性があるので設定値によってはエラーが発生する
分類データを作成できるのは便利だけど使いこなすのが案外難しいのでいくつか試してみた
🕒 Last mod: 2021-08-27
pandasの条件に応じた置換や代入をmaskとリスト内包表記で実装する
それぞれの方法で処理時間も計測
リスト内包表記による方法が柔軟でコードも読みやすいけれども処理時間を考慮するとmaskで対応したほうが良い
🕒 Last mod: 2021-08-13
Pandas to_csvで標準出力にcsvファイルを出力する
シンプルにsys.stdoutを指定することで実現可能
pandasのバージョンによってはエラーが発生したこともあったようだけど比較的新しいバージョンなら問題なさそう
🕒 Last mod: 2021-08-05
pythonでシグモイド関数を実装する
定義にしたがって独自関数sigmoidを実装してみる
結論としてscipy.special.expitを使用するのが良さそう
🕒 Last mod: 2021-07-30
最初の行から自分自身の行までの要素のユニークカウント
簡単そうだけれども地味に実装方法で悩んだexpanding nunique
expanding nuniqueの実装例と処理時間を考慮した実装方法のご紹介
🕒 Last mod: 2021-07-17
目的変数の対数変換を効率化するsklearn.compose.TransformedTargetRegressor
地味に面倒な目的変数の対数変換がTransformedTargetRegressorで楽になります
目的変数を変換して、予測値を逆変換して、のような面倒な処理を効率化する方法を実際に試して紹介します
🕒 Last mod: 2021-07-04