やましなぶろぐ

pythonを中心に技術的なことをまとめています。

日々感じたことを雑記しています。 


seaborn.displotでヒストグラムを作成する

seabornでのヒストグラム作成はdisplotが良さそう

seabornでヒストグラムを作成する関数が3種類存在していてどれを使えば良いか迷うけどdisplotが良さそう

🕒 Last mod: 2021-10-01


「岩波データサイエンス Vol.3」で使用している公開データセットを確認

使い勝手の良さそうなデータセットがcsvで公開されているので内容を確認する

データ件数が多く変数の種類も豊富でマーケティング分析のサンプルデータとして魅力的なデータセット

🕒 Last mod: 2021-09-30


LogisticRegressionの確率予測をCalibrateしてみる

method=sigmoidでは効果がないがmethod=isotonicなら効果がありそう

LogisticRegressionの確率予測の歪みにCalibrateの効果があるのか確認してみた

🕒 Last mod: 2021-09-06


確率予測の妥当性をcalibration_curveで確認する

LogisticRegressionでもcalibration_curveが歪む場合がある

ロジスティック回帰だから確率予測できているとは過信しないでcalibration_curveで確認することが大事

🕒 Last mod: 2021-09-02


make_classificationで分類データを作成してみる

引数に関係性があるので設定値によってはエラーが発生する

分類データを作成できるのは便利だけど使いこなすのが案外難しいのでいくつか試してみた

🕒 Last mod: 2021-08-27


pandasの条件に応じた置換や代入をmaskとリスト内包表記で実装する

それぞれの方法で処理時間も計測

リスト内包表記による方法が柔軟でコードも読みやすいけれども処理時間を考慮するとmaskで対応したほうが良い

🕒 Last mod: 2021-08-13


Pandas to_csvで標準出力にcsvファイルを出力する

シンプルにsys.stdoutを指定することで実現可能

pandasのバージョンによってはエラーが発生したこともあったようだけど比較的新しいバージョンなら問題なさそう

🕒 Last mod: 2021-08-05


pythonでシグモイド関数を実装する

定義にしたがって独自関数sigmoidを実装してみる

結論としてscipy.special.expitを使用するのが良さそう

🕒 Last mod: 2021-07-30


最初の行から自分自身の行までの要素のユニークカウント

簡単そうだけれども地味に実装方法で悩んだexpanding nunique

expanding nuniqueの実装例と処理時間を考慮した実装方法のご紹介

🕒 Last mod: 2021-07-17


目的変数の対数変換を効率化するsklearn.compose.TransformedTargetRegressor

地味に面倒な目的変数の対数変換がTransformedTargetRegressorで楽になります

目的変数を変換して、予測値を逆変換して、のような面倒な処理を効率化する方法を実際に試して紹介します

🕒 Last mod: 2021-07-04