やましなぶろぐ

LogisticRegressionの確率予測をCalibrateしてみる

method=sigmoidでは効果がないがmethod=isotonicなら効果がありそう

LogisticRegressionの確率予測の歪みにCalibrateの効果があるのか確認してみた

🕒 Last mod: 2021-09-06


確率予測の妥当性をcalibration_curveで確認する

LogisticRegressionでもcalibration_curveが歪む場合がある

ロジスティック回帰だから確率予測できているとは過信しないでcalibration_curveで確認することが大事

🕒 Last mod: 2021-09-02


make_classificationで分類データを作成してみる

引数に関係性があるので設定値によってはエラーが発生する

分類データを作成できるのは便利だけど使いこなすのが案外難しいのでいくつか試してみた

🕒 Last mod: 2021-08-27


pandasの条件に応じた置換や代入をmaskとリスト内包表記で実装する

それぞれの方法で処理時間も計測

リスト内包表記による方法が柔軟でコードも読みやすいけれども処理時間を考慮するとmaskで対応したほうが良い

🕒 Last mod: 2021-08-13


Pandas to_csvで標準出力にcsvファイルを出力する

シンプルにsys.stdoutを指定することで実現可能

pandasのバージョンによってはエラーが発生したこともあったようだけど比較的新しいバージョンなら問題なさそう

🕒 Last mod: 2021-08-05


pythonでシグモイド関数を実装する

定義にしたがって独自関数sigmoidを実装してみる

結論としてscipy.special.expitを使用するのが良さそう

🕒 Last mod: 2021-07-30


最初の行から自分自身の行までの要素のユニークカウント

簡単そうだけれども地味に実装方法で悩んだexpanding nunique

expanding nuniqueの実装例と処理時間を考慮した実装方法のご紹介

🕒 Last mod: 2021-07-17


目的変数の対数変換を効率化するsklearn.compose.TransformedTargetRegressor

地味に面倒な目的変数の対数変換がTransformedTargetRegressorで楽になります

目的変数を変換して、予測値を逆変換して、のような面倒な処理を効率化する方法を実際に試して紹介します

🕒 Last mod: 2021-07-04


minicondaを使用してtmuxをインストールする

sudo権限がない場合にminicondaを使用してtmuxをインストールする方法

ソースコードからインストールするよりminicondaを使用する方法が簡単そうなので試してみた。

🕒 Last mod: 2021-06-19


pandas.core.groupby.GroupBy.aggのNamed Aggregation

使い勝手が良いNamed Aggregationを使いこなす

便利だけど情報が少ないNamed Aggregationについて調べたことを整理します

🕒 Last mod: 2021-06-17