やましなぶろぐ

pythonを中心に技術的なことをまとめています。

日々感じたことを雑記しています。 


minicondaを使用してtmuxをインストールする

sudo権限がない場合にminicondaを使用してtmuxをインストールする方法

ソースコードからインストールするよりminicondaを使用する方法が簡単そうなので試してみた。

🕒 Last mod: 2021-06-19


pandas.core.groupby.GroupBy.aggのNamed Aggregation

使い勝手が良いNamed Aggregationを使いこなす

便利だけど情報が少ないNamed Aggregationについて調べたことを整理します

🕒 Last mod: 2021-06-17


seabornの2種の神器、relplotとcatplot

matplotlibやseabornは機能が多すぎるので使用する機能を限定する

relplotとcatplotで大方の個人的なグラフ化ニーズは満たせそう

🕒 Last mod: 2021-06-11


pysparkでメソッドチェーン内で自分自身を参照したい場合はtransform

pyspark.sql.DataFrame.transform

pandasのpipeと同様の処理を実現できるtransform、pandasのtransformとは処理内容が異なるので紛らわしい

🕒 Last mod: 2021-06-08


pyspark.sql.DataFrameで正規表現で列選択

正規表現モジュールとリスト内包表記を使用する方法が便利で簡単

専用のメソッドcolRegexがあるけれど使い勝手が良くないのでリスト内包表記が汎用的で便利で簡単

🕒 Last mod: 2021-06-02


pandas.qcutでデシル分析

簡単で使い勝手の良いビニング(離散化)

簡単なので便利なデシル分析をqcutで実装します

🕒 Last mod: 2021-05-30


Ubuntu20.04にpyspark実行環境を構築する

sparkのインストールからpyspark実行環境構築まで整理します

pyspark実行環境を整えるのに苦労したので記録を残しておきます

🕒 Last mod: 2021-05-28


シンボリックリンク作成時にバックアップファイルを作成する

ln -s -b --suffix=_$(date +%Y%m%d%H%M%S)

ファイルが存在するときにはバックアップファイルを作成します

🕒 Last mod: 2021-05-11


cpコマンドで上書き時にバックアップファイルを作成する

cp -b --suffix=_$(date +%Y%m%d%H%M%S)

cpコマンドの上書きが怖いのでバックファイルを作成すると安心です

🕒 Last mod: 2021-05-09


bash script:シェルスクリプトのディレクトリを絶対パスで取得する

実行ディレクトリに影響を受けないスクリプトの作成方法

CURDIR=$(cd $(dirname $0) && pwd)

🕒 Last mod: 2021-05-03