それなりに大きい（それでも数GBとかそんなもん）データをmultiprocessingで処理しようとしたら、メモリが溢れて大変だった。その原因と対処法について書いておく。 multiprocessingはプロセス間でメモリを共有しない。ということは、処理するデータは一々プ…

pythonの参照渡しスタイル（を積極的に利用するコーディング）にケチ付ける記事を書いたんだけど、しばらく経ってから「逆にpythonでCみたいなバリバリの参照渡しするにはどうしたら良いんだ？」という疑問を持った。 たとえば、Cで言うところのこういうもの…

でかいデータをなにも考えずメモリ上に置いておくと、あっという間にメモリが埋まる。 不要なデータはこまめに消して、必要なときに必要なものだけメモリに置くようにすれば大抵なんとかなるのだけど、そうやって整理していくと、ある水準を超えたところで処…

はじめに 標準モジュールのrandom.shuffleは直感と違う挙動をするので、メモしておきます。 参考： 9.6. random — 擬似乱数を生成する — Python 3.6.5 ドキュメント 問題のコード このようなコードです。 import random lst = list(range(10)) shuffled = ra…

pythonでラクして混同行列を描画したい（sklearnとかpandasとかseabornとか使って）という話。 そもそもscikit-learnにはsklearn.metrics.confusion_matrixなるメソッドがあって、混同行列がほしいときはこれ使えば解決じゃん、と思う訳だが、このconfusion_…