静かなる名辞

pythonとプログラミングのこと


pickle

【python】sqlite3に任意のpythonオブジェクトを突っ込む

データベースにpythonオブジェクトをinsertしておいて、必要になったときにselectして取り出せたら便利だよね。sqlite3のドキュメントを見ると、一応やり方自体は書いてある。12.6. sqlite3 — SQLite データベースに対する DB-API 2.0 インタフェース — Pyth…

【python】pickleの速度を見る

pickleが遅くて困った経験、ありませんか? 私はありませんが、実際問題としてpickleの速度ってちょっと気になりますよね。 という訳で、測ってみました。 # coding: UTF-8 import sys import pickle import time import numpy as np for obj_size in [10,50…

【python】multiprocessingはアホみたいにメモリ食うよって話

それなりに大きい(それでも数GBとかそんなもん)データをmultiprocessingで処理しようとしたら、メモリが溢れて大変だった。その原因と対処法について書いておく。 multiprocessingはプロセス間でメモリを共有しない。ということは、処理するデータは一々プ…