ちかぢか大量のデータを扱うことになりそうなのと、ちょいと郵便番号データを使ったものをプライベートで作る必要があるのとで、データベースにレコードをインサートするのにかかる時間をはかってみた。

郵便番号データはたかだか12万件程度しかないので、実際にはどうなるかわからないけど楽しいからやってみただけ。
実際は位置データを使いたいからPostgreSQLになると思うんだけど、速度を考えるとメモリという選択肢もあるので、SQLiteってどうなのよという気もあってSQLiteも試してみた。

MySQL？キライ:)

郵便番号をしまうためのモデルはこんな感じ。郵便番号はユニークにした方がいいんだけど…。

from django.db import models

class ZipCode(models.Model):
    zipcode = models.CharField('Zip Code', max_length=7, db_index=True)
    prefecture_kana = models.CharField('Prefecture Kana', max_length=20)
    city_kana = models.CharField('City Kana', max_length=100)
    town_kana = models.CharField('Town Kana', max_length=100)
    prefecture = models.CharField('Prefecture', max_length=20)
    city = models.CharField('City', max_length=100)
    town = models.CharField('Town', max_length=100)
    
    def __unicode__(self):
        return '%s: %s %s %s' % (self.zipcode, self.prefecture, self.city, self.town)

郵便番号データは、例によって日本郵便の全件なので、半角カナが入ってます。
なので、setomitsさんの全角半角コンバートモジュールを使ってます。

import sys, os, csv, time
from django.conf import settings
from django.db import IntegrityError
from greetings.zipcode.models import ZipCode

try:
    import zenhan
except ImportError:
    print '''You need zenhan.py .
Download zenhan.py and install it.
http://matatabi.homeip.net/blog/setomits/877
'''
    sys.exit()

#
#from django.db import connection
#cursor = connection.cursor()
#cursor.execute('PRAGMA temp_store = MEMORY;')
#cursor.execute('PRAGMA synchronous=OFF')

from django.core.management import call_command
call_command('syncdb')

reader = csv.reader(open(os.path.join(settings.DATA_DIR, 'KEN_ALL.CSV'), 'rb'))

counter = 0

start = time.clock()
for data in reader:
    try:
        zipcode = ZipCode(zipcode=data[2],
                          prefecture_kana=zenhan.h2z(unicode(data[3], 'shift_jis'), zenhan.KANA),
                          city_kana=zenhan.h2z(unicode(data[4], 'shift_jis'), zenhan.KANA),
                          town_kana=zenhan.h2z(unicode(data[5], 'shift_jis'), zenhan.KANA),
                          prefecture=unicode(data[6], 'shift_jis'),
                          city=unicode(data[7], 'shift_jis'),
                         town=unicode(data[8], 'shift_jis'))
        zipcode.save()
    except IntegrityError: pass
    counter += 1
    if counter%1000 == 0:
        print '%d: %.2f' % (counter, time.clock() - start)

print 'end: %.2f' % (time.clock() - start)

試したのは、PostgreSQL(PostgreX8.2.5)とSQLite(3.4.0)。それからデータベースに入れなかった場合とかも試してる。
実行環境はCoreDuo1.83Ghz/2GB上のleopard+Python2.5.1。

結果は、以下の通り。

SQLiteは書き込みが遅いらしく、ファイルシステムを使った場合にはPostgreSQLの2.5倍遅い。
とりあえず非同期書き込みにしてみたら1.7倍遅いところまで改善。メモリにしたら2倍速くなった :)

ちなみに、データベースにインサートを行わずに「Djangoのモデルを作るだけ」と「単に変数に入れるだけ」の場合では、 12万件で2秒程度しか違いがないようなので、生成コストは無視してよさそう。O/Rを使うこと自体はメリット の方が大きい模様。

Shift_jisのデータを読み込んでunicodeに変換して半角カナを全角にするってのを省いて、「本当に単に変数に入れるだけ」の場合は12万件で1.09秒だった。マルチバイトうぜー。

--------
2007/11/16 追記

コメントいただいたので、追試を行いました。
ワントランザクションにしたところ、SQLiteはほぼメモリと同等のパフォーマンス(+1秒)になり、PostgreSQLについてもSQLiteの1.2倍遅い(+10秒)だけの状態になりました。

Python温泉とかCross Community Conferenceとかのイベント参加した＞＜
Teeda(S2)記事のムック頂いた＞＜
とかいろいろ書かなきゃいけない事がスタックしてるんだけど、勢いで書いちゃえ。

ちょいと仕事でJava縛りになったりする（というかほとんどがそう）ので、JavaでもDjangoとかrhacoとかの気分で書きたいんですわ。
S2も相当楽にしてくれるんだけど、我々は大したものを作っていないので不要な抽象化とか、Javaの仕様に従ってるがための制限とかが我々を苦しめてくれます :(

なので、いずれはオレオレっちゃいたいと思ってるんだけど、それについてもいろいろな制限に苦しんじゃってたりします。

「パッケージ名なんて自由に決めさせる必要ないよねー。」と思って特定パッケージに属しているクラス一覧をとろうと思ったら、パッケージクラスにそんなメソッドが無くって慌てた。
java-jaで聞いたら、「クラスがあって初めてパッケージになるからねぇ」ということを教えてもらえた。
java-jaは暖かい :)

で、指定したパッケージ直下のクラス一覧をとるクラスを書いたよ。世の中に数人困っている人がいたので、汚いコードを晒すよ。単にデフォルトのクラスパスとJarの中からパッケージ名がマッチするクラスの名前を返すだけ。
汎用性とか阿呆らしいと思っているので目的に対してハードコードですが、おおよそのやり方として見れば全く役に立たない事も無いんじゃないかと…。ノーテスト！インナークラスとか知らない＞＜

package org.jarts.core;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FilenameFilter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.LinkedHashMap;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.jar.JarInputStream;
import java.util.jar.JarEntry;

public class AppClassLoader extends ClassLoader {
  static String DIR_SEPARATOR = File.separator;
  static String PATH_SEPARATOR = System.getProperty("path.separator");
  static String PACKAGE_SEPARATOR = "\\.";
  
  static String MODELS_PACKAGE = "models";
  static String VIEWS_PACKAGE = "views";
  
  @SuppressWarnings("unchecked")
  public Map<String, List<Class>> getAppModels(String[] applications) throws IOException, ClassNotFoundException {
    return getAppClass(applications, MODELS_PACKAGE);
  }
  
  @SuppressWarnings("unchecked")
  public Map<String, List<Class>> getAppViews(String[] applications) throws IOException, ClassNotFoundException {
    return getAppClass(applications, VIEWS_PACKAGE);
  }
  
  
  @SuppressWarnings("unchecked")
  public Map<String, List<Class>> getAppClass(String[] applications, String packageSuffix) throws IOException, ClassNotFoundException {
    Map<String, List<Class>> map = new LinkedHashMap<String, List<Class>>();
    for(String app: applications) {
      map.put(app, new ArrayList<Class>());
    }
    String pathes = System.getProperty("java.class.path");
    String[] pathList = pathes.split(PATH_SEPARATOR);
    for(String path: pathList) {
      if(path.endsWith(".jar") || path.endsWith(".zip")) {
        JarInputStream jis = null;
        try {
          jis = new JarInputStream(new BufferedInputStream(new FileInputStream(path)));
          JarEntry entry;
          while((entry = jis.getNextJarEntry()) != null) {
            String name = entry.getName();
            for(String app: applications) {
              String appmodeldir = app.replaceAll(PACKAGE_SEPARATOR, DIR_SEPARATOR) + DIR_SEPARATOR + packageSuffix;
              if(name.indexOf(appmodeldir) == 0) {
                map.get(app).add(Class.forName(
                    name
                    .replaceAll(DIR_SEPARATOR, PACKAGE_SEPARATOR)
                    .replaceAll(".class", "")
                    )
                  );
              }
            }
          }
        } finally {
          if(jis != null) jis.close();
        }
      } else {
        for(String app: applications) {
          String dir = path + DIR_SEPARATOR + app.replaceAll(PACKAGE_SEPARATOR, DIR_SEPARATOR) + File.separator + packageSuffix;
          try {
            File directory = new File(dir);
            File[] files = directory.listFiles(new ClassFilter(null));

            if(files != null) {
              for(File f: files) {
                map.get(app).add(Class.forName(
                    f.getPath()
                    .replaceAll(path + DIR_SEPARATOR, "")
                    .replaceAll(DIR_SEPARATOR, PACKAGE_SEPARATOR)
                    .replaceAll(".class", "")
                ));
                System.out.println("found:" + app + "->" + f.getPath()
                    .replaceAll(path + DIR_SEPARATOR, "")
                    .replaceAll(DIR_SEPARATOR, PACKAGE_SEPARATOR)
                    .replaceAll(".class", ""));
                
              }
            }
          } catch(Exception e) {}
        }
      }
    }
    return map;
  }
  
  @SuppressWarnings("unchecked")
  public static void main(String[] args) throws IOException, ClassNotFoundException {
    AppClassLoader l = new AppClassLoader();
    Map<String, List<Class>> modelMap = l.getAppModels(new String[]{"org.jarts.app.sample"});
    Set<String> appset = modelMap.keySet();
    for(String app: appset) {
      List<Class> app_class = modelMap.get(app);
      for(Class k: app_class) {
        System.out.println(app);
        System.out.println("  :" + k);
      }
    }
  }
}

class ClassFilter implements FilenameFilter {
  String extension = ".class";
  public ClassFilter(String extension) {
    if(extension != null) this.extension = extension;
  }
  public boolean accept(File dir, String name){
    return name.toLowerCase().endsWith(extension);
  }
}