Grep の高速化

[craftware]

ファイル名パターンと
無視するディレクトリパターンを指定させるようにしたら
もっと高速にできる。

splitlines せずに re.findall か、re.finditer を使うことで高速化できるかもしれない。
あるいは、splitlines ではなくて、イテレータを使うことで１行ずつ検索したら、
メモリコピーを１回分減らすことができるかもしれない。

StringIO を使うと、splitlines せずに済ますことができそうだが、計測してみると余計に遅くなってしまうようだ。
from cStringIO import StringIO
def iterbuf(buf):
stri = StringIO(buf)
while True:
nl = stri.readline()
if nl != '':
yield nl.strip()
else:
raise StopIteration