помню что еще в самом начале обработки больших текстовых массивов информации питоник-вариант обработки списков у меня практически всегда забивал весь файл подкачки и скрипт вылетал с ошибкой мемориеррор, но при этом отлично продолжал работать если я обрабатывал списки тупо в лоб.
я тогда решил что питоник не предусмотрен для больших-пребольших списков, и с того момента пишу все только в лоб.
но сейчас попытки вызвать ту же ошибку
| Цитата |
# -*- coding: windows-1251 -*- import time def another_function (text): rezult = [] words = text.split(' ') for i in range(100): for w in words: rezult.append(w.lower()) rezult.append(w.upper()) return rezult def func1 (stroki): return [another_function(s) for s in stroki] def func2 (stroki): rezult = [] for s in stroki: rezult.append(another_function(s)) return rezult def func22 (stroki): rezult = [] for s in stroki: t = another_function(s) rezult.append(t) return rezult def func3 (stroki): return map(another_function, stroki) def test_function(test_function, col_experementov = 1000, message=''): """тест ф-й""" print message, t1=time.time() stroki = ['мама мыла раму так как мама очень любила чистоту' for i in range(col_experementov)] # а тут главный цикл rezult = test_function(stroki) print time.time()-t1 return rezult test_function(func1, 10000, 'pythonic') test_function(func2, 10000, 'v lob') test_function(func22, 10000, 'v lob 2') test_function(func3, 10000, 'map') |
ни к чему не привели - и по времени, и по использованию файла подкачки все ф-ии работают приблизительно одинаково (за 75-80 секунд).
хотя работать в питоник-стайл оно конечно красивше
Добавлено @ 20:48
кстати, я поборол утечку
оказывается у меня modules использовал psyco, и после убивания psyco утечка памяти прошла сама собой.
наверное это потому, что psyco не дружит с си, а модуль, который использует ф-я Get_norms_from_text, написан как раз на си.
всем огромное спасибо за советы!