написал парсер, который обрабатывает HTML-страницы путем запихивания содержимого страницы в переменную и проходом по ней регуляркой:



при длине текста > ~40kb  регулярка не срабатывает :(
подозреваю, что в перле есть какое-то ограничение из-за которого имеет место эта проблема.

заранее спасибо за ответ!

PS 
варианты использовать готовые решения для парсинга HTML я коненчно же рассмотрю, если припрет. но хотелось бы разобраться имено с этой проблемой (ограничение по размеру текста).

Это сообщение отредактировал(а) TP@MB@Y - 22.6.2009, 15:41

TP@MB@Y, а почему у меня работает?

Насколько мне известно, ограничение только одно: доступная оперативная память (+ своп, но в него лучше не залазить).

По умолчанию ограничений нету никаких  этож перл... возможно наша регулярка плохо работает и зацикливается где нибудь... проверьте регексп!

ginnie,  угу. Вы совершенно правы. зря я на Perl наговаривал.

выяснил причину ошибки: html-страницы в кодировке cp1251, а я перекодирую их в utf-8(в свою родную локаль). так вот, на тех страницах находятся "кривые" символы (в броузере отображаются в виде черного ромбика со знаком вопроса) и iconv (я использую Text::Iconv) вылетает с ошибкой. 

у iconv есть опция "-c"  чтобы игнорировать символы, которые не могут быть сконвертированы. 
в модуле Text::Iconv я пока не нашел такой функции...

Попробуйте вместо Text::Iconv модуль Encode

encode('cp1251',$var) все недопустимые символы заменяет обычным знаком вопроса.

Скорее всего у тебя в тексте есть перенос строк , можешь использовать модификаторы s или m