VPF::perl thread failed to start: maximum input buffer - Форум программистов

burakov

Дата 10.11.2011, 00:37 (ссылка)

(голосов:1)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 554
Регистрация: 28.7.2006

Репутация: нет
Всего: нет

написал грабер
perl + firefox (библиотека mozrepl)
многопоточный
постоянно отваливаются потоки
с ошибкой вот такого содержания

perl thread failed to start: maximum input buffer length exceed 1048576 bytes

может кто знает чего делать?
может как то можно этот буфер ему увеличить?
помогите.... тону по срокам.

СПАСИБО.

я так понимаю, что где то в модуле
MozRepl::Client
ограничена длина контента (странички - сбоит на больших страницах)...
но я посмотрел его - цифр 1048576
не нашел...

что же делать?

Код


sub execute {
    my ($self, $ctx, $command) = @_;

    ### adhoc
    $command = join(" ", split(/\n/, $command)) if ($^O eq "cygwin");

    my $message = [map { chomp; $_ } $self->telnet->cmd(String => $command)];  #!!!! вот на эту строку ругается по поводу буфера

    if ($ctx->log->is_debug) {
        my $table = Text::SimpleTable->new([10, 'type'], [40, 'content']);
        $table->row('command', $command);
        $table->row('result', join("\n", @$message));
        $ctx->log->debug($table->draw);
    }

    return wantarray ? @$message : join("\n", @$message);
}

Это сообщение отредактировал(а) burakov - 10.11.2011, 00:56

--------------------

Нотный архив http://libnote.ru скачать ноты бесплатно

alezzz

Дата 10.11.2011, 16:13 (ссылка)

(нет голосов)

Загрузка ...

сплю...

Профиль
Группа: Участник
Сообщений: 499
Регистрация: 17.8.2009

Репутация: 2
Всего: 14

Ну если на Net::Telnet ругается то посмотрите 2-ой результат выдачи гугла или просто документацию по Net::Telnet на предмет max_buffer_length. Судя по описанию это ваш случай

Это сообщение отредактировал(а) alezzz - 10.11.2011, 16:14

burakov

Дата 10.11.2011, 16:39 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 554
Регистрация: 28.7.2006

Репутация: нет
Всего: нет

спасибо, попробую сегодня
нужно прямо там в коде править ? длину буфера?

а вот еще нашел
Win32::IE::Mechanize

но там $ie -> content
дает совсем не то что ожидается (без js)
может кто пользовался?

вроде как в целом он менее глючный - но как посмотреть исходный код страницы с выполненным js кодом - не пойму.

Из документации:
$ie->content
Fetch the outerHTML from the $ie->Document->documentElement.

I have found no way to get to the exact contents of the document. This is basically the interpretation of IE of what the HTML looks like and beware all tags are upcased :(

он чего не сохранит с отработанным js?

--------------------

Нотный архив http://libnote.ru скачать ноты бесплатно

burakov

Дата 10.11.2011, 22:00 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 554
Регистрация: 28.7.2006

Репутация: нет
Всего: нет

попробовал по совету
alezzz
увеличить буфер этого телнета -
теперь все просто ОТЛИЧНО!

исчезли даже те ошибки и нестабильность, которые я к этой теме и не относил...
огромное спасибо.
очень выручил.
тему закрываю.

--------------------

Нотный архив http://libnote.ru скачать ноты бесплатно

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: разработка для Web \| Следующая тема »