Как правило после запроса бота, идет ответ - разметка страницы вместе с выполненными js-скриптами. Можно ли выполнять их еще раз, да из зачем это нужно??
| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Perl: Общие вопросы > LWP::UserAgent with Javascript |
| Автор: gcc 26.4.2008, 23:17 |
| чем такое реализовать? может есть модуль нужно просто как бы зайти на страницу ботом, и чтобы бот "прочитал" (или "просто увидел") Javascript не нашел, где-то видел что google смотрит JS... |
| Автор: KSURi 27.4.2008, 06:15 |
| Эм.. а в чем проблема? Получаете страницу, парсите как вам удобно, выуживаете JS из него. |
| Автор: gcc 27.4.2008, 12:22 |
| ну я написал: что нужно зайти на страницу и чтобы бод увидел JS и нажимать никуда не надо!!! тем самым когда бот зайдет, JS скрипт должен выполнить кое-что... когда вы заходиьте на страницу со своего браузера и когда там выполняеться JS код автоматически вы же ничего не клацаете и не парсите!!?? или как сделать? например wget не видет JS, ну так как на perl? Я понятно выражаюсь, или что не понятно? захожу с браузера: я захожу на тсраницу и там віполняеться JS захожу с wget или с LWP::UserAgent : JS не выполняеться как сделать чтобы выполнялся? или всетаки нужно пасить? |
| Автор: KSURi 27.4.2008, 12:42 | ||
Нет, вы выражаетесь не понятно, но я кажется все равно догадался. Надо было сразу написать, что что вы хотите выполнить JS средствами Perl, а не то, что "скрипт должен увидеть JS". http://search.cpan.org/search?query=Javascript&mode=all, думаю поможет. |
| Автор: nitr 27.4.2008, 12:45 |
| gcc, или изучите данный скрипт, если сможете, думаю получится и разобраться что он делает, переделать это в perl. |
| Автор: tolkien 27.4.2008, 18:53 |
| а что там должно было выполнится? редирект? |
| Автор: Bulat 28.4.2008, 09:26 |
| не совсем понял Как правило после запроса бота, идет ответ - разметка страницы вместе с выполненными js-скриптами. Можно ли выполнять их еще раз, да из зачем это нужно?? |
| Автор: tolkien 28.4.2008, 11:30 | ||
Уже выполнение js скриптов идет на серваке? |
| Автор: Bulat 28.4.2008, 11:57 | ||
Насколько я помню из своего опыта написания ботов, бывали случаи когда приходилось что-то выполнять(генерить) средствами перла, то что делалось на странице через js и отправлять это. Как правило при пост-запросе. В случае с гет же, при запросе страницы разметка содержащая некоторые функции js, приходит с уже выполненными js-функциями и сценариями. Т.е. при работе с ботом, пришедшую разметку можно открыть в браузере, серьезных различий не будет. |
| Автор: KSURi 28.4.2008, 16:25 | ||
Эээ... смысл фразы в том, что при GET запросе JS выполняется на сервере? Надеюсь я не понял смысл) JavaScript - это client-side технология и соответственно выполняется только на стороне клиента. При запросе и сохранении страницы в файл, если JS был внедрен непосредственно в разметку, вы не заметите разницы. Если же JS был вынесен в отдельный файл, то разницу вы заметите (за исключением случая, когда в ссылке на скрипт прописан абсолютный URL, тогда браузер подгрузит файл перед рендерингом и выполнит его). Даже модули вроде http://search.cpan.org/~claesjac/JavaScript-1.06/lib/JavaScript.pm скорее всего не позволят выполнять полноценный JS на стороне сервера, т.к. не реализуют (сам не проверял, но скорее всего так и есть) DOM. |
| Автор: PanamOS 28.4.2008, 20:55 |
| gcc, можно что-нибудь изобрести с WWW::Mechanize и WWW::Mechanize::Plugin::JavaScript. Где-то в англоязычном сегменте сети было что-то похожее на ваши требования. KSURi, вроде реализуют DOM(модуль HTML::DOM и производные) JavaScript::SpiderMonkey и JE, но в любом случае все это добро будет работать не очень. Как вариант решения задачи использовать ПО для автоматических тестов (что-то на подобие SAMIE, Selenium) и модули к нему на Perl'e соответственно. Или модули для взаимодействия с браузерами. |
| Автор: Bulat 29.4.2008, 09:53 | ||
Я не спорю. Но после того, как вы отправите http-запрос, а главное получив ответ, вы автоматически становитесь клиентом. |
| Автор: KSURi 29.4.2008, 11:43 |
| Это да, просто мне показалось, что вы имели ввиду что, что в контенте, который вы получите от сервера _уже_ будет результат выполнения JS, хотя выполнится он во время рендеринга страницы. |
| Автор: Bulat 29.4.2008, 13:11 | ||
Давно не занимался написанием ботов, но может содержать, а может и нет. Тут ведь все зависит не только от наличия самой js, но и от того, что она выполняет. Добавлено через 49 секунд Если быть совсем точным, бывает что данные и так на виду, в контенте, без выполнения самой js-функции |
| Автор: KSURi 29.4.2008, 13:29 | ||
Нет, не может. Интерпретатор JS - это браузер. Сервер высылает только исходный код, а браузер его выполняет. |
| Автор: Bulat 29.4.2008, 13:34 | ||
Может. Сам по себе js-не создает и не получает исходные данные. Он лишь может полученные данные изменить, что-то отобразить, что-то скрыть и т.п. |
| Автор: tolkien 29.4.2008, 14:47 |
| Не может. Почему? Потому что если он выполняется на стороне сервера. Клиент не получает в ответе никакого javascript. Только результат. Сами подумайте что за абсурд. Выполнить код js на стороне сервера и потом его же с результатом вернуть клиенту. БРЕД. |
| Автор: KSURi 29.4.2008, 19:43 |
| Bulat, ну я даже не знаю как еще объяснить... Попробуйте ответить на вопрос: с помощью чего выполняется JS на стороне сервера? |
| Автор: shamber 30.4.2008, 08:10 | ||
Это очень странное утверждение. Что мешает js отображать, к примеру числа от 1 до 10 не получая их с сервера? |
| Автор: Bulat 30.4.2008, 09:48 | ||
| tolkien, KSURi, Зайдем с другой стороны. JS - используют для представления, а не для логики. Вы используете js для того чтобы приконнектится к БД и получать данные, или может быть для того, чтобы считывать их из xml-конфигов?? Речь не о том, где выполняется js, а о том насколько это необходимо в случае с ботом. Вчера только расписал js-ку, которая скрывала и отображала группу чекбоксов. Но в независимости от того, выполняется у меня js в браузере или нет, данные по этим чекбоксам у меня уже присутствует в разметке. Конечно можно использовать js по всякому, но не стоит забывать о разделении логики и представления.
Немного погярячился. Конечно можно что-то и генерить. Но это лишь представление, а не логика. |
| Автор: KSURi 30.4.2008, 11:57 | ||||||
| Что-то вы не с той стороны зашли по-моему... Сейчас вы уже зачем-то про логику и представление начали, хотя эти два понятия никак не влияют на сторону выполнения JS.
Вот вам пример, когда данных в разметке нет: my.js:
my.html:
PS: и все-таки попробуйте ответить на мой вопрос: с помощью чего может выполняться JS на стороне сервера? |
| Автор: Bulat 30.4.2008, 12:32 | ||||||
Вообще-то сама тема и название не подразумевает обсуждение исключительно JS и способов его выполнения. Более того, из контекста первых постов видно, что речь идет о написании ботов. Еще раз повторяю, речь не о выполнении функции js как таковой, а о необходимости выполнять эту функцию вообще.
var from = {много данных}; var to = {много данных}; данные откуда будут браться?? Из воздуха или мы их статически забьем, да так, что при любом изменении лез ищи тот файлик, ту функцию которую нужно подправить?? А если тот же набор данных нужно представить в ином виде и в иной форме, а главное совсем в другом месте, повторно описывать весь набор данных и снова их представлять?? Вот причем здесь логика и представление. |
| Автор: gcc 1.5.2008, 14:26 |
| Спаисбо всем! сори, мне надо было чтобы он их выполнял!!! я передумал делать, так как я не сильно разбираюсь. и вижу что нельзя сделать так как я хотел   можите здесь помочь http://forum.vingrad.ru/forum/topic-209139/unread-1/anchor-entry1498021/0.html |
| Автор: sir_nuf_nuf 2.5.2008, 22:18 |
| KSURi, вопрос не в том, как серевер выполнит js (что ему в принципе мешает то ?) Вопрос в том: зачем выполнять серверу JS ? Вообще сервер не отличает браузер от LWP и от другой программы , которая работает по HTTP (в первом приближении). Однако иногда авторы сервера пишут эвристику.. что то типа " а если нас спрашивает поисковый бот, который не понимает наш JS, а мы хотим показать ему информацию, то выполним этот js за него... " Это единственное применение которое я вижу.. |
| Автор: tolkien 6.5.2008, 01:22 |
| Сегодня наткнулся на страничку перегруженную js кодом функции, массивы. И нужные данные находятся в js массиве. От туда извлекаются после хитрых вычислений ID элемента массива и выводятся в поля ввода формы. Проблема в том что пришлось js код смотреть под отладчиком чтобы определить места откуда дергать нужные данные. |
