Модераторы: powerfox, ZeeLax

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Wget + вход на сайт ппо паролю 
V
    Опции темы
mihanik
Дата 24.10.2010, 18:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Всем привет!

Есть сайт (1С для франчей).
На этом сайте есть много-много всего: обновления, документация...
Вход на сайт по паролю.
На одной из страниц есть обновления.
Мне поставили задачу: автоматизировать процесс скачивания последних обновлений.
Всем надоело каждый день заходить на сайт, вводить пароль, искать новые обновления...

Можно это как-то скриптом проделывать?
wget это как-то умеет?
В какую сторону копать?
 smile 



--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
mihanik
Дата 24.10.2010, 19:27 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Не работает... :-(

Код

wget --recursive --level=1 --no-parent -A.rar --http-user=UserName --http-passwd=Password http://users.v8.1c.ru/getdist.aspx?path=Platform/8_2_12_92/




--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
mihanik
Дата 24.10.2010, 19:43 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Вот, как там просят авторизоваться...

Код

 <tr>
    <td colspan="4" valign="top">
        <h2>&nbsp;Вход&nbsp;для&nbsp;пользователей&nbsp;сайта</h2>
    </td>
 </tr>
 <tr>

    <td rowspan="3">&nbsp;</td>
    <td style="width: 160px;"><p>Код пользователя</p>
    </td>
    <td>&nbsp;<input name="user" id="user" style="height: 15px; width: 170px;" type="text"></td>
    <td rowspan="3">&nbsp;</td>
 </tr>
 <tr>
     <td style="width: 160px;"><p>Пароль</p>

    </td>
    <td>&nbsp;<input name="password" id="password" style="height: 15px; width: 170px;" type="password"></td>
 </tr>
 <tr>
    <td style="width: 160px;">&nbsp;</td>
    <td>&nbsp;<input name="enteringButton" value="Войти &gt;&gt;&gt;&gt;" id="enteringButton" style="width: 175px;" type="submit"></td>
 </tr>
 <tr>
    <td>&nbsp;</td>

    <td colspan="3">&nbsp;
        </td>
 </tr>



--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
Void
Дата 24.10.2010, 20:21 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


λcat.lolcat
****


Профиль
Группа: Участник Клуба
Сообщений: 2206
Регистрация: 16.11.2004
Где: Zürich

Репутация: 7
Всего: 173



Если сессия сохраняется в cookies и сервер не страдает проверкой referers и прочим в таком духе, то идея такова:
Код
# здесь по-хорошему percent-encoding нужно делать
wget --post-data="user=$user&password=$password" --save-cookies cookies.txt http://example.com/login-form-action -O /dev/null
wget --load-cookies cookies.txt http://example.com/protected/page



--------------------
“Coming back to where you started is not the same as never leaving.” — Terry Pratchett
PM MAIL WWW GTalk   Вверх
mihanik
Дата 24.10.2010, 20:32 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Сайт: http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_92
логин: 9352291 
Пароль: Ljw2UYZJ@
Нужно скачать все архивы *.rar

Что-то не догоняю, как это всё будет...

Кстати!!!

wget --post-data="user=$9352291&password=$Ljw2UYZJ@" --save-cookies cookies.txt http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_92 -O /dev/null

Дал пустой файл (в прицепе)


Присоединённый файл ( Кол-во скачиваний: 3 )
Присоединённый файл  cookies.txt 0,09 Kb


--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
mihanik
Дата 24.10.2010, 20:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Даже вот так не работает...

Код

 wget --delete-after --save-cookies mycookie --no-check-certificate -A.rar --post-data "user=9352291&password=Ljw2UYZJ@" http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_92


 smile 


--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
mihanik
Дата 24.10.2010, 21:07 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Вот так уже и куки сохраняются... 
Код

wget --keep-session-cookies --save-cookies cookies.txt --post-data 'user=9352291&password=Ljw2UYZJ@&enteringButton=Войти >>>>'  http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_92




--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
djamshud
Дата 24.10.2010, 21:07 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Пердупержденный
***


Профиль
Группа: Завсегдатай
Сообщений: 1655
Регистрация: 23.11.2009

Репутация: 14
Всего: 39



1. Внимательно просмотрите форму отправки - может быть есть какие-то скрытые поля, выставляющиеся в некоторые значения.
2. Удостоверьтесь, что форма авторизации отправляется обычным submit. Если это делает скрипт - изучите его и сэмитируйте.
3. Установливайте referer и user-agent.


--------------------
'Cuz I never walk away from what I know is right
Alice Cooper - Freedom
PM   Вверх
mihanik
Дата 24.10.2010, 21:41 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Цитата(djamshud @  24.10.2010,  21:07 Найти цитируемый пост)
1. Внимательно просмотрите форму отправки - может быть есть какие-то скрытые поля, выставляющиеся в некоторые значения.


На сколько могу судить, там три параметра, которые я и передаю
Код

--post-data 'user=9352291&password=Ljw2UYZJ@&enteringButton=Войти >>>>'



Цитата(djamshud @  24.10.2010,  21:07 Найти цитируемый пост)
2. Удостоверьтесь, что форма авторизации отправляется обычным submit. Если это делает скрипт - изучите его и сэмитируйте.

Похоже на submit
Код

  <tbody>
    <tr>

        <td valign="top" colspan="4">
            <h2>&nbsp;Вход&nbsp;для&nbsp;пользователей&nbsp;сайта</h2>
        </td>
    </tr>
    <tr>
        <td rowspan="3">&nbsp;</td>
        <td style="width: 160px"><p>Код пользователя</p>

        </td>
        <td>&nbsp;<input name="user" type="text" id="user" style="height:15px;width:170px;" /></td>
        <td rowspan="3">&nbsp;</td>
    </tr>
    <tr>
        <td style="width: 160px"><p>Пароль</p>
        </td>
        <td>&nbsp;<input name="password" type="password" id="password" style="height:15px;width:170px;" /></td>

    </tr>
    <tr>
        <td style="width: 160px">&nbsp;</td>
        <td>&nbsp;<input type="submit" name="enteringButton" value="Войти >>>>" id="enteringButton" style="width:175px;" /></td>
    </tr>
    <tr>
        <td>&nbsp;</td>
        <td colspan="3">&nbsp;
            </td>

    </tr>
  </tbody>



Цитата(djamshud @  24.10.2010,  21:07 Найти цитируемый пост)
3. Установливайте referer и user-agent. 

С этого места по подробнее, пожалуйста!


Это сообщение отредактировал(а) mihanik - 24.10.2010, 21:42


--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
djamshud
Дата 24.10.2010, 22:04 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Пердупержденный
***


Профиль
Группа: Завсегдатай
Сообщений: 1655
Регистрация: 23.11.2009

Репутация: 14
Всего: 39



>Похоже на submit

Точно можно убедиться лишь залогинившись с заблокированными скриптами (в браузере).. ЕМНИП на саму <form> можно навесить нечто вроде onaction, да и вообще динамически изменить свойства формы и ее полей - не проблема. Еще как вариант - посмотреть снифером, какой http-запрос отправляется на сайт.

>С этого места по подробнее, пожалуйста!

рефере и юзер-агент - это хттп-поля. Первое - с какой страницы пришли, второй - какой у пользователя браузер. Как подставить значения правильные в wget, написано в мане, за вас я его читать не буду - сам не помню уже конкретных ключей.


--------------------
'Cuz I never walk away from what I know is right
Alice Cooper - Freedom
PM   Вверх
mihanik
Дата 24.10.2010, 22:08 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Цитата(djamshud @  24.10.2010,  22:04 Найти цитируемый пост)
юзер-агент 

Указывал. Не помогает.

Код

--user-agent='Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.2.10) Gecko/20100920 Fedora/3.6.10-1.fc13 Firefox/3.6.10'

Цитата(djamshud @  24.10.2010,  22:04 Найти цитируемый пост)
>Похоже на submit

Точно можно убедиться лишь залогинившись с заблокированными скриптами (в браузере).. ЕМНИП на саму <form> можно навесить нечто вроде onaction, да и вообще динамически изменить свойства формы и ее полей - не проблема. Еще как вариант - посмотреть снифером, какой http-запрос отправляется на сайт.

Бли-и-и-ин...
Растудыть его налево...  smile 


--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
gcc
Дата 24.10.2010, 22:30 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Агент алкомафии
****


Профиль
Группа: Участник
Сообщений: 2691
Регистрация: 25.4.2008
Где: %&й

Репутация: 2
Всего: 17



Цитата(mihanik @ 24.10.2010,  20:32)
Сайт: http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_92
логин: 9352291 
Пароль: Ljw2UYZJ@
Нужно скачать все архивы *.rar

Что-то не догоняю, как это всё будет...


я не могу зайти под этим логином и паролем, дай правильные данные? если можешь...

Добавлено через 9 минут и 26 секунд
Цитата(mihanik @ 24.10.2010,  21:07)
Вот так уже и куки сохраняются... 
Код

wget --keep-session-cookies --save-cookies cookies.txt --post-data 'user=9352291&password=Ljw2UYZJ@&enteringButton=Войти >>>>'  http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_92

Ljw2UYZJ@

так:
Ljw2UYZJ

Код

wget --keep-session-cookies --save-cookies cookies.txt --post-data 'user=9352291&password=Ljw2UYZJ&enteringButton=Войти >>>>'  http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_9

PM WWW ICQ Skype GTalk Jabber   Вверх
mihanik
Дата 24.10.2010, 22:55 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Цитата(gcc @  24.10.2010,  22:30 Найти цитируемый пост)
дай правильные данные? если можешь...

 smile 
Только если в личку!

Вот что мне wireshark говорит

Код

#Eg-EB@@0>e)*PO_'Z
oIPOST /Default.aspx?id=Platform_8_2_12_92 HTTP/1.1
Host: users.v8.1c.ru
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.9.2.10) Gecko/20100920 Fedora/3.6.10-1.fc13 Firefox/3.6.10
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive
Referer: http://users.v8.1c.ru/getpg.aspx?id=Platform_8_2_12_92
Cookie: __utma=15375985.672037833.1287938118.1287938118.1287938118.1; __utmz=15375985.1287938118.1.1.utmcsr=users.v8.1c.ru|utmccn=(referral)|utmcmd=referral|utmcct=/getpg.aspx; ASP.NET_SessionId=sd3rlm55ilvavs55yk5upamq
Content-Type: application/x-www-form-urlencoded
Content-Length: 244

__VIEWSTATE=%2FwEPDwUKMTQxOTkwNDIyM2RkZxQf21Pave6N7qqnvqmw0r9lB6I%3D&__EVENTVALIDATION=%2FwEWBAKSurLQCwLcgpeMBwLyveCRDwLvjqbrASLkC9GMYixJ1MsM6vUYI4fh2Grz&user=9352291&password=Ljw2UYZJ@&enteringButton=%D0%92%D0%BE%D0%B9%D1%82%D0%B8+%3E%3E%3E%3E




--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
gcc
Дата 24.10.2010, 23:27 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Агент алкомафии
****


Профиль
Группа: Участник
Сообщений: 2691
Регистрация: 25.4.2008
Где: %&й

Репутация: 2
Всего: 17



mihanik, а где там архивы? я зашел, я не вижу там архивы .rar
PM WWW ICQ Skype GTalk Jabber   Вверх
mihanik
Дата 25.10.2010, 06:44 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Там нужно рекурсивно углубиться на пару уровней smile 
.


--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
mihanik
Дата 25.10.2010, 20:13 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



РЕБЗЯ!!!

Я пробился!!!!
Использовал WireShark для отлавливания post запросов...

Код

wget --keep-session-cookies --save-cookies cookies.txt --post-data '__VIEWSTATE=%2FwEPDwUKMTQxOTkwNDIyM2RkZxQf21Pave6N7qqnvqmw0r9lB6I%3D&__EVENTVALIDATION=%2FwEWBAKSurLQCwLcgpeMBwLyveCRDwLvjqbrASLkC9GMYixJ1MsM6vUYI4fh2Grz&user=9352291&password=Ljw2UYZJ@&enteringButton=%D0%92%D0%BE%D0%B9%D1%82%D0%B8+%3E%3E%3E%3E' http://users.v8.1c.ru/

wget --load-cookies cookies.txt -S -p http://users.v8.1c.ru/Platform.aspx 



Перехожу теперь к скачиванию RAR-ов...



Это сообщение отредактировал(а) mihanik - 25.10.2010, 20:14


--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
djamshud
Дата 25.10.2010, 21:57 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Пердупержденный
***


Профиль
Группа: Завсегдатай
Сообщений: 1655
Регистрация: 23.11.2009

Репутация: 14
Всего: 39



Еще не было ни одного сайта, который не поддался бы wget-у в прямых руках:).


--------------------
'Cuz I never walk away from what I know is right
Alice Cooper - Freedom
PM   Вверх
mihanik
Дата 25.10.2010, 22:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


-=Белый Медведь=-
****


Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 13
Всего: 109



Помечаю решённым.
 smile 


--------------------
Программистами не рождаются, - это родовая травма...
user posted imageuser posted image
PM MAIL WWW ICQ   Вверх
Страницы: (2) [Все] 1 2 
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Linux/UNIX: Oбщие вопросы"
nickless
Imple
nerezus

В тему здесь вопросы общие - не привязанные к определенному ПО или дистрибутиву BSD/Linux/UNIX.
Например вопросы о выборе ОС для определенных задач (но если Вы просто хотите узнать "Какой дистрибутив лучше", то для этого есть Клуб юнуксоидов).
Общие вопросы по shell-программированию тоже лучше задавать здесь.


  • Вопросы мобильной разработки тут
  • Вы должны соблюдать правила форума.
  • Помните: какой вопрос, такой и ответ. Прежде чем задать вопрос прочитайте вот эту статью на форуме CIT.
  • Оскорблять запрещается.
  • Религиозные войны в Религиозных войнах.
  • Общение "просто так" в Клубе юнуксоидов. В отличие от многих других разделов, здесь разрешается сдержанно оффтопить и юморить в тему.

За интересные статьи, находки, решения, программы и просто реальную помощь будут ставиться + в репу).


В данный момент этот раздел модерируют nerezus, nickless, powerfox, pythonwin, Imple и ZeeLax. Если вы хотите помочь нам, пишите в ПМ и мы обсудим.


Спасибо. И use UNIX or die; С уважением, nerezus, nickless, powerfox, pythonwin, Imple, ZeeLax.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | *NIX системы: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.1252 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.