Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Что тут не так... 
:(
    Опции темы
YahоО
Дата 19.2.2024, 17:34 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



Открываем наугад десяток сайтов в своем браузере, браузер показывает их содержимое.
Те же самые сайты пытаемся получить с помощью php, и тут выясняется что не все сайты отдают свой контент:
Код

$info = @file_get_contents( "https://city-adm.lviv.ua");
if($info){
    echo "$info";
}else{
    echo "Nifiga";
}
echo "<hr>";

$info = @file_get_contents( "https://portal.lviv.ua");
if($info){
    echo "$info";
}else{
    echo "Nifiga2";
}

Проверяем с помощью apache, потом с помощью своего сервера у хостера, результат один и тот же, т.е. не в сервере проблема.
Почему отдельные сайты отказывают в элементарном запросе?

PM MAIL   Вверх
Oldshelf
Дата 19.2.2024, 18:47 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 158
Регистрация: 22.4.2018

Репутация: 1
Всего: 4



Зависит ли результат от протокола: http / https?
PM MAIL WWW   Вверх
YahоО
Дата 19.2.2024, 19:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



Везде я пробовал только  https.

Это сообщение отредактировал(а) YahоО - 24.2.2024, 13:02
PM MAIL   Вверх
Oldshelf
Дата 20.2.2024, 10:11 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 158
Регистрация: 22.4.2018

Репутация: 1
Всего: 4



Можно попробовать через сокеты или cURL. Там можно и заголовки ответа прочитать, если какая-то ошибка будет.
PM MAIL WWW   Вверх
YahоО
Дата 20.2.2024, 13:14 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



"Сокет работает если подключаешься только по нужному порту" т.е. нужно или знать или угадать номер порта, что не есть хорошо.
К тому же браузер не нуждается в таком подходе, и сразу все получает и выдает.
Может надо атрибуты какие то в гет запрос устанавливать, как при пост запросе, что то типа "Я браузер Хром smile"?
И тут уже не столь важен запрос от моего  пхп, а то как устроены те сайты-молчуны и какие там опции в настройках их пхп.

Добавлено через 6 минут и 40 секунд
curl получил ответ:

Please enable cookies.
Sorry, you have been blocked

И как мне разрешить cookies для запроса к таким сайтам?
PM MAIL   Вверх
YahоО
Дата 20.2.2024, 14:25 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



Ниже ответ на мой запрос с curlHandler )))))))))))


Please enable cookies.
Sorry, you have been blocked
You are unable to access .....to site....
Why have I been blocked?
This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

What can I do to resolve this?
You can email the site owner to let them know you were blocked. Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

Cloudflare Ray ID: 11111...11111 • Your IP: Click to reveal 1111...111 • Performance & security by Cloudflare
PM MAIL   Вверх
Oldshelf
Дата 20.2.2024, 14:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 158
Регистрация: 22.4.2018

Репутация: 1
Всего: 4



Цитата(YahоО @  20.2.2024,  13:14 Найти цитируемый пост)
И как мне разрешить cookies для запроса к таким сайтам? 

Спарсить куки из первого ответа сайта, потом поставить их во второй запрос. Пример.
PM MAIL WWW   Вверх
YahоО
Дата 20.2.2024, 15:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



Хм, куки из первого ответа сайта - а разве был "первый" и существует ли второй запрос, если запросов было отправлено всего один единственный и он же первый?

Или Вы хотите сказать что запросов фактически два? т.е. это невидимые и потому неосязаемые манипуляции по протоколу https, который проверяет "рукопожатие" (handshake) и секьюрный код доступа, а заодно и обменивается (принимает)  куки? В таком случает вообще невозможно повлиять на результат, т.к. невидимое в видимое не перевести.
Пожалуй все проще, в задаче требуется разрешить cookies для запроса к таким сайтам, как?
PM MAIL   Вверх
Oldshelf
Дата 21.2.2024, 05:41 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 158
Регистрация: 22.4.2018

Репутация: 1
Всего: 4



Цитата(YahоО @  20.2.2024,  14:25 Найти цитируемый пост)
This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

Предполагаю, что куки требовались именно во второе обращение к сайту в самый первый раз. Дальше похоже ip попал в блэклист, а так как у сервера он постоянный, то эффект не меняется. Об этом говорит, что "security solution" срабатывает и на другие действия. Значит, после срабатывания юзер получает бан и сайт его полностью игнорирует.
PM MAIL WWW   Вверх
YahоО
Дата 21.2.2024, 14:06 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



ip попал в блэклист - так, но это как бы не страшно с одной стороны, и отвратительно с другой.
 
Сайт выбран случайно, потому он не ценен и не страшен, и в дальнейшем вообще и даром не нужен.
Но там задействован не только его сервер, а и несколько других посторонних, следящих и фиксирующих, и отбрасывающих тень на всю последующую жизнь моего фри-хост-сайта, хотя и это не столь важно, и все же неприятно, блокировки, чье то подозрение, контрольки всякие.

Как понять "Please enable cookies.", я что их запрещал что ли? Почему тот сервер считает что куки не при делах?

Куки требовались именно во второе обращение к сайту - так, но тогда отчего же он в первый раз ответил отказом и не предоставил свой контент?
(многочисленные популярные уважаемые посещаемые множеством людей нормальные сайты не строят такие козни своим посетителям)

И как теперь реально исходя из данного опыта правильно построить php запрос к внешним сайтам?

Добавлено через 9 минут и 44 секунды
"Предполагаю, что куки требовались именно во второе обращение к сайту в самый первый раз." 
Ага, а если посетитель в своем браузере почистил (удалил) все куки всех сайтов, ну бывает же такое, и что тогда? Перестрахованный сверхподозрительный сайт занесет в свои базы данных такой айпи? 
И только поэтому никогда не надо чистить свой комп? из-за какого то сайта???
PM MAIL   Вверх
Oldshelf
Дата 21.2.2024, 15:15 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 158
Регистрация: 22.4.2018

Репутация: 1
Всего: 4



Цитата(YahоО @  21.2.2024,  14:06 Найти цитируемый пост)
И как теперь реально исходя из данного опыта правильно построить php запрос к внешним сайтам?

Ещё можно добавить в заголовки запроса все атрибуты браузера: user_agent и прочее, что там бывает.

Цитата(YahоО @  21.2.2024,  14:06 Найти цитируемый пост)
Ага, а если посетитель в своем браузере почистил (удалил) все куки всех сайтов, ну бывает же такое, и что тогда?

Это вряд ли. Куки ставятся и проверяются при одном обращении. Как процесс выглядит технически - плохо представляю. То ли надо сразу добавить в опцию curl_setopt подстановку полученных кук, или же получить куки в заголовке, а потом сразу сделать второй запрос с этими куками. То же самое, как если бы пользователь открыл станицу у себя в браузере. Удалить куки он сможет уже после прохождения этой проверки. И тогда, скорее всего, проверка просто повторится.
PM MAIL WWW   Вверх
YahоО
Дата 21.2.2024, 17:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



Вот он исчерпывающий ответ гугла:

" Как включить куки в PHP?
Используйте функцию PHP setcookie(), чтобы установить файл cookie, который отправляется вместе с заголовком HTTP с веб-сервера в веб-браузер. 
Используйте суперглобальную переменную $_COOKIE для доступа к файлам cookie в PHP. "

И других вариантов нет! Другими словами невозможно в первом и единственном запросе на сторонний сайт отправить свои куки 
(что я уже пытался делать CURLOPT_COOKIE => 'foo=bar;baz=foo'),
и притом так никто не делает, не посылает свои никому не интересные куки в первом же запросе, а делается это наоборот - вместе с ответом на мой запрос можно получить не только интересующий контент, но и куки того сайта для последующих сессионных запросов к нему.
Значит, а что это значит, а это значит что тот сайт хоть и пишет про "Please enable cookies." на самом деле настолько противный что просто сбивает с толку рассказами про куки, и что то темнит не предоставляя мне текст ожидаемого ответа, заметьте не секретного текста! 
Итак решения нет, может со временем что то прояснится. Oldshelf, благодарю за участие!

Это сообщение отредактировал(а) YahоО - 22.2.2024, 11:42
PM MAIL   Вверх
YahоО
Дата 22.2.2024, 12:01 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 198
Регистрация: 11.6.2015

Репутация: нет
Всего: 1



Есть и такое:

Доступ заблоковано
Ваш запит заблоковано системою безпеки
Якщо ви вважаєте, що це помилково, повідомте за посиланням -   адрес сайта/contact
Ваша ІР .......111.111.......

Такой результат можно наблюдать если воспользоваться услугами бесплатных прокси сайтов, указав там искомый url.


Это сообщение отредактировал(а) YahоО - 24.2.2024, 13:06
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "PHP"
Aliance
IZ@TOP
skyboy
SamDark
MoLeX

Новичкам:

  • PHP редакторы собираются и обсуждаются здесь
  • Электронные книги по PHP, документацию можно найти здесь
  • Интерпретатор PHP, полную документацию можно скачать на PHP.NET

Важно:

  • Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода.
  • Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ
  • Действия модераторов можно обсудить здесь

Внимание:

  • Темы "ищу скрипт", "подскажите скрипт" и т.п. будут переноситься в форум "Web-технологии"
  • Темы с именами: "Срочно", "помогите", "не знаю как делать" будут УДАЛЯТЬСЯ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.1492 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.