Открываем наугад десяток сайтов в своем браузере, браузер показывает их содержимое.
Те же самые сайты пытаемся получить с помощью php, и тут выясняется что не все сайты отдают свой контент:

Проверяем с помощью apache, потом с помощью своего сервера у хостера, результат один и тот же, т.е. не в сервере проблема.
Почему отдельные сайты отказывают в элементарном запросе?

Зависит ли результат от протокола: http / https?

Везде я пробовал только  https.

Это сообщение отредактировал(а) YahоО - 24.2.2024, 13:02

Можно попробовать через сокеты или cURL. Там можно и заголовки ответа прочитать, если какая-то ошибка будет.

"Сокет работает если подключаешься только по нужному порту" т.е. нужно или знать или угадать номер порта, что не есть хорошо.
К тому же браузер не нуждается в таком подходе, и сразу все получает и выдает.
Может надо атрибуты какие то в гет запрос устанавливать, как при пост запросе, что то типа "Я браузер Хром "?
И тут уже не столь важен запрос от моего  пхп, а то как устроены те сайты-молчуны и какие там опции в настройках их пхп.

Добавлено через 6 минут и 40 секунд
curl получил ответ:

Please enable cookies.
Sorry, you have been blocked

И как мне разрешить cookies для запроса к таким сайтам?

Ниже ответ на мой запрос с curlHandler )))))))))))


Please enable cookies.
Sorry, you have been blocked
You are unable to access .....to site....
Why have I been blocked?
This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.

What can I do to resolve this?
You can email the site owner to let them know you were blocked. Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.

Cloudflare Ray ID: 11111...11111 • Your IP: Click to reveal 1111...111 • Performance & security by Cloudflare

Спарсить куки из первого ответа сайта, потом поставить их во второй запрос. Пример.

Хм, куки из первого ответа сайта - а разве был "первый" и существует ли второй запрос, если запросов было отправлено всего один единственный и он же первый?

Или Вы хотите сказать что запросов фактически два? т.е. это невидимые и потому неосязаемые манипуляции по протоколу https, который проверяет "рукопожатие" (handshake) и секьюрный код доступа, а заодно и обменивается (принимает)  куки? В таком случает вообще невозможно повлиять на результат, т.к. невидимое в видимое не перевести.
Пожалуй все проще, в задаче требуется разрешить cookies для запроса к таким сайтам, как?

Предполагаю, что куки требовались именно во второе обращение к сайту в самый первый раз. Дальше похоже ip попал в блэклист, а так как у сервера он постоянный, то эффект не меняется. Об этом говорит, что "security solution" срабатывает и на другие действия. Значит, после срабатывания юзер получает бан и сайт его полностью игнорирует.

ip попал в блэклист - так, но это как бы не страшно с одной стороны, и отвратительно с другой.
 
Сайт выбран случайно, потому он не ценен и не страшен, и в дальнейшем вообще и даром не нужен.
Но там задействован не только его сервер, а и несколько других посторонних, следящих и фиксирующих, и отбрасывающих тень на всю последующую жизнь моего фри-хост-сайта, хотя и это не столь важно, и все же неприятно, блокировки, чье то подозрение, контрольки всякие.

Как понять "Please enable cookies.", я что их запрещал что ли? Почему тот сервер считает что куки не при делах?

Куки требовались именно во второе обращение к сайту - так, но тогда отчего же он в первый раз ответил отказом и не предоставил свой контент?
(многочисленные популярные уважаемые посещаемые множеством людей нормальные сайты не строят такие козни своим посетителям)

И как теперь реально исходя из данного опыта правильно построить php запрос к внешним сайтам?

Добавлено через 9 минут и 44 секунды
"Предполагаю, что куки требовались именно во второе обращение к сайту в самый первый раз." 
Ага, а если посетитель в своем браузере почистил (удалил) все куки всех сайтов, ну бывает же такое, и что тогда? Перестрахованный сверхподозрительный сайт занесет в свои базы данных такой айпи? 
И только поэтому никогда не надо чистить свой комп? из-за какого то сайта???

Ещё можно добавить в заголовки запроса все атрибуты браузера: user_agent и прочее, что там бывает.


Это вряд ли. Куки ставятся и проверяются при одном обращении. Как процесс выглядит технически - плохо представляю. То ли надо сразу добавить в опцию curl_setopt подстановку полученных кук, или же получить куки в заголовке, а потом сразу сделать второй запрос с этими куками. То же самое, как если бы пользователь открыл станицу у себя в браузере. Удалить куки он сможет уже после прохождения этой проверки. И тогда, скорее всего, проверка просто повторится.

Вот он исчерпывающий ответ гугла:

" Как включить куки в PHP?
Используйте функцию PHP setcookie(), чтобы установить файл cookie, который отправляется вместе с заголовком HTTP с веб-сервера в веб-браузер. 
Используйте суперглобальную переменную $_COOKIE для доступа к файлам cookie в PHP. "

И других вариантов нет! Другими словами невозможно в первом и единственном запросе на сторонний сайт отправить свои куки 
(что я уже пытался делать CURLOPT_COOKIE => 'foo=bar;baz=foo'),
и притом так никто не делает, не посылает свои никому не интересные куки в первом же запросе, а делается это наоборот - вместе с ответом на мой запрос можно получить не только интересующий контент, но и куки того сайта для последующих сессионных запросов к нему.
Значит, а что это значит, а это значит что тот сайт хоть и пишет про "Please enable cookies." на самом деле настолько противный что просто сбивает с толку рассказами про куки, и что то темнит не предоставляя мне текст ожидаемого ответа, заметьте не секретного текста! 
Итак решения нет, может со временем что то прояснится. Oldshelf, благодарю за участие!

Это сообщение отредактировал(а) YahоО - 22.2.2024, 11:42

Есть и такое:

Доступ заблоковано
Ваш запит заблоковано системою безпеки
Якщо ви вважаєте, що це помилково, повідомте за посиланням -   адрес сайта/contact
Ваша ІР .......111.111.......

Такой результат можно наблюдать если воспользоваться услугами бесплатных прокси сайтов, указав там искомый url.


Это сообщение отредактировал(а) YahоО - 24.2.2024, 13:06