Всем добрый день!

Тема не кажется сильно оригинальной - рядом полно тем с похожим названием, только мне не удалось из них вытащить ничего для себя полезного.
Несколько лет использовал java класс для загрузки данных с удаленного сервера, на хтмл-странице которого есть сервис организации запросов, на этой же странице и ответы отражаются. 2 дня, как моя программа перестала возвращать мне привычные результаты:
и т.д.
Программа посылала, примерно, с сотню запросов - в течение минут 15-20 возвращалось чуть более 40 файлов (реальный трафик назвать затрудняюсь, т.к. файлы парсились на лету, и записывалась уже "выжатая" информация, практически без пробелов, т.е. около 30-40Мб). Формат запросов, посылаемых с сайта (из браузера) не изменился, т.е. вводя в командную строку браузера пример запроса, аналогичного генерируемому java-программой, я вижу в браузере возвращенный искомый результат. Но взаимодействие сервера с моей прогой стало необычным: данные в принципе возвращаются, но только если я "вишу" в сети несколько часов!, и возвращаются они странными порциями - "квантами" по ~2,6Мб. Ждать результат нет никаких сил. Подозреваю, что сменили какие-то настройки сервера, и не по причине, что раздосадованы большим количеством роботизированных запросов - просто сменили  . Но мне не удается подобрать какой-либо прием, чтобы вернуть устраивающую меня коммуникацию с сервером... Не исключено, что через пару-тройку дней все вернется к прежнему состоянию, однако, вполне может этого и не случиться.
Буду признателен за идеи, как "расшевелить" сервер к общению.

Берешь Chrome+Developer Tolls или Firefox+Firebug. И смотришь какие запросы шлются по сети. Может там какие куки нужны, может там редиректы шлются, которые ты не обрабатываешь. Надо разбиваться по месту.

Так и сделал вчера. По итогу: пришлось имитировать браузер через HttpURLConnection - теперь данные беру легко (через побитовое копирование), а вот парсить "на лету" прежний вариант StreamTokenizer что-то не хочет, хотя в файловой системе, вся скачанная информация в нормально читаемой кодировке (?), а вот в потоке лексемы замаскировались... Но это уже другая проблема.  Думаю класс Scanner должен выручить.

Это сообщение отредактировал(а) Gantenbain - 22.8.2011, 15:03

Когда читаешь из из URL connection, надо учитывать Content-Type: charset.



А потом, можно конструировать Reader с заданным чарсетом. Тогда и StreamTokenzier должен дать ожидаемый результат.

Это сообщение отредактировал(а) dobrolub - 22.8.2011, 23:32

Спасибо всем за отзывчивость. 
И, как это ни прискорбно, но должен признаться, что в моем случае смена URLConnection на HttpUrlConnection, не была оправдана - проблема прояснилась как раз на этапе лексического парсинга, то, что ранее прошло незамеченным мимо моего сознания, все-таки вылезло наружу: опрашиваемый мной сервер сменил точность в числовых данных (они слеплены с буквенными указателями и тип токены здесь плохой помощник парсеру), и сменил формат времени. Я этого сразу не заметил, т.к. искал нечто каверзное и не в тех местах. Все вылечил.