Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > C/C++: Сети > Получить страницу из сети

Автор: champion 15.4.2006, 07:27

Каким образом можно получить в переменную содержанию определенной интернет-страницы? Каким образом потом там можно вычленить все мне необходимое?

Автор: DigitalDummy 15.4.2006, 08:14

Насколько я знаю, для получения данных, быстрее всего использовать функции библиотеки WinInet. Подробнее, посмотри о ней в MSDN.

Самые полезные функции для простого чтения: InternetOpen, InternetOpenURL, InternetReadFile.

Код


#include <wininet.h>
...

  // буфер в который будет записаны данные (выделяем в памяти 1 КБайт)
  unsigned char * Data = malloc(1024);

  // переменная с помощью которой мы узнаем сколько было прочитано
  unsigned int WasReaded;

  HINTERNET hInet;
  HINTERNET hURL;

  // создание соединения и открытие файла (адрес указан как пример)
  hInet = InternetOpen("Mozilla", PRE_CONFIG_INTERNET_ACCESS, NULL, NULL, 0);
  hURL = InternetOpenURL(hInet, "http://www.site.com/file.htm", "Accept: */*", -1, 0, 0);

  ...
  // чтение из открытого файла - вызывать столько, сколько нужно
  // (или перед этим узнать размер файла)
  InternetReadFile(hURL, Data, 1024, WasReaded);
  ...

  // закрытие файла и соединения
  InternetCloseHandle(hURL);
  InternetCloseHandle(hInet);

Примечание: В этом примере адрес должен явно указывать на конкретный файл. Здесь нет никаких преобразований адреса! Иначе ничего считано не будет...
smile

А на счёт вычленения - подумай сам... smile

Раз уж данные есть, то это просто! Ну... Или что тебе надо вычленить то?

Автор: champion 30.4.2006, 07:00

Делаю все как Вы сказали, но выдаются такие ошибки:

Цитата(Code::Blocks v1.0)

main.cpp:8: error: invalid conversion from `void*' to `unsigned char*'
main.cpp:15: error: `InternetOpenURL' undeclared (first use this function)
main.cpp:15: error: (Each undeclared identifier is reported only once for each function it appears in.)
main.cpp:19: error: invalid conversion from `unsigned int' to `DWORD*'
main.cpp:19: error: initializing argument 4 of `BOOL InternetReadFile(void*, void*, DWORD, DWORD*)'
Process terminated with status 1 (0 minutes, 1 seconds)

Код такой:

Код


#include <iostream>
#include <wininet.h>
#include <string.h>
using namespace std;
int main()
{
 // буфер в который будет записаны данные (выделяем в памяти 1 КБайт)
  unsigned char * Data = malloc(1024);
  // переменная с помощью которой мы узнаем сколько было прочитано
  unsigned int WasReaded;
  HINTERNET hInet;
  HINTERNET hURL;
  // создание соединения и открытие файла (адрес указан как пример)
  hInet = InternetOpen("Mozilla", PRE_CONFIG_INTERNET_ACCESS, NULL, NULL, 0);
  hURL = InternetOpenURL(hInet, "http://ya.ru/", "Accept: */*", -1, 0, 0);

  // чтение из открытого файла - вызывать столько, сколько нужно
  // (или перед этим узнать размер файла)
  InternetReadFile(hURL, Data, 1024, WasReaded);

  // закрытие файла и соединения
  InternetCloseHandle(hURL);
  InternetCloseHandle(hInet);
 return 0;
}

плз, обясните в чем проблема.

Автор: DigitalDummy 30.4.2006, 16:23

Оуч! Код писал "на скорую руку" сверяясь со своим исходником на языке Паскаль...
Вот и случились кренделя! smile

Первое: Результат функции malloc это void *, а нам нужен unsigned char *. Надо указать явно конверсию типа:

Код


    unsigned char * Data = (unsigned char *) malloc(1024);

Второе: В функции чтения InternetReadFile в указании четвёртого аргумента я забыл указать важный, нужный и великий символ &! Ей ведь указатель надо... Ну и, за одно, чтобы не мучаться с переводом типов, надо сразу сменить тип переменной WasReaded на DWORD. В итоге:

Код


    DWORD WasReaded;
    ...
    ...
    InternetReadFile(hURL, Data, 1024, &WasReaded);
    ...

Третье: В моём горячо любимом Паскале нет разницы в написании строчных и заглавных букв, а, в так же горячо любимом Си, есть! Поэтому в Паскале (с коим я сверялся при предыдущем ответе) можно было написать даже INTERNETOPENURL(...) или internetopenurl(...) и всё бы работало. Но в Си есть только функция с именем InternetOpenUrl, а не InternetOpenURL! То есть напишите так:

Код


    ...
    hURL = InternetOpenUrl(hInet, "http://ya.ru/", "Accept: */*", -1, 0, 0);
    ...

И ещё, не забудьте подключить в настройках проекта библиотеку wininet.lib, а то Вы встретитесь лицом к лицу со злыми и ужасными ошибками мистера Линкера! Будут ещё проблемы, пишите! smile

Автор: champion 30.4.2006, 20:10

Благодарю. Очень признателен за вашу помощь, все отлично работает! smile

Автор: jonie 20.5.2006, 16:18

еще для развития можно заюзать не winInetAPI, а иные библиотеки (скажем libcurl, а для парсинга страницы - libtidy (кросплатформенные кста)).... гугл найдет)...
вот как скажем юзая курл будет (примерно и без всего лишнего типа проверк на ошибки)

Код


long write_cb(char *in, long size, long nmemb, string* out)
{
  out->append(in,size * nmemb);
  return size * nmemb;
}
.............
string docbuf;

CURL * sess = curl_easy_init();
curl_easy_setopt(sess,CURLOPT_URL,"www.kuda-to.tam");
curl_easy_setopt(sess, CURLOPT_WRITEFUNCTION, &write_cb);
curl_easy_setopt(sess, CURLOPT_WRITEDATA, &docbuf);
curl_easy_perform(sess);
//в docbuf вся страница.
.........
curl_easy_cleanup(sess);

вот и получили все что надо..... там-же можно изаполнять поля и т.д т.п. (ессно все это есть и в winInetAPI)....
мб я и не прав.... но мне так проше юзать curl...