VPF::как лучше реализовать очередь

americanets

Дата 11.11.2008, 13:19 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1100
Регистрация: 27.9.2006

Репутация: нет
Всего: 12

у меня есть функции

получить код страницы

Код


void getHtmlResult ( char *url )
{
    CURL* curl = curl_easy_init();
    if (curl) {
        curl_easy_setopt(curl, CURLOPT_URL, url);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, handle_data);
        CURLcode res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
            if (res == 0) {
                //std::cout << contents << std::endl;
            } else {
                std::cerr << "Error: " << res << std::endl;
            }
        }
}

вытащить все ссылки

Код


void parseUrl ( std::string html )
{
    //boost::regex expression("href=\"(.*?)\"");
    boost::regex expression("<\\s*A\\s+[^>]*href\\s*=\\s*\"([^\"]*)\"", boost::regbase::normal | boost::regbase::icase);
    if (boost::regex_split(std::back_inserter(values), html, expression))
    {
        //std::sort(values.begin(), values.end());
        std::vector<std::string>::iterator end = std::unique( values.begin(), values.end() );
        std::vector<std::string> uniqueValues(values.begin(), end);
        std::cout << " найдено " << uniqueValues.size() << std::endl;
        for (int i = 0; i < uniqueValues.size(); i++) {
            std::cout << uniqueValues[i].c_str() << std::endl;
        }
    }
    std::cout << "------------------------------------" << std::endl;
}

как лучше организовать очередь чтоб можно было обойти все страницы сайта ?

--------------------

Пусть популярную музыку слушают те, среди кого она популярна

Lycifer

Дата 11.11.2008, 14:31 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 144
Регистрация: 4.11.2007

Репутация: нет
Всего: нет

map[URL,flag]
URL - уникальность линк страницы
flag - был там или еще нет, если то... если нет то...

А вообще в чём проблемма?

americanets

Дата 11.11.2008, 14:34 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1100
Регистрация: 27.9.2006

Репутация: нет
Всего: 12

не могу понять как сделать чтоб после сканирования страницы он брал из списка следующую, сканировал + дополнял список, потом следующую и так пока не пройдет все страницы

--------------------

Пусть популярную музыку слушают те, среди кого она популярна

powerfox

Дата 15.11.2008, 18:29 (ссылка)

(нет голосов)

Загрузка ...

I wanna fork()

Профиль
Группа: Комодератор
Сообщений: 3990
Регистрация: 1.10.2005
Где: Санкт-Петербург

Репутация: 2
Всего: 97

americanets, что-то типа:

Код


Class Queue
{
public:
  Queue() : current = 0 {}
  void push(Item) {vec.push_back(Item); }
  Item pop() {current++; return vec[current-1];}  
private:
  vector<Item> vec;
  current;

Конечно, в pop() нужно проверять значение current и размер вектора.

--------------------

americanets

Дата 17.11.2008, 10:27 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1100
Регистрация: 27.9.2006

Репутация: нет
Всего: 12

powerfox, спасибо , буду пробовать

--------------------

Пусть популярную музыку слушают те, среди кого она популярна

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| C/C++: Общие вопросы \| Следующая тема »