Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Общие вопросы по .NET и C# > парсер сайтов

Автор: RWander 11.1.2008, 13:51

Какие библиотеки нужно юзать, чтобы написать парсер сайтов? Хотелось бы вообще понять общую идею написания парсеров
И если у кого есть пример парсера сайтов, поделитесь плз=)

Автор: mr.DUDA 11.1.2008, 14:28

Неймспейс System.Text.RegularExpression, класс Regex. Можно выдрать какую-то инфу по имени тега или др. признакам, но что подразумевается под "парсить сайт" в этом топике - совершенно непонятно. Написать универсальный мега-парсер подходящий под все сайты - нереально, ИМХО.

Автор: RWander 11.1.2008, 14:33

mr.DUDA, спасибо
имелось ввиду парсер для одного сайта.

перед тем как начать парсить, нужно получить текстстранички ввиде html. как это сделать?

Добавлено через 9 минут
сам разобрался=)

Код


        static void Main(string[] args)
        {
            HttpWebRequest myHttpWebRequest = (HttpWebRequest)HttpWebRequest.Create("http://kbyte.ru");
            HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
            StreamReader myStreamReader = new StreamReader(myHttpWebResponse.GetResponseStream(), Encoding.GetEncoding(1251));
            Console.WriteLine(myStreamReader.ReadToEnd());
            Console.ReadKey();
        }