Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Общие вопросы по .NET и C# > Получить текст HTML-странички

Автор: davandr 17.8.2006, 10:51

Всем привет!
Заинтересовал такой вопрос, возможно ли получить текст HTML-странички без использования визуальных компонентов, т.е. например, при написании своего сервиса.

Автор: ivashkanet 17.8.2006, 11:18

Цитата(davandr @ 17.8.2006, 10:51

)

возможно

Можно

Я пробовал такую штуку замутить, но она у мя криво получилась. Может у тя что лучше выйдет smile

Попробовал еще раз и получилось smile

Код


HttpWebRequest request = (HttpWebRequest)WebRequest.Create(@"http://forum.vingrad.ru/index.php?showtopic=108198&st=0&#entry824527");

HttpWebResponse respodse = (HttpWebResponse)request.GetResponse();

StreamReader readStream = new StreamReader(respodse.GetResponseStream(), Encoding.GetEncoding("windows-1251"));

label1.Text = readStream.ReadToEnd();

Красота

Автор: davandr 17.8.2006, 12:12

Ну, все классно! Пасиба!

Автор: mr.DUDA 17.8.2006, 12:21

Класс WebClient в помощь:

Код

using System;
using System.Net;
using System.IO;

namespace ConsoleApplication3
{
    class Program
    {
        static void Main()
        {
            WebClient client = new WebClient();
    
            // если через прокси-сервер, то нужно это:
            client.Proxy = WebProxy.GetDefaultProxy();
            if(client.Proxy != null)
                client.Proxy.Credentials = CredentialCache.DefaultNetworkCredentials;
            
            // просто открываем и читаем
            Stream stream = client.OpenRead("http://www.google.com");
            if (stream != null)
            {
                StreamReader reader = new StreamReader(stream);
                Console.Write(reader.ReadToEnd());
            }
        }
    }
}

Автор: ivashkanet 17.8.2006, 13:18

Цитата(davandr @ 17.8.2006, 12:12

)

Пасиба!

Не за что. Приходи еще smile

mr.DUDA, буду знать про WebClient smile

Автор: davandr 22.8.2006, 11:25

А что делать, если содержимое невозможно просмотреть напрямую через адресную строку, а можно только по нажатию на кнопку или ссылку на главной странице? Урл получается как бы каждый раз новый. Как в таком случае прогораммно можно прочитать страницу контента?

Автор: ivashkanet 22.8.2006, 11:40

davandr, для этих целей в классе HttpWebRequest есть куча необходимых подклассов. Например куки и др.
В них и запихивается дополнительная информация.
Только перед этим ее нужно еще найти smile

Добавлено @ 11:41
В WebClient, ИМХО, то же они есть smile

Автор: mr.DUDA 22.8.2006, 11:57

Цитата(davandr @ 22.8.2006, 11:25

)

Если жаваскрипта нет, то нажатие на кнопку приводит либо к отправке POST, либо GET-запроса (определяется тегом <form ... method="post">), значит если знаем что за страница - то смотрим в содержимое, определяем тип запроса и воспроизводим у себя в коде.

Автор: davandr 22.8.2006, 12:42

Цитата(mr.DUDA @ 22.8.2006, 11:57

)

значит если знаем что за страница - то смотрим в содержимое, определяем тип запроса и воспроизводим у себя в коде.

а можно Вас попросить какой-нить примерчик или ссылку

PS у меня post запрос

Автор: mr.DUDA 22.8.2006, 13:07

Что-то типа того:

Код

using System;
using System.Net;
using System.IO;
using System.Text;

namespace ConsoleApplication3
{
    class Program
    {
        static void Main()
        {
            string url = ...
            HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);
            request.Proxy = WebProxy.GetDefaultProxy();
            if (request.Proxy != null)
                request.Proxy.Credentials = CredentialCache.DefaultNetworkCredentials;

            // параметры для POST-запроса
            string postData = "имя_поля=значение";
            byte[] content = new ASCIIEncoding().GetBytes(postData);

            // настраиваем запрос
            request.Method = "POST";
            request.ContentType = "application/x-www-form-urlencoded";
            request.ContentLength = content.Length;
            
            // выполняем запрос
            Stream stream = request.GetRequestStream();
            stream.Write(content, 0, content.Length);

            // получаем ответ
            WebResponse response = request.GetResponse();
            StreamReader reader = new StreamReader(response.GetResponseStream());
            string html = reader.ReadToEnd();

            // сохраним в файл для дальнейшего изучения
            new StreamWriter(@"c:\1.html").Write(html);
        }
    }
}

Автор: davandr 23.8.2006, 13:07

А как быть, если нужно передать не одно значение, а несколько параметров, массив значений?

Автор: ivashkanet 23.8.2006, 13:59

Порылся в инете и надел такую штуку:

Цитата

PostData = "username=myUsername&password=myPassword&id=1183&request=quote
&Symbol=" & strSymbol & "&type=query"

Добавлено @ 14:00
Это ASP, но я думаю понятно , что нужно использовать & как разделитель smile

Автор: mr.DUDA 24.8.2006, 08:54

Вроде так покатит только для GET-запросов (всё в одну строку). Для POST лучше почитать спецификацию RFC или Wiki, что-то говорит мне что там каждый параметр начинается с новой строки (это перем. postData).