Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Python: Общие вопросы > проверка загрузки html-странички через Python

Автор: pythonwin 31.7.2006, 13:28

Всем привет!

Можете помочь?

Возможно ли следующее?

есть страничка в интернете, которую нужно проверять периодически (загружается/не загружается, итак каждые полчаса). Если страничка не загружается, то нужно отправить сообщение на E-mail. Это реально сделать на питоне?

Автор: albertn 2.8.2006, 08:41

Я не проверял, но по идее должно работать примерно так, если почтовый сервер находится на локальной машине.
Если нет то полистай http://docs.python.org/lib/SMTP-objects.html

Код


import time,urllib,smtplib
from email.MIMEText import MIMEText
while True:
    try:
        urllib.urlopen('http://www.blabla.ru')
    except:
        msg = MIMEText("blablabla")
        msg['Subject'] = 'Server'
        you='admin@example.com'
        me='server@example.com'
        msg['From'] = me
        msg['To'] = you
        s = smtplib.SMTP()
        s.connect()
        s.sendmail(me, [you], msg.as_string())
        s.close()
    time.sleep(60*30)

Автор: pythonwin 2.8.2006, 09:08

albertn, спасибо за пример, но загвоздка в том как отличить работающию страничку от

Цитата

ERROR
The requested URL could not be retrieved

While trying to retrieve the URL: http://lalala.ru:9999/

The following error was encountered:

    * Connection Failed

The system returned:

    (60) Operation timed out

The remote host or network may be down. Please try the request again.

Your cache administrator is admin@myweb.ru.
Generated Wed, число  by лалала.ру (squid/2.5.STABLE11)

slav0nic, тоже дал пример:

Код


import urllib
import smtplib
fromaddr = "lala@smtp.ru"
toaddr = "lala2@smtp.ru"
msg = "serv down! ahtung!"
try:
    url = urllib.urlopen("http://ya.ru")
except:
    smtp = smtplib.SMTP('smtp.ru')
    server.sendmail(fromaddr, toaddrs, msg)
    server.quit()

все работает, но как отличить работающую страничку от страничу с ошибками? мне пока не понятно.

Автор: albertn 2.8.2006, 09:21

я в принципе посмотрел, что функция

Код

urllib.urlopen("http://ya.ru")

сыпется при каких-либо ошибках

Автор: albertn 2.8.2006, 10:41

Вот новый пример:

Код


import time,httplib,smtplib
from email.MIMEText import MIMEText

def sendmail():
    msg = MIMEText("blablabla")
    msg['Subject'] = 'Server'
    you='admin@example.com'
    me='server@example.com'
    msg['From'] = me
    msg['To'] = you
    s = smtplib.SMTP()
    s.connect()
    s.sendmail(me, [you], msg.as_string())
    s.close()


def run():
    while True:
        try:
            conn = httplib.HTTPConnection("www.python.org")
            conn.request("GET", "/index.html")
            r1 = conn.getresponse()
            if r1.status!=200:
                sendmail()
        except:
            sendmail()
        time.sleep(60*30)
        
run()

Автор: pythonwin 2.8.2006, 11:05

albertn, разбираюсь в твоем варианте, - пожалуйста, подскажи, где указывается smtp-сервер?

Добавлено @ 11:16
albertn, ругается

Цитата

Traceback (most recent call last):
  File "C:\test2\url_smtp_alien.py", line 33, in ?
    run()
  File "C:\test2\url_smtp_alien.py", line 29, in run
    sendmail()
  File "C:\test2\url_smtp_alien.py", line 11, in sendmail
    s.connect()
  File "C:\Python24\lib\smtplib.py", line 303, in connect
    raise socket.error, msg
socket.error: (10061, 'Connection refused')

на код:

Код


    msg = MIMEText("blablabla")
    msg['Subject'] = 'Server'
    you='admin@example.com'
    me='server@example.com'
    msg['From'] = me
    msg['To'] = you
    s = smtplib.SMTP()
    s.connect()
    s.sendmail(me, [you], msg.as_string())
    s.close()

Автор: albertn 2.8.2006, 11:46

Это значит, что на локальной машине не стоит почтового сервера, через который ты хочешь отправить письмо.
Я же говорил, что для этого придется поковыряться в настройках http://docs.python.org/lib/SMTP-objects.html сервера.
Привожу пример (у меня заработало):

Код


def sendmail():
    msg = MIMEText("blablabla")
    msg['Subject'] = 'Server'
    you='admin@mail.ru'
    me='server@mail.ru'
    msg['From'] = me
    msg['To'] = you
    s = smtplib.SMTP('smtp.mail.ru')
    s.login('admin','passwd')
    s.sendmail(me, [you], msg.as_string())
    s.close()

Скорее всего тебе ничего не мешает отправлять сообщение самому себе

Автор: pythonwin 2.8.2006, 12:04

с отправкой я рабобрался, но теперь проблема в том, когда ставишь "http://myweb.ru:8000" програ думает что страница с ошибкой:

Код


from email.MIMEText import MIMEText
def sendmail():
    msg = MIMEText(unicode(“Error”, 'utf-8'))
    msg['Subject'] = 'Error - page'
    you='support@meweb.ru'
    me='pc@myweb.ru'
    msg['From'] = me
    msg['To'] = you
    server = smtplib.SMTP('192.168.0.1')
    server.set_debuglevel(1)
    server.sendmail(me, you, msg.as_string())
    server.quit()
    print "Error"
def run():
    while True:
        try:
            conn = httplib.HTTPConnection("http://myweb.ru:8000")
            conn.request("GET", "/index")
            r1 = conn.getresponse()
            print r1.status
            if r1.status!=200:
                sendmail()
            elif r1.status==200:
                print "Ok"
            else:
                print "Gluk"
        except:
            sendmail()
        time.sleep(60*30)
        
print "-"*100
run()

страницка http://myweb.ru:8000/index существует.

Автор: albertn 2.8.2006, 12:10

а ты посмотри, что за статус ошибки,и желательно пример подобной страницы.

Автор: pythonwin 2.8.2006, 12:18

Вот код странички:

Код


<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xmlns:py="http://purl.org/kid/ns#">
<head><meta content="text/html; charset=UTF-8" http-equiv="content-type" py:replace="''"/>
    <META HTTP-EQUIV="Pragma" CONTENT="no-cache"/>
    <META HTTP-EQUIV="Cache-Control" CONTENT="no-cache, no-store, must-revalidate, proxy-revalidate"/>
    <title>GDS</title>
<script LANGUAGE="JavaScript">
header("Cache-Control: no-cache, no-store, must-revalidate"); 
header("Pragma: no-cache"); 
window.clear(); 
</SCRIPT></head>
<body LINK="#0000FF" VLINK="#0000FF">Access Denied use <a href='/Login'>Login form</a></body></html>
<br/><br/>Build time: 0.002s, Page size: 0.71KB

conn.getresponse().status просмотреть не получается, т.к. срабатывает

Код


except

Добавлено @ 12:31
немного изменил код, ошибка не изчезла

Код


import time,httplib,smtplib
from email.MIMEText import MIMEText
def sendmail():
    msg = MIMEText(unicode(Error', 'utf-8'))
    msg['Subject'] = Error - page'
    you='support@myweb.ru'
    me='pc@myweb.ru'
    msg['From'] = me
    msg['To'] = you
    server = smtplib.SMTP('192.168.0.1')
    server.set_debuglevel(1)
    server.sendmail(me, you, msg.as_string())
    server.quit()
    print "Error"
def run():
    while True:
        try:
            conn = httplib.HTTPConnection("http://www.myweb.ru", port="8000")
            conn.request("GET", "/index")
            r1 = conn.getresponse()
            if r1.status!=200:
                sendmail()
            elif r1.status==200:
                print "Ok"
            else:
                print "Gluk"
        except:
            sendmail()
        time.sleep(10)
        
print "-"*100
run()

Автор: albertn 2.8.2006, 12:39

Для начала мне бы надо потренироваться на "кроликах". А то мне содержимое страницы ни о чем не говорит.
И еще попробуй убрать try и покажи Traceback

Автор: pythonwin 2.8.2006, 12:47

Traceback (most recent call last):
  File "C:\test2\url_smtp_alien.py", line 39, in ?
    run()
  File "C:\test2\url_smtp_alien.py", line 22, in run
    conn.request("GET", "/index")
  File "C:\Python24\lib\httplib.py", line 801, in request
    self._send_request(method, url, body, headers)
  File "C:\Python24\lib\httplib.py", line 824, in _send_request
    self.endheaders()
  File "C:\Python24\lib\httplib.py", line 795, in endheaders
    self._send_output()
  File "C:\Python24\lib\httplib.py", line 676, in _send_output
    self.send(msg)
  File "C:\Python24\lib\httplib.py", line 643, in send
    self.connect()
  File "C:\Python24\lib\httplib.py", line 611, in connect
    socket.SOCK_STREAM):
socket.gaierror: (11001, 'getaddrinfo failed')

код:

Код


import time,httplib,smtplib
from email.MIMEText import MIMEText
def sendmail():
    msg = MIMEText(unicode(Error', 'utf-8'))
    msg['Subject'] = 'Error - page'
    you='support@myweb.ru '
    me='pc@myweb.ru'
    msg['From'] = me
    msg['To'] = you
    server = smtplib.SMTP('192.168.0.1')
    server.set_debuglevel(1)
    server.sendmail(me, you, msg.as_string())
    server.quit()
    print "Error"
def run():
    while True:
        if 1==1:
            conn = httplib.HTTPConnection("www.myweb.ru", port="8000")
            conn.request("GET", "/index")
            r1 = conn.getresponse()
            print "|||   "+r1.status + "   |||"
            if r1.status!=200:
                sendmail()
            elif r1.status==200:
                print "Ok"
            else:
                print "Gluk"
        else:
            sendmail()
##        time.sleep(60*30)
        time.sleep(10)
        
print "-"*100
help(httplib.HTTPConnection)
print "-"*100
run()
print "-"*100

Автор: albertn 2.8.2006, 12:56

Если ты пытался открыть страницу на сайте http://www.myweb.ru:8000, то ты слегка ошибся. На сколько я понял этот сайт внутрисетевой, и из вне он не открывается, а подхватывается он через какой-нить ДНС сервер. А как ты думаешь, питон знает о реальном месте расположения сервера? мож попробовать использовать вместо него IP?

Автор: pythonwin 2.8.2006, 13:19

Код


import time,httplib,smtplib
from email.MIMEText import MIMEText
def sendmail():
    msg = MIMEText(unicode('Error', 'utf-8'))
    msg['Subject'] = 'Error - page'
    you='support@myweb.ru'
    me='pc@myweb.ru'
    msg['From'] = me
    msg['To'] = you
    server = smtplib.SMTP('192.168.0.1')
    server.set_debuglevel(1)
    server.sendmail(me, you, msg.as_string())
    server.quit()
    print "Error"
def run():
    while True:
        if 1==1:
            conn = httplib.HTTPConnection("200.130.130.90", port="8000") #Внешний IP-адрес
            conn.request("GET", "/index")
            r1 = conn.getresponse()
            print r1.status
            if r1.status!=200:
                sendmail()
            elif r1.status==200:
                print "Ok"
            else:
                print "Gluk"
        else:
            sendmail()
        time.sleep(60*30)
        
print "-"*100
run()

Нормально работает, но только когда пытаешься проделать такую же шутку со страницкой, которая защищена паролем.

Код


conn.getresponse().status==403

Что можно сделать?

Автор: albertn 2.8.2006, 13:35

403 - стандартная ошибка доступа на защищенную паролем страницу.
Есть несколько вариантов в зависимости от того, что тебе надо
А действительно ли тебе нужна информация именно про эту страницу?
Не будет ли достаточным удостовериться, что страница запаролена, и возвращает ответ?
Ты действительно хочешь, чтобы программа вводила имя и пароль для данной страницы и на нее заходила? Не глупо ли это?

PS. Если не секрет, а зачем тебе это надо?

Автор: pythonwin 2.8.2006, 13:42

Цитата(pythonwin @ 2.8.2006, 20:19

)

Что можно сделать?

Эту проблему решил

Код


# -*- coding: utf-8 -*-
import time,httplib,smtplib
from email.MIMEText import MIMEText
def sendmail():
    msg = MIMEText(unicode('Ошибка на главной странице\n\
    перейти на http://myweb.ru:8000', 'utf-8'))
    msg['Subject'] = 'Error'
    you='support@myweb.ru'
    me='pc@myweb.ru'
    msg['From'] = me
    msg['To'] = you
    server = smtplib.SMTP('192.168.0.1')
    server.set_debuglevel(1)
    server.sendmail(me, you, msg.as_string())
    server.quit()
    print "Error"
def run():
    while True:
        try:
            conn = httplib.HTTPConnection("200.200.200.200", port="9999")
            conn.request("GET", "/index")
            r1 = conn.getresponse()
            print r1.status
            if r1.status!=200 and r1.status!=403:
                sendmail()
            elif r1.status==200 or r1.status==403:
                print "Ok"
            else:
                print "Gluk"
        except:
            sendmail()
        time.sleep(10)
        
print "-"*100
run()

но получаю ошибку:

Traceback (most recent call last):
  File "C:\test2\url_smtp_alien.py", line 38, in ?
    run()
  File "C:\test2\url_smtp_alien.py", line 31, in run
    sendmail()
  File "C:\test2\url_smtp_alien.py", line 14, in sendmail
    server.sendmail(me, you, msg.as_string())
  File "C:\Python24\lib\email\Message.py", line 129, in as_string
    g.flatten(self, unixfrom=unixfrom)
  File "C:\Python24\lib\email\Generator.py", line 82, in flatten
    self._write(msg)
  File "C:\Python24\lib\email\Generator.py", line 113, in _write
    self._dispatch(msg)
  File "C:\Python24\lib\email\Generator.py", line 139, in _dispatch
    meth(msg)
  File "C:\Python24\lib\email\Generator.py", line 185, in _handle_text
    self._fp.write(payload)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)

Как обойти ошибку?

Добавлено @ 13:45

Цитата(albertn @ 2.8.2006, 20:35

)

PS. Если не секрет, а зачем тебе это надо?

Цитата(pythonwin @ 31.7.2006, 20:28

)

есть страничка в интернете, которую нужно проверять периодически (загружается/не загружается, итак каждые полчаса). Если страничка не загружается, то нужно отправить сообщение на E-mail. Это реально сделать на питоне?

Автор: pythonwin 2.8.2006, 14:46

Сделал:

Код


# -*- coding: utf-8 -*-
import time,httplib,smtplib
from email.MIMEText import MIMEText
def sendmail():
    msg = MIMEText('Ошибка на главной странице\n\
    перейти на http://myweb.ru:8000', _subtype='text/html', _charset="utf-8")
    msg['Subject'] = 'Ошибка на главной странице'
    you='support@myweb.ru'
    me='support@myweb.ru'
    msg['From'] = me
    msg['To'] = you
    server = smtplib.SMTP('192.168.0.1')
    server.set_debuglevel(1)
    server.sendmail(me, you, msg.as_string())
    server.quit()
    print "Error"
def run():
    while True:
        try:
            conn = httplib.HTTPConnection("200.200.200.200", port="9999")
            conn.request("GET", "/index")
            r1 = conn.getresponse()
            print r1.status
            if r1.status!=200 and r1.status!=403:
                sendmail()
            elif r1.status==200 or r1.status==403:
                print "Ok"
            else:
                print "Gluk"
        except:
            sendmail()
        time.sleep(60*30)
        
print "-"*100
run()
print "-"*100

Добавлено @ 14:48
albertn, БОльшущее тебе спасибо! Выдал сразу несколько вариантов, - ещё раз спасибо! И соответственно плюс! smile

Добавлено @ 14:56

Цитата(albertn @ 2.8.2006, 17:41

)

Вот новый пример:
Выделить всёРазвернуть кодСвернуть кодPython

Код


import time,httplib,smtplib
from email.MIMEText import MIMEText
def sendmail():
    msg = MIMEText("blablabla")
    msg['Subject'] = 'Server'
    you='admin@example.com'
    me='server@example.com'
    msg['From'] = me
    msg['To'] = you
    s = smtplib.SMTP()
    s.connect()
    s.sendmail(me, [you], msg.as_string())
    s.close()
def run():
    while True:
        try:
            conn = httplib.HTTPConnection("www.python.org")
            conn.request("GET", "/index.html")
            r1 = conn.getresponse()
            if r1.status!=200:
                sendmail()
        except:
            sendmail()
        time.sleep(60*30)
        
run()

Это сообщение отредактировал albertn - 2.8.2006, 17:43

За это тоже полагается отдельный плюс, но придется подождать день - два.

Автор: albertn 2.8.2006, 15:04

Собсно я на работе в основном занимаюсь вебом, почтой и т.д., поэтому большой опыт в этой сфере.
К тому-же большенство блоков кода я взял из оригинальной документации.

PS. Вегда рад помочь в том, в чем разбираюсь

Автор: albertn 3.8.2006, 08:26

Цитата(pythonwin @ 2.8.2006, 15:35)

albertn, ты из какого города?

Я из Ставрополя, а ты?
Уже посмотрел, можешь не отвечать

Автор: albertn 21.8.2006, 09:17

Цитата(pythonwin @ 4.8.2006, 16:45)

albertn, а сколько программистов по питону в Ставрополе?

оооооооооооооооочень мало. Больше требуются, чем имеются.

Автор: albertn 21.8.2006, 10:04

За сех сразу ответить не смогу. Вот к примеру у нас в городе 350 тыс человек. Без понятия каков из них процент программистов. У меня в круге общения почти все программисты. Где-то из 50 знакомых программистов питон помимо меня знает еще один человек (мой коллега). А большинство остальных даже не слышали о нем (как и я год назад). Вне моей работы я не встречал программистов на питоне, а на нашей работе достаточно двоих. Делай выводы.

Автор: albertn 21.8.2006, 10:45

Двое взялись изучать

Автор: albertn 21.8.2006, 11:19

Зато я в моем небольшом городке встретил объяву:
Требуется программист на Python. Зарплата от 10 тыс. р.
Несколько типов задумались.
А вообще если посмотреть среди знакомых студентов в питоне разбираюсь только я. Остальные уже закончили.
PS. извеняюсь за smile

Автор: albertn 21.8.2006, 12:05

Цитата(pythonwin @ 21.8.2006, 11:57)

маловота что-то... Хотя для студентов нормально.

Ну как сказать, у нас то и за 10 можно прожить без проблем, но если эти программисты 1С получают от 20, тогда мало.
А работы у нас нет, придется валить отсюда пока не поздно (или достойную работу предложат).

Автор: setq 21.8.2006, 15:04

Модератор: Давайте вернёмся к теме обсуждения.

...личное общение лучше в ПМ