Форум программистов [Powered by Invision Power Board]

Код


#!/usr/bin/perl
use strict;
 use warnings;

open (FIN, '<', 'domain.txt') || die 'No read file! \n';
open (my $fout, '>', 'domain_out.csv')  || die 'No write file! \n';

 my $countAll = '0'; my $countGood = '0';
# foreach my $domain ( @domains ) {
while (<FIN>){ # while читает построчно, и не вешает всю память при чтении больших файлов
# для многопоточной проверки надо бы здесь подавать порциями по числу потоков... скажем есть 10 прокси или IP хостера, значит 10 потоков... как?

  $countAll++; # считаем все домены
 my $domain = $_;
 chomp( $domain );

 my ($goodDomainOne, $oneParametr) = checkOneSite("$domain"); # нужна многопоточная проверка доменов по первому сайту. возвращаем успешнопройденный домен в $goodDomainOne и результат в $oneParametr, возможны еще какие то параметры кроме $oneParametr
# что нибудь делаем, проверяем
        if ($oneParametr) { # только успешнопройденные

 my ($goodDomainSecond, $secondParametr)  = checkSecondSite("$domain"); # нужна многопоточная проверка доменов по первому сайту. возвращаем успешнопройденный домен в $goodDomainSecond и результат в $secondParametr, возможны еще какие то параметры кроме $secondParametr
 # что нибудь  делаем
         if ($secondParametr) { # только успешнопройденные

  $countGood++; # считаем успешно прошедшие
 print {$fout} "$countAll;$countGood;$goodDomainOne;$oneParametr;$goodDomainSecond;$secondParametr\n";
 print             "$countAll;$countGood;$goodDomainOne;$oneParametr;$goodDomainSecond;$secondParametr\n";

            }
                      }
                                }

close ($fout);
close (FIN);

Код


#!/usr/bin/perl
$|=1;
use v5.10;
use strict;
use warnings;
use AnyEvent::HTTP;

#...
#подгрузка данных
my @good_site;
my @bad_site;

my $cv = AnyEvent->condvar;
my $count=0;#отвечает за кол-во не обработанных коллбэков
 
foreach my $link (@links){
   $count++;
   http_request(
      GET     => $link,
      headers => { "user-agent" => 'Opera/9.80 (X11; Linux x86_64; U; ru) Presto/2.8.131 Version/11.10' },
      timeout => 10,
      sub {
         if($_[1]->{Status}==200){
            push @good_site, $link;
         } else {
            push @bad_site, $link;
         }
         (--$count)==0 ? $cv->send : undef;
   };
}
$cv->recv;

Цитата(EcSYZ @ 6.5.2011, 21:00)

Вот примерно так под AnyEvent будет. С проксями ничего думаю не подскажу, ибо с ними не заморачивался.

Код


#!/usr/bin/perl
$|=1;
use v5.10;
use strict;
use warnings;
use AnyEvent::HTTP;

my $threads=20;#кол-во одновременных запросов
my $threads_run=0;
$AnyEvent::HTTP::MAX_PER_HOST=$threads;#меняем дефолтное 4 на нужное нам кол-во одновременных запросов, т.е. 20

my @links;
my @good_site;
my @bad_site;

#...
#подгрузка данных
#...

&cycle_run;

sub cycle_run
{
   while(scalar @links != 0){
      my $cv = AnyEvent->condvar;

      for(1 .. $threads){
         #если ссылок больше нет, то не пытаемся больше стартовать запросы
            last if(scalar @links == 0);
            &run($cv, pop @links);
      }
      last if($threads_run == 0);
      $cv->recv;
   }
}

sub run
{
   my $cv   = shift;
   my $link = shift;

   $threads_run++;
   http_request(
      GET     => $link,
      headers => { "user-agent" => 'Opera/9.80 (X11; Linux x86_64; U; ru) Presto/2.8.131 Version/11.10' },
      #proxy => [$host, $port[, $scheme]]
      timeout => 10,
      sub {
         #разные действия
         (--$threads_run) == 0 ? $cv->send : undef;
      }
   );
}