Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Perl: Общие вопросы > Слова на html страницы


Автор: player943 17.12.2006, 21:11
Граждане, вот проблема, нужно просто найти число одинаковых слов на html содержимом страницы
У меня программа почему то не считает одинаковые слова находящиеся в одной строке, помогите плз.

Код

#!/usr/bin/perl

use LWP::Simple;
use LWP::UserAgent;

print "Enter URL: ";
$a = <STDIN>;
chomp($a);

getstore($a, "file2");
open (IN, "file2");
@ar = <IN>;

$j = 0;
print "Enter word: ";
$str=<STDIN>;
chomp($str);

#$str = "test";

 $length = @ar;
 for ($i=0;$i < $length;$i++)
  {
  $ar[$i]=~ s/<[^>]*>//gs;

   if($ar[$i]=~/$str/ig)
    {
      $j++;
    }
  }
print "Words: $j\n";

Автор: nitr 17.12.2006, 21:49
заюзай хеш smile

$hash{слово_которое_повторяется}++;

Добавлено @ 21:52 
но код ужасен smile, я так понял это слово вводится?

Автор: player943 17.12.2006, 22:20
вводиться 2 параметра: страница в интернете и слово
1)например если вводить : http://www.google.ru  и слово google то находит только 2 раза, хотя их там 3
2) если попробовать: http://www.linuxjournal.com и слово embedded то все ок, 5 раз встречалось.

file2 используется для просмотра содержимого Html страницы

udp: поправил сообщение о getstore

Автор: nitr 17.12.2006, 22:54
разве? smile
читаем perldoc LWP::Simple
это сохранение содержимого по ссылке $url в файл $file
т.е.
Код

#!perl -w
use LWP::Simple;
use strict;

getstore('http://www.yandex.ru/', 'output.html');

сохранит содержимое странички по ссылке Яндекса в файл output.html

Добавлено @ 22:55 
Цитата

getstore($url, $file)

Gets a document identified by a URL and stores it in the file. The
return value is the HTTP response code. 

Автор: player943 17.12.2006, 23:38
с getstore я разобрался...
а тогда в чем ошибка , почему не считает на строке,а только постолбцам? 

Автор: nitr 17.12.2006, 23:52
молодец, тогда скажи, необходимо ли учитывать html-теги? smile
если нет, то способов очень много, один из простых, но не всегда эффективный способ:
Код

$content =~ s/<[^>]+?>//gsm;

Автор: nitr 18.12.2006, 00:11
ну а можешь так попробовать... если так нужен getstore ;)
Код

#!perl -w
use LWP::Simple;
use strict;

print "Input url: ";
chomp(my $url = <STDIN>);
print "Input word: ";
chomp(my $str = <STDIN>);

getstore('$url', 'output.html');
open my $flh, '<output.html';
local $/;
my $content = <$flh>;
close $flh;
$content =~ s/<[^>]+?>//gsm;
my $count;
while ($content =~ /\b$str\b/g) {
    $count++;
}
print $count;



можно так сделать (принцип один, но имхо быстрее ;), да и кода меньше):
Код

#!perl -w
use LWP::UserAgent;
use strict;

print "Input url: ";
chomp(my $url = <STDIN>);
print "Input word: ";
chomp(my $str = <STDIN>);

my $content = LWP::UserAgent->new->get($url)->content;
$content =~ s/<[^>]+?>//gsm;
my $count;
$count++ while ($content =~ /\b$str\b/g);
print $count;

Автор: player943 18.12.2006, 09:14
Спасибо большое, я разобрался  smile 

Автор: nitr 18.12.2006, 19:07
player943, не за что.
Надеюсь со всем разобрался? smile был бы тут amg, он бы ещё уменьшил код =)))

Автор: player943 18.12.2006, 21:30
Решил прикрутить html + cgi

http://host/cgi-bin/form2.cgi
Код

#!/usr/bin/perl
use LWP::UserAgent;
#use strict;
use CGI qw(:standart);
use CGI qw( :cgi );

print "Content-type: text/plain\r\n\r\n";
#print "Input url: ";
#chomp(my $url = <STDIN>);
#print "Input word: ";
#chomp(my $str = <STDIN>);
$http = param('url');
$word = param('str');
my $content = LWP::UserAgent->new->get($http)->content;
$content =~ s/<[^>]+?>//gsm;
my $count;
$count++ while ($content =~ /\b$word\b/g);
print $count;


http://host/form2.html
Код

<FORM action="http://host/cgi-bin/form2.cgi" method="get">
url: <INPUT TYPE="text" name="url">
<BR>
word: <INPUT TYPE="text" name="str">
<BR>
<INPUT type="submit" value="ok"><INPUT type="reset">
</FORM>


и и и ничего не выводит  smile 
если в form2.cgi изменить print $count; на print $word; то показывает искомое слово (если print $content; то показывает подержимое html странцы на искомой странице)

Добавлено @ 21:37 
Все и с этим разобрался  smile 

form2.cgi
Код

#!/usr/bin/perl
use LWP::UserAgent;
use CGI qw(:standart);
use CGI qw( :cgi );

print "Content-type: text/plain\r\n\r\n";
$http = param('url');
$word = param('str');
my $content = LWP::UserAgent->new->get($http)->content;
$content =~ s/<[^>]+?>//gsm;
my $count;
while ($content =~ /\b$word\b/g) {
    $count++;
    }
print "Number of words: $count";

Автор: nitr 18.12.2006, 21:57
player943, интересная задачка =))
Лаба что-ли? Или типа поисковика, статистика? smile

Автор: player943 18.12.2006, 22:06
Да обычная лаба.
Просто я мог бы скачать готовые скрипты с инету, но самому интереснее написать ctrl + f

Автор: player943 26.12.2006, 15:08
Появилась еще проблема: надо расчитать кол-во однаковых слов на странице.
То есть не задавая слово как параметр в предыдущей программе...

Автор: korob2001 26.12.2006, 17:04
Что-то в этом роде?
Код

#!/usr/bin/perl
use LWP::UserAgent;
use CGI qw(:standart);     # Это лишнее, один параметр лучше получить вручную
print "Content-type: text/plain\n\n";
$http = param('url');
my $content = LWP::UserAgent->new->get($http)->content;
$content =~ s/<[^>]+?>/ /gsm;

my %res = ();
$content =~ s/\b(.*?)\b/++$res{lc($1)}/eg;

print ucfirst($_) . " => $res{$_}\n" for sort keys %res;

Только я его не тестировал, так что возможно где-то ошибся.

Автор: player943 28.12.2006, 10:09
Программа рабочая, но я никак не пойму как мне сделать так чтобы выводились только кол-во слов, без учета знаков припинания "_ , . пробела и тд" 

Автор: korob2001 28.12.2006, 10:32
Для начала, нужно выяснить, что есть слово, в твоём понимании? После можно менять этот шаблон:
Код

$content =~ s/\b(.*?)\b/++$res{lc($1)}/eg;

Например мы подразумеваем под словом, последовательность символов латинского алфавита.

Допустим у нас есть строка:
Код

This is a simple ------- test.

Нам необходимо найти такие слова как "This",  "is", "a", "simple", "test".  Изменим шаблон на такой:
Код

$content =~ s/\b([A-Za-z]+)\b/++$res{lc($1)}/eg;

В итоге мы будем считать все последовательности символов из латинского алфавита. Если же слова состоящие из одного символа нам не нужны, то их можно тоже отсеять немного изменив предидущий шаблон.
Код

$content =~ s/\b([A-Za-z]{2,})\b/++$res{lc($1)}/eg;

Теперь символ "a" не будет принят за слово.

Вобщем сначала нужно знать, что есть слово, в твоём случае.

Автор: Zuzu 29.12.2006, 10:45
Цитата(korob2001 @  28.12.2006,  13:32 Найти цитируемый пост)
Для начала, нужно выяснить, что есть слово, в твоём понимании?


Я применял другой подход. Выяснил для себя, что "точно есть не слово", затем эти "не слова" заменил на "мой разделитель" и разобрал строку спомощью split.

Что-то типа:

Код

...
my $delimiters = ',.;!?';
$line =~ s/$delimiters/ /g;
...


Получилось в несколько проходов, зато, ИМХО, более наглядно.

Автор: korob2001 29.12.2006, 13:12
Вероятность что-то пропустить (не учесть) гораздо больше, когда ты исключаешь то, что не нужно. Легче выделить именно то, что нужно. Хотя основное приимущество такого подхода состоит в том, что вероятность допустить ошибку снижается до нуля. Об этом помоему, можно почитать в книге "Разработка CGI приложений на Perl", где автор очень хорошо это объясняет. Правда там речь шла об очистке данных, полученных из сети.

ЗЫ: Я точно не помню, в какой именно книге об этом написано, потому написал ПОМОЕМУ. Но если интересно, то могу уточнить это.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)