Здравствуйте, уважаемые.

Решил представить вашему вниманию небольшую программку для определения позиций сайта по ключевым словам среди известных поисковиков (google.com, google.ru, yandex.ru)

Прошу оценки, предложения, идеи.

SESpider v0.5.21 (2.7 Мб)
или
SESpider v0.5.21u (200 кб)

Описание:

- 9 российских и зарубежных поисковиков, в их числе отечественные - Google.ru, Yandex.ru, Rambler.ru, Mail.ru; зарубежные - Google.com, Google.com.ua, Google.lv, Yahoo.com, Live.com
- 2 алгоритма поиска позиций
- 4 языка (английский, русский, латышский, украинский)
- выход в интернет через proxy
- защита IP от бана (капча)

1-е окно:
3 колонки (Ключевые слова, Сайты, Поисковые машины), первые 2 активно редактируются, поисковые машины пока строго 3 (Google.com, Google.ru, Yandex.ru)
Есть параметр глубины поиска, (задается в позициях)
Параметр одновременной работы нескольких загрузок страниц.

В формировании запроса могут участвовать несколько ключевых слов, сайтов и поисковых машин.



2-е окно - процесс поиска.
Таблица, колонки  - поисковые машины, ряды - ключевые слова для выбранного сайта из списка сайтов внизу.
Кнопочка остановить.
Включение/выключение отображения предыдущей/лучшей позиции.
Сохранение результатов поиска.



При двойном клике на позиции сайта высвечивается информация о найденной странице: содержимое тега заголовка страницы, и описание релевантного куска текста


История сканирования. Выбор даты, появляется список сайтов, при выборе сайта выводятся позиции.


Настройки частоты запросов к поисковику


Последнее описание возможностей и скриншоты в моём блоге

Это сообщение отредактировал(а) Platon - 31.12.2008, 17:52

А как его запускать? 

Это Java программа, нужно установить Java Runtime Environment.

Ссылкак на страницу с загрузками: http://java.sun.com/javase/downloads/index.jsp Выбрать Java Runtime Environment

Или прямая ссылка: https://cds.sun.com/is-bin/INTERSHOP.enfini...S-CDS_Developer
Около 15Мб

Это сообщение отредактировал(а) Platon - 6.8.2008, 09:17

Обновил до версии 0.3.0

Обновил до версии 0.3.1

Обновил до версии 0.3.2

Что нового то?

В блоге описан changelog.

ну хоть бы кто мяукнул?

вот мой мяу:

Я так понял во втором окне число показывает место сайта на странице с найденным... Что тогда значит просто число "8"? Почему без плюсиков/минусиков, без скобочков (не так многозначительно как на картинке)?

А с точки зрения юзверя - почему бы не сделать всё един окошком?

А так всё супер (непонятно что конкретно, но точно супер))))

1. почему ключевые слова добавляются через новое окошко? Зачем плодить окна?
2. про сайты то же самое.
3. Кнопка пуск нажимается, но ни чего не происходит. Win XP SP3

Добавлено через 56 секунд
Понял юмор, сначала надо выделить слова, поисковики и сайты по которым искать... а если у меня пара сотен слов н каждый сайт?

Добавлено через 1 минуту и 53 секунды
задал сайт без www (в индексе он с www) не нашла софтина.

Добавлено через 9 минут и 57 секунд
А как просмотреть результаты повторно без повторного парсинга?

Больше времени на поиск просто займет, а какие проблемы?



Окэй, разберемся



Есть кнопочка на главном окне "История анализа"

Добавлено через 4 минуты и 16 секунд

У вас последняя версия?

Добавлено через 7 минут и 7 секунд
Или возможно наоборот, вы задали http://www.tra-ta-ta.ru, и ничего не нашло?

За это конечно спасибо ^_^





ваши предложения в картинках



Да, наверно вам трудно понять тайный замысел окраски, и цифорок в скобочках.
Накидаю небольшое появнение:

xx -/+ yy (zz)

xx - текущая позиция сайта
yy - изменение по сравнению с прошлым анализом
zz - лучшая позиция за историю поиска

Если yy = 0 он просто не выводится, ясно понятно, что стрелочка тоже указывает в консонансе со значением yy и не выводится, если позиция не изменилась
Если предыдущего поиска еще не было, то лучшей позиции еще нет, поэтому она также не выводится

Красным текстом выводится позиция, которая >= лучшей позиции за историю поиска, серым - все остальные позиции, даже если сайт показывает положительный yy

Обновил до 0.3.3

А вообще меня волнует поведение google.ru
google.ru почему-то выдает результаты не на той позиции, на которой вижу в браузере. что влияет на вывод? User-Agent? cookie? или что-то еще?

Добавлено @ 11:07
Точнее иногда зашкаливает позицию чуть ли не на Top10, хотя реально на позиции 44-46, через некоторое время SESpider анализирует так как надо.

Это сообщение отредактировал(а) Platon - 12.8.2008, 11:08

Ну ты помни, что критиковать всегда проще   

В общем вот:




ЗЫ: это так... просто предложение....

Обновил до версии 0.3.4

Проблема в юзабилити, это все забивать и каждый раз это все выбирать по новому для каждого сайта.

была да.

И он, и смотря откуда ты парсишь... Через прокси парсишь?

А вот это, кстати, фича, которую надо бы проработать. Пока работа идет без прокси. Браузер и программа выходят одинаковым способом. FireFox и Opera показывают одинаковые результаты.



забивать ведь 1 раз, при следующем открытии всё восстанавливается.
Другое дело ставить галочки, это да, тоже нужная фича.

А что подразумевается под для каждого сайта? Т.е. выбрал сайт из списка и автоматически выбрались нужные поисковики и нужные ключевые слова?

да, можно проекты хранить в отдельном файле и просто подгружать нужные данные для парсинга.

Ок, над этим можно подумать...

Обновил до версии 0.3.5

Обновил до версии 0.3.6

Обновил до версии 0.3.7

Обновил до версии 0.3.8
+ Многоязычный интерфейс

Обновил до версии 0.3.9
  - Яндекс поменял формат вывода данных, изменение учтено

  - Гугл.ру Гугл.ком: не все позиции подходили под шаблон
  - Потоковый метод обработки страницы (если сайт находится в начале страницы, то он будет найден до того, как вся страница будет загружена)

Обновил до версии 0.3.10
  - Нашел неточности в шаблоне обработки результатов Яндекса, исправлено

  - Гугл сменил формат вывода, приведено в соответствие

Обновил до 0.3.11
  + Yahoo.com и Live.com в команде

Там скачки ежечасно, так что не всегда глаза подводят 

скачки по позициям? нет я имел ввиду, что из 10 страниц может распознать 7, от того, что есть вложенные результаты.

Так. Тут такая тема всплыла. Работая с подобными автоматизированными программами, можно получить временный бан от поисковой системы за частое автоматизированное обращение к ней. Можно узнать поподробней допустимую частоту запросов - количество запросов в серии, пауза между сериями запросов  и прочее...

а смысл?
обработка парсером занимает доли секунды

Добавлено через 2 минуты и 20 секунд

Значит выражение неправильно составил

Добавлено через 3 минуты и 40 секунд

однако быстро развивающийся проект 
у меня за год только пара циферок поменялась 

Добавлено через 7 минут и 17 секунд

а ты что этого не ожидал?

У меня выход в интернет на скорости 6 кб/с, при этом параллельно идет кач мувиков, визуальное ускорение ощутимо, поверьте.



не неправильно, а не учел дополнительных вариантов.




так циферка 3-го порядка. Тем более циферки устанавливаются каждым по-разному, и на сколько я знаю, жестких рамок нет, главное, чтобы люди понимали важность (вес) релиза.




Честно сказать, нет. Иначе бы учел. Сам я ни разу под бан не попадал, так что прошу опытных СЕОшников подсказать когда у них случаются баны? как часто и в каких количествах надо обращаться к поисковику?   

ЗЫ: научите ребенка безобразничать!   

Это сообщение отредактировал(а) Platon - 27.8.2008, 18:01

Возвращаюсь к разработке программки.

Планирую ввести новый функционал. Жду предложений.
На повестке:
* графическое представление позиций сайта
* попроектная структура
* выход в интернет через прокси.

Вопросы:
- какими графическими данными оперировать? 
--- координатная система "ключевое слово" - сайт -> дата/позиция
--- еще какие?

- что хранить в проекте? 
--- список исследуемых ключевых слов, сайтов?
--- надо ли хранить проектонезависимый список ключевых фраз и сайтов из которых формируются проетные списки? в дальнейшем позволит делать межпроектные отчеты.
--- еще какие?

- ваши предложения?
--- нужно ли PR, тИЦ
--- зарегистрированность в каталогах
--- прочая стандартная и не очень фишка.

Это сообщение отредактировал(а) Platon - 19.9.2008, 07:07

Обновил до версии 0.3.12

 - исправлен шаблон Yandex.ru

Встала более приоритетная задача: избегание капчи.
Т.к. я ее не видел, и похоже не увижу в ближайшее время из-за недостижимости по скорости интернета.
Я вижу решение сделать для каждого поисковика по 3 параметра: число серии запросов, период за который считается число серии запросов, время задержки между двумя сериями, которые могут регулироваться пользователем...

Это сообщение отредактировал(а) Platon - 4.9.2008, 09:08

- раз все спрашивали про капчу, сделал капчу.
На откуп мастерам настраивать можно самостоятельно.
По умолчанию сделал "выполнять запросы раз в секунду с 30% отклонением"
3 параметра:
1. Число запросов в серии (друг за другом без паузы)
2. Период, в который должна укладывается серия запросов
3. Пауза на остывание, если запросов в серии больше, чем задано в пункте 1

Это сообщение отредактировал(а) Platon - 4.9.2008, 12:59

Рад сообщить о выхоже версии 0.4.0
- попроектная структура работы
- пакетное добавление ключевых фраз

0.4.4
-Yandex.ru сменил формат вывода, приведено в соответствие.
- Mail.ru сменил формат вывода, приведено в соответствие.
  + Для красивости добавил иконок поисковиков.
0.4.5
  - Сменил алгоритм предотвращения капчи (2 параметра - число запросов в серии, период серии
  + Для красивости добавил возможность логотипа сайта (favicon)

SESpider v0.4.5 (1.48 Мб)
или
SESpider v0.4.5u(155.14 кб)

Platon, хороший софт пишешь! Нужная вещь.

Спасибо огромное. Хочется еще услышать предложения по посту http://forum.vingrad.ru/index.php?showtopi...t&p=1625377

0.4.6
  - Исправлена ошибка регистра сайта
  + Добавлена подсветка Top10
  + И самый изюм экспорт в Excel файл

Приношу всем свои извинения, сборка программы получилась неправильной
- Успел исправить ошибку с загрузкой иконки.
0.4.6.1

0.4.7
+ Исправлена проблема с некоторыми favicon
+ Добавлен поисковик Google.lv
+ Добавлена поддержка латышского языка

0.4.8
+ Долгожданная поддержка подключения через Proxy

Обновил до версии 0.5.1
+ Проверка релевантных страниц 
- Исправлен алгоритм защиты IP от бана 
- Экспорт в Excel с окна анализа позиций

Давно не закидывал информаци. 
Тем временем версия 0.5.12.
Много чего добавлено/исправлено, лога не веду.
В блоге на блогспоте выложил темку. SESpider v0.5.12 - определение позиций сайта

Platon, Вы бы расширили список поисковиков )) а то не единым Рашен гуглем живы ))

Str!pe, уже думал, 27-го важный день, до него ничего не делаю, после, думаю, добавлю внушительный список раш/нераш поисковиков ^_^

Так и ручки не дошли до доп поисковиков, но версия 0.5.15 уже бродит в интернете 
С 12 версии изменилось:
- Rambler поменял формат вывода. Приведено в соответствие
+ сортировка по алфавиту ключевых фраз и по позициям в поисковиках 
+ поддержка прокси с http-авторизацией
+++ У программы появилась иконка, чему я несказанно рад. Осталось только титульник придумать. 
+ Появилась новая версия конфирурируемого парсера результатов запросов ПС 
+ копировать данные можно из всех списков, копировать данные из таблиц и вставлять, скажем в Excel, все данные будут раскинуты по нужным ячейкам. 
- найдено отсутствие менеджера паузы между запросами в конфигурируемом парсере. Устранено.

Если парсинг сделать не так как в семониторе (сначала весь список через один поисковик, потом весь список через другой поисковик и т.д.), а сделать допустим три слова через 1 поисковик, потом три слова через другой поисковик (возможность настроек) то это поможет не так сильно палиться перед поисковиками, а следовательно поможет избежать капчи дольше.

Добавлено @ 22:44
ЗЫ: Сейчас я парсю список из тысячи слов через семонитор без проксей на предмет позиций. За раз пускаю 10 слов по 4 поисковикам, за весь день так и не поймал ни одной капчи.

Это сообщение отредактировал(а) Str!pe - 10.12.2008, 22:47

В канун НГ отмечусь и на этой тусовке.


Str!pe, 

Так было и сделано изначально. Странно, что вы этого не заметили.

Появилась новая версия 0.5.21, что нового с 0.5.15

0.5.16
- оптимизирована обработка данных в таблице истории анализа (уменьшилась задержка отклика на клики по списку сеансов и списку сайтов в окне Истории анализа)
- оптимизирована предварительная обработка данных процесса анализа позиций. (Быстрее появляется окно анализа)
* Крайне рекомендуется сменить пользователям, проверяющим более 100 ключевых фраз на проект.

0.5.17
+ добавлены контекстные меню в главное окно (Копировать, выделить всё, свойства).
- в очередной раз улучшил скорость отклика в окне истории и при старте анализа позиций.
+ при неудачной попытке подключиться к ПС ячейка ПС/Ключевик загорается красным.
- устранена ошибка при проблеме подключения к ПС. Программа запрашивала все страницы по ключевой фразе. Хотя понятно, что если ПС не отвечает на первой странице - она не ответит на следующей.

0.5.18
- исправлена ошибка настройки прокси
+ изменены размеры окна истории анализа (таблице отведено больше места)
+ показ страницы из поисковой выдачи 
+ диалоговое окно сводной статистики стало красивее и интернациональнее
+ копирование таблицы в буффер обмена с заголовком.

0.5.19
+ из таблиц копируется то, что показывается, а не только позиции.

0.5.20
    - программа стала кешировать рекламные картинки для уменьшения сетевого трафика.
+ добавил картинок к пунктам меню
+ определение PR и тИЦ сайтов в проекте

0.5.21
+++ импорт проектов из semonitor

Platon, там НЕ стоит.

В данный момент программа, вроде бы, и не палится.

Т.е. вы хотите сказать, что в моей программе если рассматривать для одного поисковика, , сейчас такая картина:
Берется одна фраза и с паузой в 4 секунды парсит страницы выдачи.
А вы хотите сказать, что можно параллельно пускать несколько фраз с такими же паузами?

И если брать по 3 слова в раз, то проверить позиции получится в 3 раза быстрее? Вы уверены, что так будет без палева?

Platon, я хотел сказать что программа палится. Что можно проверть допустим из списка сначала 5 слов в одном поисковике, затем те же пяь слов в другом, потом их же  втретьем а потом так же браться за остальные. За пять слов с паузой ничего не будет, а промежуток значительный получается.

А у меня вот такая задумка крутится. Возможность сделать запросы с зазновременными задержками, которые пользователь может прописать сам. Пример:
1,2,3,60
Будет значить, что первая пауза 1 сек, вторая - 2, третья 3, четвертая, чтоб не запалиться, 60, пятая опять 1 и т.д.

Platon, задумка отличная, для простоты сделать тупой рандомайзер который сам поставит задержку из заданого промежутка времени указаного пользователем... еще бы сделать так, что бы пользователь мог выбрать сколько за один заход проверять слов в каждом поисковике... тоесть проверяем из ста слов сначла перве 10 в каждом поисковике, потом слеждующие и тд и тп.

Str!pe, у меня и так рандомайзер стоит +/-30% от назначенной задержки.
А так мне интересно имеет ли смысл сделать такой массив пауз или обойтись рандомайзером?

Добавлено через 3 минуты и 31 секунду

Признаюсь, заморачиваться этим я в ближайшем времени не буду.

Я ни куда не спешу, учитывая что мне нужен скрипт проверяющий позиции в промышленных маштабах.

Что то выдаёт совсем не то место...