Доброго дня всем!

Никак не могу составить алгоритм. Подскажите, пжлст, как можно решить такую задачку.
Есть множество новостных сайтов. На страничке, кроме текста, может быть всякий "мусор": реклама, комментарии, всякие блоки типа "Читайте также", и т.д. 

Исходные данные:
Есть HTML код страницы
Есть заголовок статьи 

Как можно получить текст новости? 

Мы с командой 10 лет назад для этой задачи всё же сделали возможность вручную создавать для каждого сервера (источника новостей) свой шаблон - указывать, какие блоки выкидывать со страницы, а какие - брать в качестве результата. Просто у используемых серваков была довольно хорошая разметка блоков (комментариями к блокам, например). И прога создавалась только для работы в одной конторе, поэтому в рамках регулярной техподдержки можно было шаблоны регулярно обновлять и дорабатывать.

ЗЫ. Блоки - имеется в виду не divная верстка, а именно структурные блоки документа.

ЗЗЫ. См в сторону готовых систем, объединяющих новости из разных источников и их анализирующих - например, на Астарту от русской Когнитив Технолоджиз (cognitive.ru - а там в продуктах). Пошарьте в инете насчёт логики работы подобного софта.

VictorTsaregorodtsev, спасибо, принял к сведению, буду читать

1) Можете посмотреть технологию xpath и регулярные выражения. Например, web-harvest.
Так у Вас для каждого сайта будет свой способ выделения новости.

2) Попытайтесь написать общий алгоритм для выделения полезного текста. Так будет один алгоритм для всех сайтов.

1-й способ - более качественные результаты по сравнению со 2-м
1-й способ будет сложнее поддерживать, очень трудозатратный, в сравнении со 2-м.
2-й способ сложный по сравнению с первым.

Да, и ещё, раз там новости, возможно, будет очень полезно работать с rss.