По какому принципу работают автоматические генераторы контента. Т.е. понятно, что заходят на сайт, скачивают хтмл-страницу, парсят, выкладывают куда надо. Не понятно какую имено часть вырезать, т.е. как программно распознать в хтмл-странице имено сам контент, а не меню, скрипты, хедеры и футеры и т.д. 
К примеру, можно вырезать фрагменты между тегами <td>, и тот который из них больше по объему предположительно и будет контентом, либо вырезать только содержимое поля description.
Какие еще есть идеи?

я бы посмотрел на статистики всякие
например, подозреваю, что во всяких "служебных" частях процент того же "<" будет побольше, чем в обычном тексте
или можно посмотреть на статистику попарных сочетаний
если память не изменяет, нам в курсе по криптографии рассказывали, что этот показатель неплохо характеризует естественный язык, даже использовался для взлома простейших шифров...

Попарных  сочетаний каких именно элементов?

В том то и вопрос как естественный язык отличить от всего остального хлама на веб-странице...

соседних

хотя я сейчас повспоминал, вроде там была частота совпадения символов в зависимости от расстояния между ними...

Можешь подкинуть пару линков на материалы по этой теме? Хотелось бы более подробно вникнуть...

не, просто написал, что вспомнилось с лекций... давно это было уже...