| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Perl: разработка для Web > определить язык страницы |
| Автор: fafl 1.11.2009, 04:35 |
| народ, возникла интересная задача. Допустим получили мы через lwp содержимое страницы по адресу. Как определить основной язык страницы? (ну допустим en, ru, de...) |
| Автор: Itsys 1.11.2009, 08:10 |
| А чего интересного... Пиши простейший лингвистический анализатор - на каждый язык словарь побольше, проверяешь количество вхождений слов на странице в каждый словарь и на основе этого принимаешь решение о том, на каком яхыке текст. Чем объемнее будут словари - тем точнее результат. Для грубого подсчета можно составить словарь из из предлогов. Добавлено через 34 секунды ЗЫ сам алгоритм подсчета элементарный |
| Автор: fafl 1.11.2009, 11:39 |
| так вариант я уже продумывал. но хотелось бы получить более простое и элегантное решение. а главное, более быстрое. |
| Автор: Itsys 1.11.2009, 14:35 |
| Мог бы перед тем, как задавать вопрос, http://search.cpan.org/search?query=language&mode=all, и найти, например модуль Text::Language::Guess |
| Автор: DaemonSuw 2.11.2009, 18:14 |
| http://cpansearch.perl.org/src/RUDENKO/Lingua-DetectCyrillic-0.02/docs/ru/DetectCyrillic.htm - я думаю если вы допишите его никто не будет против... вроде знает 3 языка русский, украинский, английский |