Здравствуйте, уважаемые.
Java HTML Parser: Введение
Очередное утро - очередная задача - очередная порция новой информации - очередной FAQ.
На этот раз взбрело мне в голову ковыряться в содержимом html документа не с помощью RegExp, хотя возможно он был бы менее ресурсозатратным(?), а с помощью более подходящего для этих целей инструмента HTMLEditorKit
Сразу оговорю, чем HTMLEditorKit выгодно отличается, например, от того же http://forum.vingrad.ru/faq/topic-158003.html, он может работать с неправильным html кодом, т.е. скрадывает ошибки, допущенные верстальщиком при написании html кода.
HTMLEditorKit сравнил с SAXParser не спроста. Дело в том, что оба этих инструмента используют похожую модель обработки данных. Так, что если вы знакомы с SAXParser, то вам не составит труда познать таинства HTMLEditorKit.
HTMLEditorKit поставляется с jdk5 и используется для разбора html кода в компоненте JEditorPane
HTMLEditorKit работает со стандартным DTD (HTML докуметами), но также может принять и пользовательский DTD, тем самым становится мощным и гибким инструментом для работы с частично неправильными xml документами
Уверенным программистам рекомендую почитать информацию, предоставленную Sun http://java.sun.com/products/jfc/tsc/articles/bookmarks/
Java HTML Parser: Задача.
Из содержимого html документа извлечь все ссылки(часто встречаемая в быту).
Java HTML Parser: Теоретическая часть.
Сердцем всего HTML парсера является класс HTMLEditorKit.ParserCallback окинем взглядом его методы:
| Код |
public void flush() throws BadLocationException
public void handleText(char[] data, int pos)
public void handleComment(char[] data, int pos)
public void handleStartTag(HTML.Tag t,
MutableAttributeSet a, int pos)
public void handleEndTag(HTML.Tag t, int pos)
public void handleSimpleTag(HTML.Tag t,
MutableAttributeSet a, int pos)
public void handleError(String errorMsg, int pos)
public void handleEndOfLineString(String eol)
|
flush() - как и обычный потоковый flush(), этот метод сигнализирует нам, что парсинг HTML документа закончен и необходимо завершить все вычисления, слить все промежуточные данные.
handleText(char[] data, int pos) - обработка текста <a href="...">текст</a> <p>текст</p> и т.д. data содержит текст, pos позиция в документе
handleComment(char[] data, int pos) - обработка встречаемых комментариев. data содержит текст, pos позиция в документе
handleStartTag(HTML.Tag t, MutableAttributeSet a, int pos) - обработка открытия тега, пример <a href="test.html" rel="nofollow"> t - тег (в нашем примере HTML.Tag.A), a содержит набор атрибутов (в нашем случае HTML.Attribute.HREF и HTML.Attribute.REL)
handleEndTag(HTML.Tag t, int pos) - сигнализатор закрытия тега
handleSimpleTag(HTML.Tag t, MutableAttributeSet a, int pos) - обработка тега, не предусматривающего закрытие (одиночки), пример <img src="img.png" border="0" />, t - тег (в нашем примере HTML.Tag.IMG), a содержит набор атрибутов (в нашем случае HTML.Attribute.SRC и HTML.Attribute.BORDER)
handleError(String errorMsg, int pos) - обрабатывается ошибка, пример "end.missing div ? ?", pos - позиция в документе, где определена ошибка
handleEndOfLineString(String eol) - обработка новой строки в документе.
Есть пара моментов для уточнения:
1. handleText и handleEndOfLineString. handleText получает в качестве параметра символьный массив, в котором последовательность так называемых Whitespace символов заменяется на 1 пробельный символ. handleEndOfLineString поможет нам обработать перенос строки, склеив с текстом, а также поможет вести статистику строка/позиция, а не позиция.
2. handleStartTag(HTML.Tag t, MutableAttributeSet a, int pos). Интересен тут следующий факт: обычно в передаваемом объекте MutableAttributeSet содержатся ссылки на объекты HTML.Attribute, такие как HTML.Attribute.HREF, HTML.Attribute.SRC, ... если в html документе встречаются недокументированные атрибуты, они передаются в MutableAttributeSet как строки, т.е. <a href="test.html" myattr="Доктор Хаус уже на экранах!">, в данном случае MutableAttributeSet будет содержать 2 атрибута HTTP.Attribute.HREF@4564(href) => "test.html" и String@4565(myattr) => "Доктор Хаус уже на экранах!"
Java HTML Parser: Основная часть.
Засекаем секундомеры.
LinkCollector.java
| Код |
package ru.vingrad.platon.htmlparser;
import javax.swing.text.MutableAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLEditorKit;
import javax.swing.text.html.parser.ParserDelegator;
import javax.swing.text.BadLocationException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
public class LinkCollector extends HTMLEditorKit.ParserCallback {
private Link currentLink;
private LinkObjectStream objectStream;
public LinkCollector(LinkObjectStream objectStream) {
this.objectStream = objectStream;
}
public void handleStartTag(HTML.Tag t, MutableAttributeSet a, int pos) {
if (HTML.Tag.A == t)
currentLink = new Link("", (String)a.getAttribute(HTML.Attribute.HREF), (String)a.getAttribute(HTML.Attribute.ALT),
(String)a.getAttribute(HTML.Attribute.TITLE), isNoFollow(a.getAttribute(HTML.Attribute.REL)));
}
private static boolean isNoFollow(Object attribute) {
return ("nofollow".equals(attribute));
}
public void handleEndTag(HTML.Tag t, int pos) {
if (HTML.Tag.A == t) {
objectStream.write(currentLink);
currentLink = null;
}
}
public void handleText(char[] data, int pos) {
if (currentLink != null)
currentLink.text += new String(data);
}
public void flush() throws BadLocationException {
if (currentLink != null) {
objectStream.write(currentLink);
currentLink = null;
}
}
public static void main(String[] args) throws IOException {
new ParserDelegator().parse(new InputStreamReader(new URL("http://vingrad.ru").openStream()), new LinkCollector(new ConsoleStream()), true);
}
}
|
LinkObjectStream.java
| Код |
package ru.vingrad.platon.htmlparser;
public interface LinkObjectStream {
void write(Link currentLink);
}
|
Link.java
| Код |
package ru.vingrad.platon.htmlparser;
public class Link {
public String text;
public String path;
public String alt;
public String title;
public boolean noFollow;
public Link(String text, String path, String alt, String title, boolean noFollow) {
this.text = text;
this.path = path;
this.alt = alt;
this.title = title;
this.noFollow = noFollow;
}
public Link() {
}
}
|
ConsoleStream.java
| Код |
package ru.vingrad.platon.htmlparser;
public class ConsoleStream implements LinkObjectStream {
public void write(Link currentLink) {
System.out.println("Link: " + currentLink.path + "; description: " + currentLink.text);
}
}
|
LinkCollector - сердце нашей программы, в мы определяем поведение и состояние сборки ссылок.
3 метода делают всю работу:
| Код |
public void handleStartTag(HTML.Tag t, MutableAttributeSet a, int pos) {
if (HTML.Tag.A == t)
currentLink = new Link("", (String)a.getAttribute(HTML.Attribute.HREF), (String)a.getAttribute(HTML.Attribute.ALT),
(String)a.getAttribute(HTML.Attribute.TITLE), isNoFollow(a.getAttribute(HTML.Attribute.REL)));
}
public void handleEndTag(HTML.Tag t, int pos) {
if (HTML.Tag.A == t) {
objectStream.write(currentLink);
currentLink = null;
}
}
public void handleText(char[] data, int pos) {
if (currentLink != null)
currentLink.text += new String(data);
}
|
Сначала мы создаем новую ссылку(Link), устанавливаем доступные нам атрибуты, за исключением текста, он пока остается пустым. затем, если будет текст внутри ссылки(в html коде), то вызывается метод обработки текста handleText и присваивается к тексту объекта текущей ссылки(Link). Как только мы получаем команду закрытия тега (а она будет, даже если тег в HTML тексте не прописан), мы сливаем объект ссылки (Link) высокоуровневому обработчику LinkObjectStream, или его конкретной реализации ConsoleStream.
Результат работы программы над винградовской главной страницей:
| Цитата |
Link: /index.php; description:
Link: /reg.php; description: Регистрация
Link: ; description: Восстановить пароль
Link: /index.php; description: ГЛАВНАЯ
Link: /shop.php; description: МАГАЗИН
Link: http://forum.vingrad.ru; description: ФОРУМ ПРОГРАММИСТОВ
Link: http://base.vingrad.ru; description: БАЗА ЗНАНИЙ
Link: /list.php?section=15; description: Менеджер проектов (8)
Link: /list.php?section=16; description: Менеджер по продажам (2)
Link: /list.php?section=17; description: Арт-директор (2)
Link: /list.php?section=18; description: Менеджер по персоналу (1)
Link: /list.php?section=19; description: Менеджмент проектов (8)
Link: /list.php?section=20; description: Сайт "под ключ" (17)
Link: /list.php?section=21; description: Копирайтинг (3)
Link: /list.php?section=22; description: Дизайн сайтов (10)
Link: /list.php?section=23; description: Верстка (14)
Link: /list.php?section=24; description: Веб-программирование (27)
Link: /list.php?section=25; description: Системы администрирования (CMS) (11)
Link: /list.php?section=26; description: QA (тестирование) (1)
Link: /list.php?section=27; description: Wap/PDA-сайты (1)
Link: /list.php?section=28; description: Флеш-сайты (4)
Link: /list.php?section=29; description: Логотипы (3)
Link: /list.php?section=30; description: Фирменный стиль (2)
Link: /list.php?section=31; description: Баннеры (2)
Link: /list.php?section=32; description: Рисунки и иллюстрации (6)
Link: /list.php?section=33; description: Технический дизайн (2)
Link: /list.php?section=34; description: Иконки (4)
Link: /list.php?section=35; description: Анимация (4)
Link: /list.php?section=36; description: Полиграфия (1)
Link: /list.php?section=37; description: Дизайн упаковки (1)
Link: /list.php?section=38; description: Наружная реклама (2)
Link: /list.php?section=39; description: Дизайн выставочных стендов (0)
Link: /list.php?section=40; description: Презентации (2)
Link: /list.php?section=41; description: Дизайн интерьеров (0)
Link: /list.php?section=42; description: Ландшафтный дизайн (0)
Link: /list.php?section=43; description: Интерфейсы (0)
Link: /list.php?section=44; description: Промышленный дизайн (0)
Link: /list.php?section=45; description: Разработка шрифтов (0)
Link: /list.php?section=46; description: Пиксел-арт (0)
Link: /list.php?section=47; description: Комиксы (1)
Link: /list.php?section=48; description: Чертежи (0)
Link: /list.php?section=49; description: Полиграфическая верстка (1)
Link: /list.php?section=50; description: 2D Персонажи (2)
Link: /list.php?section=51; description: Векторная графика (4)
Link: /list.php?section=52; description: Предпечатная подготовка (0)
Link: /list.php?section=53; description: Архитектура/Инжиниринг (1)
Link: /list.php?section=54; description: Флеш-сайты (3)
Link: /list.php?section=55; description: Флеш-графика (5)
Link: /list.php?section=56; description: Анимация (4)
Link: /list.php?section=57; description: Flash/Flex-программирование (5)
Link: /list.php?section=58; description: Баннеры (3)
Link: /list.php?section=59; description: Веб-программирование (27)
Link: /list.php?section=60; description: Базы данных (32)
Link: /list.php?section=61; description: Прикладное программирование (44)
Link: /list.php?section=62; description: Системное программирование (21)
Link: /list.php?section=63; description: 1С-программирование (2)
<...>
|
http://sespider.ru |
)