Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Delphi: Общие вопросы > Ускорить парсер..

Автор: Mach3 28.9.2010, 10:11

Код


ntag:=0;
for j:=0 to l do begin
   if j=ntag then begin
       ftag:=posex('<td class="c_n" class="f14">', csom, j);
       ntag:=posex('</td>', csom, ftag);
       if ftag>n then  begin
           str:=copy(csom, ftag+28, ntag-(ftag+28));
           bars.Add(trim(str));
        end;
        n:=ftag;
    end else Continue
end;

Возможно ли ускорить (оптимизировать) как-нибудь этот "кусок"?
Заранее благодарен..

Автор: Matematik 28.9.2010, 10:57

что в переменной "l"?
Что код должен делать?

Автор: Amphiluke 28.9.2010, 11:05

Цитата(Matematik @ 28.9.2010, 14:57

)

Что код должен делать?

Во всей видимости, выбирает текст из HTML-кода таблицы. smile

Автор: RomanEEP 28.9.2010, 11:54

Код


var
  s: string;
  Pos, Pos2, EndPos: Integer;
  Bars: TStringList;
const
  sStart = '<td class="c_n" class="f14">';
  sEnd = '/td'>;
begin
  Pos := 1;
  EndPos := Length(s) - Length(sStart) - Length(sEnd);
  while Pos < EndPos do
  begin
    // находим начало строки
    Pos := PosEx(sStart, s, Pos);
    if Pos < 1 then
      break;
    // находим окончание
    Pos2 := PosEx(sEnd, s, Pos + Length(sStart));
    if Pos2 < 1 then
      break;
    // добавляем найденное
    Bars.Add(Trim(Copy(s, Pos + Length(sStart),
      Pos2 - Pos - Length(sStart) - Length(sEnd)));
    // готовимся к следующему витку цикла
    Pos := Pos2 + Length(sEnd);
  end;

Автор: Amphiluke 28.9.2010, 12:12

Можно обойтись без PosEx (и сответственно, без StrUtils.pas) smile

Код


function ParseTable(const TableCode: string): string;
const
  TAGOPEN = '<td class="c_n" class="f14">';
  TAGCLOSE = '</td>';
var
  i, j: Integer;
  aCode: string;
begin
  aCode := TableCode;
  Result := '';
  i := Pos(TAGOPEN, aCode);
  while i <> 0 do
  begin
    Delete(aCode, 1, i + 27);
    j := Pos(TAGCLOSE, aCode);
    Result := Result + Trim(Copy(aCode, 1, j - 1)) + #13#10;
    Delete(aCode, 1, j + 5);
    i := Pos(TAGOPEN, aCode);
  end;
end;

Использование:

Код


bars.Text := bars.Text + ParseTable(TableCodeHere);

Добавлено через 4 минуты и 45 секунд
В этом случае по мере парсинга строка, в которой ведется поиск, будет планомерно сокращаться, а быстродействие расти, что может быть полезно, если HTML-код таблицы очень большой.

Автор: RomanEEP 28.9.2010, 12:44

Цитата(Amphiluke @ 28.9.2010, 12:12

)

В этом случае по мере парсинга строка, в которой ведется поиск, будет планомерно сокращаться, а быстродействие расти, что может быть полезно, если HTML-код таблицы очень большой.

т.к. PosEx ищет с нужного места, то поиск сокращается аналогично. а вот строка

Код


Delete(aCode, 1, i + 27);

приведет к копированию чудовищного объема данных, так же как и эта:

Код


Result := Result + Trim(Copy(aCode, 1, j - 1)) + #13#10;

+ нагрузка по разбиванию строки на подстроки, неучет возможности, что в ячейке таблицы есть символы переноса строки

Автор: Amphiluke 28.9.2010, 12:54

Пожалуй, вы правы.

Автор: Mach3 28.9.2010, 13:06

примного благодарен за внимание..

RomanEEP, за счет чего ваш код будет работать более шустро?
извиняюсь, если не улавливаю очевидного..

Автор: RomanEEP 28.9.2010, 19:10

Цитата(Mach3 @ 28.9.2010, 13:06

)

RomanEEP, за счет чего ваш код будет работать более шустро?извиняюсь, если не улавливаю очевидного..

1) к примеру, если между 20 и 30 символом я нашел искомую строку, то следующую ищу уже с 30 + Length(sEnd) символа, а твой код крутит цикл 6, 7, 8 и так далее до 30
2)уже с 30 символа пытается искать следующую, хотя надо искать с 30 + Length(sEnd)
3)Если строка пустая, то цикл по j прокрутится всю длину строки
4)Я сделал мелкии оптимизации вроде того что после символа Length(s) - Length(sStart) - Length(sEnd); тоже ничего не будет найдено, т.к просто не уместится

ЗЫ: Можно оптимизировать и дальше, например сделать Trim на лету, совместить поиск конца подстроки с Copy, запихивать найденную подстроку в статический массив, чтобы избежать выделений памяти, может быть заменить Length() на константы (не уверен какой код там подставляет компилятор)

+ можно результаты хранить не в стринг листе, а запихивать в массив Integer начало и конец вхождения найденных подстрок