Парсю сайт, на маленьких страницах всё ок, но когда sizeof(arr) начинает превышать 5 млн символов - можно идти гулять, курить и т.д.
| Код |
QByteArray arr = QString(rep->readAll()).toLatin1();
QStringList sList;
qDebug() << arr.length();
QRegExp exp("регулярное_выражение");
while ( (lastPos = exp.indexIn( arr, lastPos )) != -1)
{
lastPos += exp.matchedLength();
if (exp.matchedLength() == -1)
break;
sList << exp.cap(1);
}
|
Как можно вот это всё ускорить.
Если кто знает, как впихнуть сайт в DOM или где это описано, и будет ли это быстрее - киньте ссылкой. Заранее спасибо. |
)