Здравствуйте, уважаемые форумчане!

Прошу вашей консультации по следующей ситуации.

Есть программа, получающая на некотором этапе массив ссылок (как правило около 30), которые необходимо обработать и записать результат в таблицу:



Однако перед этим необходимо перед началом обработки удалить из массива те ссылки, которые уже есть в таблице (поле url)
Рассчитываю, что это значительно увеличит производительность программы.

Беда в том, что сделать выборку

едва ли возможно, т.к. в таблице порядка 10.000.000 записей, и если сотня-другая потоков станет делать такие выборки по text-полю, пусть и в критической секции, но к добру это не приведет.

Единственная идея, которая приходит на ум — это добавить "индексное" поле с MD5-хешами ссылок

и делать выборку по нему:


Возможно есть более эффективные способы?

Буду благодарен за любую помощь.

Это сообщение отредактировал(а) AnemoN - 5.10.2012, 11:16

то есть, у тебя URL выступает уникальным ключом, так?
тогда и объяви его уникальным ключом.
и используй конструкцию

Нет, url'ы могут быть одинаковыми

INSERT вообще не получится сделать, т.к. для этого нужно сначала загрузить кучу данных и обработать их (они записываются в другую таблицу, связанную с текущей по iid), чего я и пытаюсь избежать.

Извините за несколько сумбурное объяснение, стараюсь как могу   

Если поле проиндексировать (сейчас, без индекса, сервер офигеет и от трёх потоков) - станет легче.
Если использовать хэш с индексом по нему - серверу станет ещё легче. 
Только:

1) MD5 не бывает короче 32 символов. Зачем VARCHAR? просто CHAR;
2) MD5 всё равно текстовый. Используйте хэширование в UNSIGNED INT, числа обрабатываются быстрее строк, а 4 миллиардов при 10 миллионах записей вполне достаточно;
3) В запросе-выборки по хэшам получайте не только IID, но и сам URL, и проверяйте - а вдруг коллизия?

Спасибо!

Действительно, замена MD5 на CRC32 в uint - это то, что нужно.