Проблема заключается в слишком медленной обработке строки адреса. Мне необходимо взять строку с адресом из таблицы и проанализировав её (процесс анализа активно использует SQL-запросы) вытащить оттуда город, поселок, улицу и номер дома. Вот я и подумал, а если взять строку и передать её в отдельную программу с параметрами, где указать саму строку и рекно в таблице и пойти дальше, а эта программка обработает строку и по данному рекно вставит в таблицу результаты анализа. Если запустить таких потоков штук 10, то я думаю выиграш в скорости будет. Только получается, что придется создавать оконное приложение, т.к. на него придется помещать невизуальные компоненты IBDatabase и IBQuery или DataModule. Как вы считаете стоит запариваться???

Как ни прыгай, если тебе в одно поле загнали весь адрес, то задача разделения на город, улицу и т.п. не автоматизируется. Проверено. Так что ручками приводи в нормальную форму, а потом работай.

Хранить в правильном/проанализированном виде... Потоки не помогут

SergeBS У меня написана программа и разработан алгоритм, который с 99% точности позволяет это сделать.
Vit По моему меня не поняли - не хранить, а обрабатывать каждую запись в отдельном потоке, а не останавливать и ждать когда обработается одна запись

[b]mspuz[/b, тебе надо КАЖДУЮ строку??А если в таблице 100 записей, то и 100 потоков??
Или пользователь кликнул по кнопке, в которой обработчик конкретной строки - и приложение при этом не лочится процессом обработки..это скорее всего..Так? Тогда стоит. Знаю гле подобная тема уже поднималась.

VVSF У меня будет ограниченное количество потоков (задается пользователем). Прога считывает адрес из таблицы и создает отдельный поток, затем следующую и т.д., пока количество созданных потоков не будет равно предельному значению. Но если один из потоков уже закончил свою работу, то запускается следующий, т.е. программа все время отслеживает количество потоков перед тем, как создать новый.

Тогда однозначно - стоит.
тем более что это не будет блокировать программу и запросы пройдут незаметно для пользователя...
Добавлено @ 19:15
кстати, можно обойтись и без лишнего окна - создавай динамически все обьекты.. так даже лучше..

Все сделал, наконец-то все заработало, но столкнулся со следующей проблемой - если указываю количесво потоков более 15 вываливается сообщение "Удаленный хост отверг запрос на подключение" и все процессы повисают. Один раз пропустило 100 потоков!!! но потом снова повисло. Корректно работает лишь с 10, но прирост по скорости более чем в 2 раза!!! Так в чем сдесь проблема - сервер не выдерживает??? По моим данным сервер допускает подключение 500 пользоваелей в сети все время около 100, а мне не разрешает даже 20!!! Объясните пожалуйста.

Угу... ответил же - потоки не помогут... Дело в блокировках, происходит их эскалация... и в общем транзакции начинают ждать друг друга. Копать надо в направлении реорганизации структуры, чтобы избежать построчного прохода таблицы

Vit А если на ламерском языке

Да и кстати я не использую транзакции (в явном виде, в неявном то они все равно есть) и все SQL-запросы направленны лишь на выборки и никаких изменений в таблицы я не заношу.

Например MS SQL при SELECT делает блокировку на таблицу (может сейчас не так - я не смотрел последние версии). Надо было использовать NOLOCK.

mspuz

Цитата

У меня написана программа и разработан алгоритм, который с 99% точности позволяет это сделать.

Остается ВСЕ проверить и исправить оставшийся 1%. Это я и называю работать ручками. А уже после этого забыть про старую дурную структуру и работать нормально.
Да, а база случайно не по 475 постановлению?

SergeBS Да с чувством юмора у тя нехило . Но без шуток - я работаю в информационно-почтовой фирме и разбивка адреса здесь значит очень многое, так что программа работает и проверить 1% довольно просто и быстро, так что ручки особо здесь не мараем

На русском языке? Отвечаю - есть 2 механизма поиска данных (грубо говоря) - один когда ты заставляешь сервер:

1. Прочитать строку
2. Проверить её на какое-то условие
3. В зависимости от проверки "пометить" как необходимую
4. Перейти к следующей

Это самый долгий и самый ресурсоёмкий способ поиска. Этот поиск похож на поиск слова в книге путём перелистывая и прочитывая страницу за страницей. К тому же проверяя одну запись сервер блокирует её или её и несколько рядом стоящих на изменение другими процессами, и другие процессы ждут окончания проверки в данном куске таблицы. Если же другой процесс работает над этим куском то твой поиск ждёт.

Есть другой способ - поля заранее проиндексированы, и сервер ищет запись по индексу, не читая саму таблицу. Это похоже на поиск по алфавитному указателю в книге.

Но так же как и в книге нельзя найти по алфавитному указателю страницу на которой в первом абзаце есть слово "мама" а во втором абзаце есть слово "папа" - в данном случае сколь полным бы не был указатель - всё равно прийдётся просматривать всю книгу вручную.

Итого - ваша задача в том виде в котором она сформулирована заставляет сервер просматривать таблицу строка за строкой - и это медленно, очень медленно. Многопоточность в данном случае просто загрузитт сильнее сервер, заставит его тратить на порядок больше памяти, но приведёт лишь к небольшому увеличению производительности. Наиболее корректное решение поставленной задачи - преобразовать таблицу чтобы поиск осуществлялся по полю целиком, т.е. хранить адрес в таблице уже в разобранном состоянии и проиндексированными, а процесс внесения новых данных в таблицу должен включать разбор адреса на составляющие. Т.е. анализ адреса должен осуществлятся не на этапе поиска, а на этапе его занесения в таблицу.

Кроме того, надо установить соответствующий уровень блокировок (как их поставить - зависит от сервера)

Vit
Нас уже двое с одним рецептом .

mspuz
При чем здесь юмор?. Мне как раз перед отпуском подкинули работу по этому постановлению, так ушел на 2 недели позже :-(. А там как раз столичные "спецы" весь почтовый адрес в одно поле требуют класть. Ну я положил. Пусть им будет хуже

Vit ОГРОМНОЕ СПАСИБО!!!!!!!!!!