| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Java EE (J2EE) и Spring > Connection Pool |
| Автор: batigoal 18.2.2005, 17:06 |
| Уже несколько раз встречал советы типа "Используй для коннекта к БД connection pool". Объясните плиз, кратенько, с чем его едят, в чем выгода и, если можно, скелетную схему реализации. |
| Автор: AntonSaburov 18.2.2005, 17:18 |
| Основная идея connection pool состоит в том, что затраты на создание коннекта к базе достаточно ресурсоемкая операция и удобно иметь некоторое количество уже готовых коннектов к базе, которые пул выдает по требованию. Т.е. идея сделать класс, который внутри себя содержит массив уже открытх коннектов. При запросе коннекта пул отдает свобожный и помечает его как занятый. После того, кака клиент закончил работать с коннектом, он не закрывает его, а отдает обратно пулу. Если у пула нет свободных коннектов, то можно либо открывать еще конекты, либо просить клиента подождать. Но чем интересен J2EE сервер - у него обычно есть свой собственный пул коннектов, который настраивается в конфигураторе. Там можно установить - сколько, к какому источнику данных и прочая. Само собой в этом случае не надо ничего писать - уже все есть. Используй на здоровье |
| Автор: batigoal 18.2.2005, 17:31 |
| Тогда такой вопрос: J2EE сервер - это ведь не то же самое, что веб-сервер? Скажем, Томкат - имеет пул соединений? И можно еще какую-нибудь ссылочку, чтоб больше не отвлекать |
| Автор: AntonSaburov 18.2.2005, 17:41 |
| Ну это сильно зависит от сервера. Вот наример для JBoss можно посмотреть http://pipin.tmd.ns.ac.yu/extra/java2/libs/JBoss/ch03.html |
| Автор: batigoal 18.2.2005, 17:49 |
| Пасиба. Я, правда, с JBoss'ом никогда не работал, но ведь надо когда-то и начинать |
| Автор: Guest 19.2.2005, 16:17 | ||
пулл соединений он имеет, как и пул тхреадов. НО! ты спрашивал про пулл соединений с БД - тут тебе никто не поможет - делай сам. Правда в JDBC для FireBird уже к примеру что-то реализовано. Но на практике - этот самый пулл коннектов к БД делается за 15-30мин. _свой_ ... так что лучше свой Sleepy_PIP |
| Автор: batigoal 19.2.2005, 18:14 | ||
Это если уже умеешь... А если нет - то несколько дней... |
| Автор: Domestic Cat 19.2.2005, 20:05 | ||
Есть хороший принцип - NIH (Not Invented Here). Суть его в том, что в 99,9999% случаев написанная тобой за 15-30 минут примочка будет хуже, чем аналогичная, но написанная специалистами, оттестированная тысячами пользователей. http://db.apache.org/torque/index.html |
| Автор: Guest 20.2.2005, 17:25 | ||||
извини, но тогда надо сравнивать время разработки своей примочки с суммой времен - на: 1. поиск чужей примочки+2. освоение чужей примочки+3.тестирование чужей примочки+4. обход багов чужой примочки (хорошо если она с сорцами!). Так что вопрос для программера - в балансировании между временем разработки своего варианта решения, или временем на применение чъего-то другого решения. Мое решение (собственное) пережило 2 серевера БД. А вот найти и разобраться с аналогичным за 30 мин. мне не удалось тем более что речь идет и правда о малых трудозатратах. Как яркий пример могу привести common-net - я взял ее для работы с FTP. и затратил довольно много времени для разбирателвств с нею, и переделки ее под понимание русских букв. В ведь common-net используют наверняка тысячи пользователей!. Аналогично повторяется с ADF-Faces - я уже как несколько мес. (вечерами) тестирую эту библиотеку, постоянно нарываясь на баги ... ну и что теперь? Но сесть и писать свою - я не в состоянии ... т.е. вот конкретный пример выбора между суммой времен ... и так везде. ну разве не так? |
| Автор: Sleepy_PIP 20.2.2005, 17:52 | ||||||
ООО! Пардон. не заметил что у меня рецепты сбросились |
| Автор: Domestic Cat 20.2.2005, 19:59 |
| Если речь о небольшом приложении и единичной потребности, то да. Но по большому счету я не соглашусь. Ты ведь пользуешь например ArrayList? Самому его легко написать, но если туда попадет баг - потратишь время. Тот же коннекшн пул - даже простейший вариант означает многопоточность. Сделаешь маленький недосмотр, оттестишь - работает. А в рабочих условиях все накрывается медным тазиком при большом числе коннекшнов. Тут проще потратить 1 день и разобраться с чужим приложениием, чем потом мучаться неделю на выслеживание трудноуловимого бага. |
| Автор: Sleepy_PIP 20.2.2005, 20:18 | ||
ну вот в Опен соурс разборки в 1 день - малы. надо как я и писал - найти, разобраться ( и ВЫБРАТЬ!), попатсть на баги и научиться их обходить ... для данной, пприведенной задачи - это не стоит так делать, согласись! |
| Автор: Domestic Cat 20.2.2005, 21:02 | ||
Зато, потратив время на Стратс, коммонс и т п, потом легче и проще писать. |
| Автор: batigoal 20.2.2005, 22:09 |
| Пардон, это опять я вклиниваюсь в беседу умных людей. "Коммонс" - это библиотеки common-net и еще несколько common-что-то, да? |
| Автор: LSD 20.2.2005, 22:21 | ||
| Лучше использовать общепризнанные технологии. Они лучше оттестированны, обеспечивают большую гибкость и универсальность. Да, тот код который ты напишешь, будет подходить под твои условия лучше, но по мере развития проекта и он будет требовать постоянной переделки, его нельзя будет использовать в другом проекте.
|
| Автор: Domestic Cat 20.2.2005, 22:34 | ||
Ага. |
| Автор: Slavca 21.2.2005, 12:27 |
| Один раз в жизни написать свой connection pool надо. Таким образом ты сталкиваешься с проблемами, которые возникают по ходу решения и понимаешь идею. Легче дальше программировать будет. Главное - думать в правильном направлении. |
| Автор: Slavca 22.2.2005, 13:57 | ||
| Можно, например, так реализовать. Правда за ошибками снаружи придется следить.
Извиняюсь. getInstance, естественно, должен быть static |
| Автор: batigoal 22.2.2005, 14:35 |
| Slavca Большое спасибо за пример, посмотрю на досуге. |
| Автор: ZAVS 25.2.2005, 12:13 |
| у resin-a тоже есть pool, можешь использовать |
| Автор: batigoal 25.2.2005, 12:28 |
| ZAVS Спасибо Мне пока не для реального использования, просто пощупать в свободное время. |
| Автор: Fantasist 28.2.2005, 02:55 | ||
Написать надо, а на вот использовать на production не надо. Чтобы написать хороший пул надо очень хорошо разбираться в этом деле. Например в твоем сразу видно критический недостаток - все соеденения открывается сразу и к тому же сразу создается множество statements. Это сразу выделяет кучу ресурсов, которые чаще всего не будут использованны. Если у тебя, к примеру, три Tomcat'a на каждом по три сайта и каждый из них создает пул из 50 коннектов - то у тебя сразу создается 450 подключений, что уже может привести к тому, что все это дело рухнет. Говорят, что даже для того, чтобы поддерживать открытое соеденение MS SQL сервер выделяет около мегабайта памяти. Заодно скажу, что у нас общее количество сайтов работающих с одной и той же БД в три-четыре раза больше как минимум. |
| Автор: Slavca 28.2.2005, 09:38 |
| Не могу не согласиться с тем, что для серьезных дел нужен серьезный подход. |
| Автор: Stampede 17.10.2005, 20:52 | ||||||
| Поскольку тред достаточно старый (я на Винграде появился спустя два месяца), то на глаза он мне раньше не попадался, а сегодня Lamer George дал на него ссылку в http://forum.vingrad.ru/index.php?showtopic=67343, ну и вот я значить из интереса зашел и глянул, о чем тут пишут. Самое главный вывод: ТОВАРИЩИ, НЕ ПОЛЬЗУЙТЕСЬ ПРИМЕРОМ, который дал Slavca. Ни для каких целей: ни для продакшена, ни в качестве отправной точки при разработке собственного пула, ни как образец программного дизайна. Пример - просто из рук вон. Slavca, не обижайся. Молодец, что проявил инициативу и запостил код. Далее, ты совершенно справедливо говоришь, что "один раз в жизни написать свой connection pool надо". Действительно, надо. Дальше потом жить будет проще. Но надо также, чтобы нашелся человек, который прошелся бы по твоему коду с красным карандашом в руке и указал, чем плоха твоя самодельная реализация. Так вот, единственно с целью предостеречь возможных последователей от повторения твоих ошибок, беру в руки красный карандаш и начинаю править. Итак: 1. Зачем раздавать статементы вместо соединений??? Любой человек, который сталкивался с мало-мальски слоожными датабазными приложениями, знаком с понятием транзакции. Так вот, транзакция в теминах JDBC имеет область действия в пределах соединения, а не команды SQL! Из статемента, конечно, соединение тоже можно вытащить: statement.getConnection(), но зачем так делать, когда логически гораздо естественнее выдавать его прямо из пула? Кроме того, не все всегда делается статементом. Иногда полезнее использовать PreparedStatement, а иногда бывает нужен CallableStatement. 2. Привязка к приприеторному API Если ты в своей программе станешь использовать пул в таком виде, как ты его написал, то в каждом месте кода, где требуется доступ к БД, тебе придется писать примерно такое:
Если программист, который использует твой пул, забудет последнюю строчку, то рано или поздно массив забъется невозвращенными статементами, и больше никто никаких соединений получить не сможет. Причем это может произойти не только по причине забывчивости, но и в результате небрежного оформления кода доступа к данным, потому что по-грамотному строчка pool.getBack(stm) должна быть заключена в секции finally блока try/catch/finally. Но это касается датабазного кода вообще, и с этой точки зрения действия connection.close() и pool.getBack() предъявляют одинаковые требования к программистской дисциплине. А вот что действительно плохо, это что если ты на каком-то этапе решишь использовать другую реализацию пула, то тебе придется в куче мест убирать вызов pool.getBack(). Кстати, getBack - неудачное имя (get back - это возвращаться). Лучше было бы putBack или releaseStatement. Но это детали. Если ты спросишь, есть ли лучшие альтенрнативы, то ответ будет "Есть!". Для того чтобы сделать пул по возможности более прозрачным для программиста, можно, например, написать свою обертку (wrapper) вокруг объекта типа Connection, которая знает. что делать по close():
При таком подходе использование пула не накладывает никаких дополнительных требований на код доступа к данным, то есть можно использовать объекты типа Connection как обычное JDBC соединение. 3. Ранняя инициализация Как совершенно справедливо заметил Fantasist, во многих случаях это может завалить сервер - причем совершенно безо всяких на то оснований. С другой стороны, если разработчик уверен, что ранняя инициализация не будет проблемой в его приложении, он должен иметь возможность указать это при создании пула. 4. Отсутствие цикла ожидания А теперь - о самом главном недостатке. Как мы видим из кода, если свободных соединений нет, то пул просто и без затей возвращает нам значение null. Вот это зашибись! Нет бы чуток подождать, да попробовать еще разок, а он хоба - и null. Так вот, код по синхронизированию доступа к списку соединений - это и есть самая соль пула. Это именно то, ради чего как раз и было бы полезно попытаться написать пул самому. Потому что там вылезает куча нюансов взаимодействия тредов, которые просто необходимо знать всякому уважающему себя Java программеру. В данном случае код мог бы выглядеть примерно так (несущественные детали опускаем):
Вот так вот примерно. И это только самая минимально необходимая часть функциональности. Я уже не говорию о таких вещах как конфигурация, логирование, мониторинг и разблокирование подвисших соединений, корректная инициализация и закрытие, и т. д., и т. п. Поэтому. После того как вы напишите свою реализацию пула (можно взять за основу мои правки) и убедитесь, что она худо-бедно работает, нужно будет взять и все нафиг грохнуть, а потом пойти и взять нормальный готовый продукт. Например, такой как http://proxool.sourceforge.net/index.html. И увидеть разницу. И настанет вам нирвана |
| Автор: DEMO_VERSION 18.10.2005, 11:02 |
| Ya posmotrel na Proxool, vrode klasnoya shtyka, vse prosto. No kak etim polzovatsya v realnom prilozenii??? Esli y mne nado vupolnit SQL zapros kakoj kod mne nado napisat'???? Sejchas v moej programe odin Connection katoruj sozdaetsya pri starte programu. Potim kogda ya hocy zapystit' Statemement, PreparedStatement ya dostau Connection(y menya on tolko odin), delau connection.createStatement(....) i poehali. Chto mne pomenyat??? Mozhet est eshe primeru ili mozhet est svoii primeru?? Spasibo. |
| Автор: Се ля ви 18.10.2005, 11:13 |
| Lamer George, если нужно, вот я недавно разбирался с проблемой доступа к пулу: http://forum.vingrad.ru/index.php?showtopic=62593&st=0entry502629 |
| Автор: DEMOVERSION 18.10.2005, 12:43 |
| A chto naschet Apache DBCP? Kto-to polzovalsya??? I she est c3p0. |
| Автор: pvo 18.10.2005, 15:01 | ||
Пользуюсь постоянно. Хорошая штука. |
| Автор: DEMOVERSION 18.10.2005, 15:16 |
| А можно пример? |
| Автор: DEMOVERSION 18.10.2005, 15:28 |
| и если можно пример для простого приложения, а то я только примеры для веб-програм видел. у меня простое консольное приложение. спасибо! |
| Автор: pvo 18.10.2005, 15:28 | ||
У меня он работает через Apache Torque или Hibernate. Соответственно, прямых обращений к dbcp у меня нет. Вот ссылка на примеры, идущие с dbcp: http://cvs.apache.org/viewcvs.cgi/jakarta-commons/dbcp/doc/ |
| Автор: Shatl 19.11.2005, 13:01 | ||
Род Джонсон в своей статье о Spring Framework пишет http://www.optim.ru/cs/2004/3/Spring/Spring.asp
|
| Автор: VSergeyV 20.9.2006, 10:03 |
| Как правильно и эффективно использовать DBCP? Tomcat+Sybase 12.5 Запустил соответствующие примеры к DBCP все работает, а как правильно использовать DBCP в реальных приложениях? Есть web-проект/который был сделан без фраймворков/, c JSP, сервлетами и Java классами в которую вынесена логика. Допустим необходимо при вызове JSP страницы выполнять соответствующий запрос к БД В классе реализуещем логику вставки в таблицу необходимо вызвать метод класса который предоставляет сервисные возможности для работы с DBCP /я так понимаю/, как должен выглядеть этот самый класс, реализующий логику работы с DBCP? Он будет похож на приводимые в примерах (http://svn.apache.org/viewvc/jakarta/commons/proper/dbcp/trunk/doc/) на DBCP классы:
Какой из этих примеров взять за базовый? |
| Автор: tux 20.9.2006, 10:58 |
| В BasicDataSourceExample.java пример того, как работать со стандартным источником данных DBCP, внутри которого и реализован пул соединений. Остальное - примеры использования источников данных DBCP, которые используют свойство драйвера JDBC самостоятельно создавать пул соединений. Обычно используют BasicDataSource, тогда не зависишь от того реализует драйвер свой пул или нет. Но в твоем случае если СУБД точно не поменяется, то фиолетово, все у Sybase реализовано. Добавлено @ 11:01 Кстати, в Tomcat есть connection pool, реализованный на DBCP. Почему его не используешь? Тогда тебе все, что нужно будет - это получить DataSource из JNDI. |
| Автор: VSergeyV 20.9.2006, 11:19 | ||||||||
Т.е. у коннектора к нему? У нас используется Sybase 12.5, и коннектор к нему/ весьма не свежий/ как бы мне этот проект достался "по наследству". Старый программист реализовывал свой "самодельный" конекшин пулл к БД, он им был сам не доволен...
Слышал, вот хотел бы уточнить что это, и как его использовать, у нас Томкат (5.5.12)
Т.е. уже используется либы DBCP??? И по идеи их не надо ставить?
Т.е. почти как в примере BasicDataSourceExample.java? |