Модераторы: LSD

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> конвертирование текста в БД 
:(
    Опции темы
Gold Dragon
Дата 7.4.2005, 12:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Призрачный
****


Профиль
Группа: Экс. модератор
Сообщений: 6753
Регистрация: 1.3.2004
Где: Россия, Тамбов

Репутация: нет
Всего: 71
Есть тестовые файлы размером примерно 1,5 Гб

Их необходимо конвертировать в БД.

Какая база с этим лучше будет справляться. Основные требования: скорость, ну и устойчивость


--------------------
Нельзя жить в прошлом, оно уже прошло.
Нельзя жить в будущем, оно ещё не наступило.
Нужно жить в настоящем, помня прошлое и думая о будущем!
PM MAIL WWW ICQ   Вверх
Ignat
Дата 7.4.2005, 13:18 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Флудератор
****


Профиль
Группа: Экс. модератор
Сообщений: 4030
Регистрация: 19.4.2004
Где: غيليندزيك مدينة

Репутация: нет
Всего: 73
Цитата(Red @ 7.4.2005, 13:52)
Какая база с этим лучше будет справляться.

Конвертировать то ты будешь сам, используя клиентскую программу.
Вопрос какая БД не тормозит с полутора гигами инфы.


--------------------
Теперь при чем :P
PM   Вверх
Gold Dragon
Дата 7.4.2005, 13:28 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Призрачный
****


Профиль
Группа: Экс. модератор
Сообщений: 6753
Регистрация: 1.3.2004
Где: Россия, Тамбов

Репутация: нет
Всего: 71
Цитата(Ignat @ 7.4.2005, 13:18)
Конвертировать то ты будешь сам, используя клиентскую программу.
Вопрос какая БД не тормозит с полутора гигами инфы.
Ну да smile



--------------------
Нельзя жить в прошлом, оно уже прошло.
Нельзя жить в будущем, оно ещё не наступило.
Нужно жить в настоящем, помня прошлое и думая о будущем!
PM MAIL WWW ICQ   Вверх
Akina
Дата 7.4.2005, 15:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Советчик
****


Профиль
Группа: Модератор
Сообщений: 20581
Регистрация: 8.4.2004
Где: Зеленоград

Репутация: 13
Всего: 454
любой SQL-сервер.


--------------------
 О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума.
PM MAIL WWW ICQ Jabber   Вверх
Ignat
Дата 7.4.2005, 15:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Флудератор
****


Профиль
Группа: Экс. модератор
Сообщений: 4030
Регистрация: 19.4.2004
Где: غيليندزيك مدينة

Репутация: нет
Всего: 73
Цитата(Akina @ 7.4.2005, 16:31)
любой SQL-сервер.

Да ну? А если миллионов 10 записей в одной таблице? Любой?


--------------------
Теперь при чем :P
PM   Вверх
Akina
Дата 7.4.2005, 15:40 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Советчик
****


Профиль
Группа: Модератор
Сообщений: 20581
Регистрация: 8.4.2004
Где: Зеленоград

Репутация: 13
Всего: 454
Цитата(Ignat @ 7.4.2005, 16:36)
А если миллионов 10 записей в одной таблице?

Если полтора гига и 10 миллионов записей - то по 150 байт на запись, а на таких данных сложные запросы вряд ли возможны... конечно MySQL будет плохо это переваривать, MSDE пожалуй тоже... а серьезные серверы БД посмотрят на этот объем и скажут что фигня, плюнуть и растереть - при условии что их не заставят крутиться на машине с 256 М мозгов...


--------------------
 О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума.
PM MAIL WWW ICQ Jabber   Вверх
Ignat
Дата 7.4.2005, 15:51 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Флудератор
****


Профиль
Группа: Экс. модератор
Сообщений: 4030
Регистрация: 19.4.2004
Где: غيليندزيك مدينة

Репутация: нет
Всего: 73
Akina, собственно, это и есть ответ на вопрос темы smile


--------------------
Теперь при чем :P
PM   Вверх
Gold Dragon
Дата 9.4.2005, 14:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Призрачный
****


Профиль
Группа: Экс. модератор
Сообщений: 6753
Регистрация: 1.3.2004
Где: Россия, Тамбов

Репутация: нет
Всего: 71
Тогда ещё один вопрос: какую лучше с учётом конвертации из одной базы в другую, т.е. универсальнее


--------------------
Нельзя жить в прошлом, оно уже прошло.
Нельзя жить в будущем, оно ещё не наступило.
Нужно жить в настоящем, помня прошлое и думая о будущем!
PM MAIL WWW ICQ   Вверх
LSD
Дата 9.4.2005, 18:33 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 24
Всего: 538
Цитата(Red @ 9.4.2005, 14:31)
какую лучше с учётом конвертации из одной базы в другую, т.е. универсальнее

Переведи smile
Тебя интересует возможность легкой миграции с одной базы на другую или что?


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
Gold Dragon
Дата 9.4.2005, 19:23 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Призрачный
****


Профиль
Группа: Экс. модератор
Сообщений: 6753
Регистрация: 1.3.2004
Где: Россия, Тамбов

Репутация: нет
Всего: 71
Цитата(LSD @ 9.4.2005, 18:33)
Тебя интересует возможность легкой миграции с одной базы на другую или что?
Да. Просто я только начинаю въезжать вообще в базы, так что не обращайте внимание на глупые вопросы, если что - поправляйте.



--------------------
Нельзя жить в прошлом, оно уже прошло.
Нельзя жить в будущем, оно ещё не наступило.
Нужно жить в настоящем, помня прошлое и думая о будущем!
PM MAIL WWW ICQ   Вверх
LSD
Дата 9.4.2005, 20:28 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 24
Всего: 538
Возьми базу которая хорошо поддерживает стандарт SQL и не выходи за рамки стандарта, тогда портировать базу будет проще.

По поводу базы:
- как распределенны эти 1,5 Гб информации: несколько больших кусков или много мелких
- какая обработка требуется: чтение/поиск или частые модификации
- на чем планируется писать клиентов
- сколько клиентов одновременно должно работать с базой


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
Gold Dragon
Дата 10.4.2005, 09:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Призрачный
****


Профиль
Группа: Экс. модератор
Сообщений: 6753
Регистрация: 1.3.2004
Где: Россия, Тамбов

Репутация: нет
Всего: 71
Цитата(LSD @ 9.4.2005, 20:28)
- как распределенны эти 1,5 Гб информации: несколько больших кусков или много мелких

файлы по 1,2 - 1,6 ГБ
Одна строка делиться на 10 текстовых полей, одно из которых длиной до 1000 символов (символы могут быть любые)

Цитата(LSD @ 9.4.2005, 20:28)
какая обработка требуется: чтение/поиск или частые модификации

Только поиск по всем полям, вклячая и одно "Корявое"

Цитата(LSD @ 9.4.2005, 20:28)
- на чем планируется писать клиентов

пока не определился. Может кто посоветует что-то оптимальное (обоснование приветствуется)

Цитата(LSD @ 9.4.2005, 20:28)
- сколько клиентов одновременно должно работать с базой

до 10



--------------------
Нельзя жить в прошлом, оно уже прошло.
Нельзя жить в будущем, оно ещё не наступило.
Нужно жить в настоящем, помня прошлое и думая о будущем!
PM MAIL WWW ICQ   Вверх
LSD
Дата 10.4.2005, 10:56 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 24
Всего: 538
Цитата(Red @ 10.4.2005, 09:38)
файлы по 1,2 - 1,6 ГБ
Одна строка делиться на 10 текстовых полей, одно из которых длиной до 1000 символов (символы могут быть любые)

Значит информация идет не одним большим куском а структурированна, это гут, плюс если максимальная длинна поля не превышает 1000 символов, можно обойтись и без LOB полей.

Цитата(Red @ 10.4.2005, 09:38)
Только поиск по всем полям, вклячая и одно "Корявое"

Корявое подрузумевается, что там содержится не просто текст и надо найти в нем подстроку? LIKE тут будет работать, но вот насчет скорости будет не очень если надо будет фильтровать все 100 000 строк (или сколько их там получится), придется делать индексацию (Admin уже поднимал эту тему глянь там).

Цитата(Red @ 10.4.2005, 09:38)
пока не определился. Может кто посоветует что-то оптимальное (обоснование приветствуется)

Конечно Java, за обоснованиями к Коту smile
А если серьезно, то я рекомендую Delphi/C++ Builder (по вкусу). Клиенты БД на них пишутся просто и легко.

Лично я бы это делал на Delphi + Firebird. Посмотрим что скажут остальные.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
Gold Dragon
Дата 10.4.2005, 12:29 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Призрачный
****


Профиль
Группа: Экс. модератор
Сообщений: 6753
Регистрация: 1.3.2004
Где: Россия, Тамбов

Репутация: нет
Всего: 71
Цитата(LSD @ 10.4.2005, 10:56)
Корявое подрузумевается, что там содержится не просто текст и надо найти в нем подстроку
Именно

Цитата(LSD @ 10.4.2005, 10:56)
Лично я бы это делал на Delphi + Firebird
Наверное для меня это будет проще.. Правда я заброси Делфи, когда была версия 5.1. Насколько я устарел? И сетями не занимался.. с чего мне начать и есть ли смысл преобрести новую версию Делфи? .. хотя это наверное лучше в другой раздел smile



--------------------
Нельзя жить в прошлом, оно уже прошло.
Нельзя жить в будущем, оно ещё не наступило.
Нужно жить в настоящем, помня прошлое и думая о будущем!
PM MAIL WWW ICQ   Вверх
Akina
Дата 11.4.2005, 08:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Советчик
****


Профиль
Группа: Модератор
Сообщений: 20581
Регистрация: 8.4.2004
Где: Зеленоград

Репутация: 13
Всего: 454
Цитата(Red @ 10.4.2005, 13:29)
Корявое подрузумевается, что там содержится не просто текст и надо найти в нем подстроку

FullText Search - построение индекса под такую хрень не заложено по-моему разве что в Аксесс...

Цитата(Red @ 10.4.2005, 10:38)
Может кто посоветует что-то оптимальное (обоснование приветствуется)

Полагаю что оптимум - за CGI. Т.е. сервер БД + веб-сервер и тонкий клиент. Тогда работа с базой не зависит от клиента, которому нужно всего лишь иметь у себя какой-нить не сильно древний браузер, весь клиентский код сосредоточен в одной точке, что упрощает сопровождение и модификацию, опять же тонны инфы по сети не гонять - можно хоть front-end строить. А т.к. интерфейс собсно будет только строить запросы для скармливания серверу БД и формовать ответы сервера в красивую таблицу, абсолютно параллельно на чем его строгать... имхо с точки зрения переносимости или Ява, или Перл...


--------------------
 О(б)суждение моих действий - в соответствующей теме, пожалуйста. Или в РМ. И высшая инстанция - Администрация форума.
PM MAIL WWW ICQ Jabber   Вверх
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Общие вопросы по базам данных"
LSD
Zloxa

Данный форум предназначен для обсуждения вопросов о базах данных не попадающих под тематику других форумов:

  • вопросам по СУБД для которых нет отдельных подфорумов
  • вопросам которые затрагивают несколько разных СУБД (например проблема выбора)
  • инструменты для работы с СУБД
  • вопросы проектирования БД
  • теоретически вопросы о СУБД

Данный форум не предназначен для:

  • вопросов о поиске разлиных БД (если не понимаете чем БД отличается от СУБД то: а) вам не сюда; б) Google в помощь)
  • обсуждения проблем с доступом к СУБД из различных ЯП (для этого есть соответсвующие форумы по каждому ЯП)
  • обсуждения проблем с написание SQL запросов, для этого есть форум Составление SQL-запросов
  • просьб о написании курсовой, реферата и т.п., для этого есть Центр помощи или фриланс биржа
  • объявлений о найме специалистов, для этого есть раздел Объявления о найме специалистов

Если вы не соблюдаете эти правила, не удивляйтесь потом не найдя свою тему/сообщение. ;)

Полезные советы:

При написании сообщения постарайтесь дать теме максимально понятное название. В теме максимально подробно опишите проблему. Если применимо укажите: название базы данных и версии (MySQL 4.1, MS SQL Server 2000 и т.п.); используемых язык программирования; способа доступа (ADO, BDE и т.д.); сообщения об ошибках.

Для вставки кода используйте теги [code=sql] [/code].

Литературу по базам данных можно поискать здесь.

Действия модераторов можно обсудить здесь.

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, LSD, Zloxa.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | СУБД, общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0604 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.