Мне нужно спроектировать базу данных... Но вот сталкнулся с рядом проблем. База получается ОГРОМНАЯ и нужно как-то оптимизировать ее для повышения быстродействия.

Цель базы. Есть страницы с набором ссылок. Нужно сканить эти страницы и сохранять ссылки в базе. Операции выборки:
1. Когда, куда и на какой странице были линки.
2. На каких страницах был тот или иной линк.

структура на первый взгляд проста

3 таблицы
1. За страницы с набором (назовем их доски)
2. ссылки
3. отношение первой и второй таблиц

Но когда получается что первая таблица имеет порядка 15000 индексов и на каждой порядка 3000 ссылок... То получается что система ужастно тормозит....
Подскажите более быстродействующую структуру.

Это сообщение отредактировал(а) rMaveric - 19.1.2005, 02:08

Страниц, которые надо просканить 15000???
ЗЫ: в первых двух таблицах - уникальные значения? Т.е. страницы и ссылки не повторяются?

2 Mal Hack
Да. В обоих таблицах уникальные значения


Просто на данный момент я подумал что можно сделать еще 2 варианта.

1. Разделить вторую таблицу на несколько таблиц. (Домены, Соответствие доменам путей) еще попытаться более глубоко разбить... и искать как по леснице все глубще и глубще... думаю это немного увеличит быстродействие

2. Напливать на размер БД и на скорость внесения данных в базу... И попытаться составить таблицы в которых будут учитываться именно моих двух запросов. Хотя не знаю

rMaveric
Третья таблица у тебя получается ужасного размера. Можно попробовать ускорить процесс индексацией по хэшу. Скажем, группировка по доменам - один из таких вариантов.