Всем привет)

Есть у меня таблица в базе MySQL с 1600 записей типа:
ID | name | surname | price | good | quantity

Выполняется скрипт PHP, который должен вывести таблицу с анализом по каждому клиенту типа (я схематично опишу):


Из-за того, что, собственно, данных много, а в таблице полей порядка сотни на самом деле, а записей порядка 1 600 штук, то при уровне вложенности таких запросов получается порядка 600 MySQL запросов. Естесственно, что это ведёт к повышенному потреблению RAM (до 25 мегов в пике) и процессора. Пусть сервер и мощный, но всегда надо стараться всё оптимизировать.

Вопрос в одном: как при такой конструкции уменьшить количество запросов? Вместо * в запросе я обычно указываю название полей, стараясь не загружать все данные махом.

Буду рад любым комментариям.

Добавлено через 7 минут и 50 секунд
А что самое интересное — время работы скрипта может варьироваться от 0,4 секунды до 70.

Добавлено через 10 минут и 31 секунду
А может ли влиять на время обработки влиять наличие индекса полнотекстового у таблицы на часто используемые поля?

Во-первых, все запросы нужно анализировать с помощью EXPLAIN и смотреть, юзается ли индекс.

Тут не совсем понятно вот что: `table` в обоих запросах одна и та же? Если нет - можно объединить запросы в один через left join. Если одна и та же, то получается фактически второй запрос выбирает все данные по товару в цикле всех товаров (то есть все данные всех товаров). А значит его можно выполнить один раз за пределами цикла и дальше обращаться к static cached данным.

Aliance, по EXPLAIN я сейчас буду изучать.

`table` — действительно везде одна и та же. И в конце запроса первого самого стоит GROUP, чтобы исключить вывод повторяющихся данных. А это значит, что не получится избежать второго цикла, где происходит как раз уточнение данных первого запроса...

По факту получается, что первым запросом ты получаешь массив уникальный GOOD_ID, а во втором запросе по каждому отдельно получаешь. Что мешает сделать два цикла. Первый запрос - заполняем массив $good_ids = array() этими значениями, второй цикл - по результатам запроса №2, только с условием good IN(ID1, ID3, ID3)

Aliance, а можно небольшой пример абстрактный? Я почему-то "догнать" не могу этот метод.

Ramoff, я бы вообще предложил сначала выбрать все нужные данные  (которые вы для каждого good выбираете) через
а уже потом получить список good вашим первым запросом, но данные для них выбирать из resultset-а полученного вышеприведенным запросом. Разница в том, что вы будете вместо запроса осуществлять поиск в локальной переменной (массиве).
Это сократит все до 2-х запросов. Да, конечно, придется сразу держать много данных, но это все же эффективнее за 600 запросов.
Об этом, собственно, Aliance, выше писал.

К вышесказанному: Выберите все данные вышеприведенным запросом, потом в цикле поместите все строки в массив.
После чего дальше вы сможете выбирать для каждого good его строки просто сравнивая в цикле $array[i]['good'] массива всех строк с текущим good. Кроме того, массив отсотрирован, так что, после первого попавшегося подходящего good, следующий неподходящий означает, что подходящих больше нет и цикл текущего good можно завершать, сократив таким образом количество операций.
При желании для всего этого можно даже написать бинарный поиск, только надо предусмотреть множественность результатов поиска.

Это сообщение отредактировал(а) Arantir - 25.12.2012, 22:45

Arantir, теперь всё стало ясно! Спасибо большое! Сейчас буду экспериментировать! Хотя до последнего надеялся, что можно сформировать какой-то сложный MySQL запрос. Но и это неплохо.