Парни, такая беда, планируется создасть сервер для хранения фоток (около одного миллиона штук). Фотки будут храниться в директориях (не в БД), в БД будут лежать ссылки на фотки и некоторая информация. В связи с огромным количеством файлов возникает вопрос насколько сильно это тормознет сервер(?) и как сделать это максимально удобно? В принцепи у меня в голове крутится такое решенеи: разбить базу на несколько частей... Вот только не знаю на сколько... Скажите сколько MySQL может хранить в себе не вызывая особой нагрузки на сервер при запросе? И вообще как лучше реализовать такую задачу?

БД может хранить и больше миллиона записей.

У нас база была и на 7.000.000+ записей... Если правильно спроектировать и проставить индексы - все нормально... Правда еще очень много зависит от самого запроса...

Нифига себе, я думал все намного хуже. Это обнадеживает. Спасибо

Nikitozz, существует множество подходов. Поищите в гугле по ключевым словам high-load, flickr architecture.

P.S. Ребят, 1 млн записей - это просто смешно. Понимаю, сказали бы 100 млн - вот это, другое дело.

Это сообщение отредактировал(а) IZ@TOP - 18.6.2008, 12:49

IZ@TOP, у него нет миллиона картинок. у него только планируется миллион картинок. 
А это две очень большие разницы.

Feldmarschall, а когда у тебя через год появляется 10 млн картинок, ты уже начинаешь задумываться о том, что какой был дурак и не задумался над грамотной и масштабируемой реализацией с самого начала 

IZ@TOP, я уверен что у него тыща наберется с трудом 

gta4kv,  Это уже вопрос второй  Да что такие все вредные? Может у него чего хорошее выйдет, зачем заранее человека обрекать на неудачу?

      




    



он никак не способен меня на что-то обречь   
а так, что получится, то получится

Кстати gta4kv, я решил задачу по поводу обработки фотографий   полностью все автоматически и только средствами РНР   , чуть голову не сломал   , но все-таки сделал

Сейчас конечно трудновато раскрутить сервис по хостингу картинок, покрайней мерии он должен быть функциональным и не уступать лидерам, тем которые сейчас на рынке этого, такие как радикал и айпиктур, сейчас уже все сайты рекомендуют эти хосты, а следовательно необходимо заручится поддержкой некоторых крупных из них, чтоб больше народа узнало о новом сервисе и начали строить паутину. Сейчас для своего основного сайта делаю сервис http://pokazal.ru больших планов нет, т.к. трезво смотрю на ту ситуацию которая сейчас с "магнатома" этого рынка.

M MoLeX

Модератор: многое удалил - один трёп, а по теме null

Добавлено через 1 минуту и 42 секунды
да, поправтье если я ошибаюсь, но MySQL по сути безразницы ско-ко у тебя записей 10.000 или 100.000.000, скорость будет зависить от веса данных и 

И вот истина где-то рядом.. Я решил не годать что будет если много записей, а сделать их и посмотреть, написал такое вот:



В результате сегодня когда проснулся у меня в базе было около 5-ти млн записей, написал обычный запрос, такого типа:



результат меня порадовал, скорость не изменилась

сделать так, как будто несколько строк принадлежат одному id не получается т.к. id - это индекс. 
надо сделать так чтобы один запрос выбирал данные из разных мест, например строку с id=293047, id=1028394, id=3639430 и т.д. около 10 строк, посмотрим как это повлияет на скорость, о результатах напишу...  

выполнил. скорость не миняется... опыт считаю завершенным   

Это сообщение отредактировал(а) Nikitozz - 20.6.2008, 10:01

Эмм... а зачем?

И еще: попробуйте такой запрос:

чисто ради любопытства, не более того

Nikitozz,  А может все таки на PostgreSQL базу делать? Неизвестно какая структура будет и какие будут запросы. Я про JOIN и UNION например. PostgreSQL  намного шустрее работает.

capitan, я думаю, стоит воздержаться от заявлений, основанных не на знаниях или опыте, а на непроверенных слухах.

MoLeX, я ошибаюсь, возможно, но у MySQL вроде есть ограничение по количеству записей? о_0

slaw, для 5 версии указано максимальный размер таблицы и максимальный размер записи. ограничения на количество записей не нашел. покажи, а?

Feldmarschall,  Слушай, ты самый опытный что ли, великий Гуру? Кто тебе дал право ставить под сомнения знания других. За собой лучше посмотри. Кроме болтовни от тебя ничего нет ни в одном твоем сообщении, одни слова. Я говорю то что знаю, и исходя из своего опыта. Благо он у меня богатый. И знаю как работает мускул и посгресс и в чем разница. Давай советы по существу, а не разводи флуд.

Это сообщение отредактировал(а) capitan - 27.6.2008, 12:28

К сожалению, такому субъективному "опыту" доверять нельзя. 
На этом форуме множество тем, когда мускуль ложится под мизерной нагрузки из-за кривых запросов. Тоже ведь чей-то "опыт". 
Факты нам говорят обратное. На тысячах высоконагруженных проектов стоит мускуль. Прекрасно работает. Как в распределенных конфигурациях, так и на стандалон или шаред вариантах. 
Поэтому заявлять, что такая-то база де быстрее другой - непрофессионально. 

  

M MoLeX

capitan, Feldmarschall, успакаиваемся, отношения выясняем в личке

Это сообщение отредактировал(а) MoLeX - 28.6.2008, 07:36

просто перепутал.. я с MySQL почти не работаю... но именно по указанной причине в свое время огранизация приобела Oracle ...

skyboy, спасибо. что освежил в памяти информацию на этот счет ;)