Модераторы: skyboy, MoLeX, Aliance, ksnk

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> MySQL - 1 миллион записей 
V
    Опции темы
Nikitozz
Дата 18.6.2008, 07:47 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 57
Регистрация: 19.9.2007
Где: Москва

Репутация: нет
Всего: 0



Парни, такая беда, планируется создасть сервер для хранения фоток (около одного миллиона штук). Фотки будут храниться в директориях (не в БД), в БД будут лежать ссылки на фотки и некоторая информация. В связи с огромным количеством файлов возникает вопрос насколько сильно это тормознет сервер(?) и как сделать это максимально удобно? В принцепи у меня в голове крутится такое решенеи: разбить базу на несколько частей... Вот только не знаю на сколько... Скажите сколько MySQL может хранить в себе не вызывая особой нагрузки на сервер при запросе? И вообще как лучше реализовать такую задачу?
PM MAIL WWW   Вверх
Feldmarschall
Дата 18.6.2008, 08:45 (ссылка) |    (голосов:3) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок
****


Профиль
Группа: Участник
Сообщений: 2641
Регистрация: 11.12.2007

Репутация: 1
Всего: 32



БД может хранить и больше миллиона записей.
PM   Вверх
Kesh
Дата 18.6.2008, 09:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Эксперт
Сообщений: 2488
Регистрация: 31.7.2002
Где: Германия, Saarbrü cken

Репутация: 5
Всего: 54



У нас база была и на 7.000.000+ записей... Если правильно спроектировать и проставить индексы - все нормально... Правда еще очень много зависит от самого запроса...


--------------------
user posted image
PM MAIL WWW ICQ Skype   Вверх
Nikitozz
Дата 18.6.2008, 10:00 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 57
Регистрация: 19.9.2007
Где: Москва

Репутация: нет
Всего: 0



Нифига себе, я думал все намного хуже. Это обнадеживает. Спасибо
PM MAIL WWW   Вверх
IZ@TOP
Дата 18.6.2008, 12:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Панда-бир!
****


Профиль
Группа: Участник
Сообщений: 4795
Регистрация: 3.2.2003
Где: Бамбуковый лес

Репутация: 4
Всего: 73



Nikitozz, существует множество подходов. Поищите в гугле по ключевым словам high-load, flickr architecture.

P.S. Ребят, 1 млн записей - это просто смешно. Понимаю, сказали бы 100 млн - вот это, другое дело.

Это сообщение отредактировал(а) IZ@TOP - 18.6.2008, 12:49


--------------------
Один из розовых плюшевых-всадников апокалипсиса... очень злой...

Семь кругов ада для новых элементов языка
Мои разрозненные мысли
PM MAIL WWW ICQ Skype GTalk   Вверх
Feldmarschall
Дата 18.6.2008, 13:26 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок
****


Профиль
Группа: Участник
Сообщений: 2641
Регистрация: 11.12.2007

Репутация: 1
Всего: 32



IZ@TOP, у него нет миллиона картинок. у него только планируется миллион картинок. 
А это две очень большие разницы.
PM   Вверх
IZ@TOP
Дата 18.6.2008, 13:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Панда-бир!
****


Профиль
Группа: Участник
Сообщений: 4795
Регистрация: 3.2.2003
Где: Бамбуковый лес

Репутация: 4
Всего: 73



Feldmarschall, а когда у тебя через год появляется 10 млн картинок, ты уже начинаешь задумываться о том, что какой был дурак и не задумался над грамотной и масштабируемой реализацией с самого начала smile


--------------------
Один из розовых плюшевых-всадников апокалипсиса... очень злой...

Семь кругов ада для новых элементов языка
Мои разрозненные мысли
PM MAIL WWW ICQ Skype GTalk   Вверх
gta4kv
Дата 18.6.2008, 14:57 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Walking around mad.
***


Профиль
Группа: Завсегдатай
Сообщений: 1868
Регистрация: 25.7.2006

Репутация: 4
Всего: 91



IZ@TOP, я уверен что у него тыща наберется с трудом smile
PM MAIL   Вверх
IZ@TOP
Дата 18.6.2008, 15:19 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Панда-бир!
****


Профиль
Группа: Участник
Сообщений: 4795
Регистрация: 3.2.2003
Где: Бамбуковый лес

Репутация: 4
Всего: 73



gta4kv, smile Это уже вопрос второй smile Да что такие все вредные? Может у него чего хорошее выйдет, зачем заранее человека обрекать на неудачу?


--------------------
Один из розовых плюшевых-всадников апокалипсиса... очень злой...

Семь кругов ада для новых элементов языка
Мои разрозненные мысли
PM MAIL WWW ICQ Skype GTalk   Вверх
Nikitozz
Дата 18.6.2008, 16:20 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 57
Регистрация: 19.9.2007
Где: Москва

Репутация: нет
Всего: 0



Цитата

IZ@TOP, я уверен что у него тыща наберется с трудом smile


 smile  smile  smile 


Цитата

Feldmarschall, а когда у тебя через год появляется 10 млн картинок, ты уже начинаешь задумываться о том, что какой был дурак и не задумался над грамотной и масштабируемой реализацией с самого начала 


 smile  smile 

Цитата

gta4kv,  Это уже вопрос второй  Да что такие все вредные? Может у него чего хорошее выйдет, зачем заранее человека обрекать на неудачу?


он никак не способен меня на что-то обречь  smile 
а так, что получится, то получится

Кстати gta4kv, я решил задачу по поводу обработки фотографий  smile полностью все автоматически и только средствами РНР  smile , чуть голову не сломал  smile , но все-таки сделал
PM MAIL WWW   Вверх
ramen
Дата 18.6.2008, 16:34 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 55
Регистрация: 10.6.2008

Репутация: нет
Всего: нет



Сейчас конечно трудновато раскрутить сервис по хостингу картинок, покрайней мерии он должен быть функциональным и не уступать лидерам, тем которые сейчас на рынке этого, такие как радикал и айпиктур, сейчас уже все сайты рекомендуют эти хосты, а следовательно необходимо заручится поддержкой некоторых крупных из них, чтоб больше народа узнало о новом сервисе и начали строить паутину. Сейчас для своего основного сайта делаю сервис http://pokazal.ru больших планов нет, т.к. трезво смотрю на ту ситуацию которая сейчас с "магнатома" этого рынка.
PM MAIL ICQ   Вверх
MoLeX
Дата 19.6.2008, 06:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Местный пингвин
****


Профиль
Группа: Модератор
Сообщений: 4076
Регистрация: 17.5.2007

Репутация: 7
Всего: 140




M
MoLeX
Модератор: многое удалил - один трёп, а по теме null


Добавлено через 1 минуту и 42 секунды
да, поправтье если я ошибаюсь, но MySQL по сути безразницы ско-ко у тебя записей 10.000 или 100.000.000, скорость будет зависить от веса данных и 

Цитата(Kesh @  18.6.2008,  09:46 Найти цитируемый пост)
Если правильно спроектировать и проставить индексы - все нормально...



--------------------
Amazing  smile 
PM MAIL WWW ICQ   Вверх
Nikitozz
Дата 20.6.2008, 09:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 57
Регистрация: 19.9.2007
Где: Москва

Репутация: нет
Всего: 0



И вот истина где-то рядом.. Я решил не годать что будет если много записей, а сделать их и посмотреть, написал такое вот:

Код

<?php
//Подключаемся к базе данных
require "_system/_config_moduls/connect.database.php";
print("
<html>
<head>
</head>
<body onload=\"setTimeout('window.location.reload()', 35000)\">
</body>
</html>
");

$result = mysql_query("SELECT id FROM pictures ORDER BY id DESC LIMIT 1", $link);
while($row = mysql_fetch_object($result))
{
    $value = $row->id + 2;
}

for($i=$value; $i<5000000; $i++)
{
    mysql_query("INSERT INTO `pictures`(`id`, `name_pic`, `coment`, `hide`, `eighteen`, `rating`) VALUES('$i', 'photname$i', 'комментарий $i', '0', '0', '0')", $link);
}
?>


В результате сегодня когда проснулся у меня в базе было около 5-ти млн записей, написал обычный запрос, такого типа:

Код

SELECT * FROM `pictures` WHERE `id`='3094328'


результат меня порадовал, скорость не изменилась

сделать так, как будто несколько строк принадлежат одному id не получается т.к. id - это индекс. 
надо сделать так чтобы один запрос выбирал данные из разных мест, например строку с id=293047, id=1028394, id=3639430 и т.д. около 10 строк, посмотрим как это повлияет на скорость, о результатах напишу... smile 

выполнил. скорость не миняется... опыт считаю завершенным  smile 

Это сообщение отредактировал(а) Nikitozz - 20.6.2008, 10:01
PM MAIL WWW   Вверх
IZ@TOP
Дата 21.6.2008, 17:39 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Панда-бир!
****


Профиль
Группа: Участник
Сообщений: 4795
Регистрация: 3.2.2003
Где: Бамбуковый лес

Репутация: 4
Всего: 73



Цитата(Nikitozz @  20.6.2008,  10:35 Найти цитируемый пост)
надо сделать так чтобы один запрос выбирал данные из разных мест, например строку с id=293047, id=1028394, id=3639430 и т.д. около 10 строк,

Эмм... а зачем?

И еще: попробуйте такой запрос:

Код

SELECT * FROM pictures ORDER BY id DESC LIMIT 4999000, 10;



--------------------
Один из розовых плюшевых-всадников апокалипсиса... очень злой...

Семь кругов ада для новых элементов языка
Мои разрозненные мысли
PM MAIL WWW ICQ Skype GTalk   Вверх
Nikitozz
Дата 23.6.2008, 23:47 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 57
Регистрация: 19.9.2007
Где: Москва

Репутация: нет
Всего: 0



Цитата

Эмм... а зачем?


чисто ради любопытства, не более того
PM MAIL WWW   Вверх
Ответ в темуСоздание новой темы Создание опроса
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Базы Данных | Следующая тема »


 




[ Время генерации скрипта: 0.0616 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.