 |
|
Модераторы: powerfox, ZeeLax |
 
|
|
Организация большого количества файлов 
| Novich |
|
|||
|
Новичок Профиль Группа: Участник Сообщений: 21 Регистрация: 16.4.2004 Репутация: нет Всего: нет |
Необходим комментарий специалиста, который знаком с особенностями файловой системы Unix.
Мы создаем для внутреннего использования сервис для хранения картинок, вроде _keep4u.ru, _foto.radikal.ru. Возник вопрос: как наилучшим образом организовать хранение загружаемых изображений? При загрузке изображения создается 5 файлов (этого изображения с различными эффектами). Каждый день загружается 500-1000 новых изображений. Мы предполагаем создавать новую директорию для каждой загрузки изображения. Не отразится ли большое количество директорий на производительности системы? Или предложите другой способ организации файлов. Спасибо. |
|||
|
||||
Загрузка ...
| bilbobagginz |
|
|||
 Naughtius Maximus  Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 113 Всего: 317 |
для начала не помешало бы указать какая оперативная система используется.
-------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
| JackYF |
|
|||
 полуавантюрист Профиль Группа: Участник Сообщений: 5814 Регистрация: 28.8.2004 Где: страна тысячи озё р Репутация: 14 Всего: 162 |
эээ... файловая, может? |
|||
|
||||
| bilbobagginz |
|
|||
|
Naughtius Maximus Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 113 Всего: 317 |
я спросил, то что хотел спросить.
-------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
| JackYF |
|
|||
|
полуавантюрист Профиль Группа: Участник Сообщений: 5814 Регистрация: 28.8.2004 Где: страна тысячи озё р Репутация: 14 Всего: 162 |
лады. Ушел в гугл...
Добавлено через 2 минуты и 14 секунд Гм... википедия с гуглом молчат... wtf? |
|||
|
||||
| Vach |
|
|||
 Опытный Профиль Группа: Участник Сообщений: 304 Регистрация: 17.10.2003 Где: Санкт-Петербург Репутация: нет Всего: 18 |
Если имена файлов (путь + имя) хранить в базе (скорее всего это очевидно) то лишние директории не нужны.
Создавай 5 директорий и выкладывай туда эффекты. ЗЫ из личного опыта. Работал с картинками (~60 тысяч картинок + столько же thumblan) листается долго (в первый раз) но выборка конкретного файла (cat /path) совершенно одинаково на любой файл в системе. Скорость меняется в зависимости от FS сейчас стоит ext3, пробовал на xfs - быстрее листается, чтение приблизительно тоже. ЗЫ Самбе это отдавать просто страшно  её просто клинит (хотя работает) |
|||
|
||||
| powerfox |
|
||||
 I wanna fork() Профиль Группа: Комодератор Сообщений: 3990 Регистрация: 1.10.2005 Где: Санкт-Петербург Репутация: 26 Всего: 97 |
Какие-то извращения. А что мешает thumblan получать из оригинальных, просто указывая, где надо, меньший размер картинки? И эффекты... Можно же их накладывать сходу. Сейчас столько всяких java апплетов. java/ajax такие штуки делают, что... --------------------  |
||||
|
|||||
| Vach |
|
|||
|
Опытный Профиль Группа: Участник Сообщений: 304 Регистрация: 17.10.2003 Где: Санкт-Петербург Репутация: нет Всего: 18 |
powerfox, "Какие-то извращения." с этим согласен - но там и по 20 метров jpg попадаются - на лету "thumblan" генерить медленно (а место на винтах есть.
У меня база всех картинок часа два генерилась ~ 15 гигов (resize + ANTIALIAS) |
|||
|
||||
| Novich |
|
|||
|
Новичок Профиль Группа: Участник Сообщений: 21 Регистрация: 16.4.2004 Репутация: нет Всего: нет |
Операционная система - FreeBSD
|
|||
|
||||
| bilbobagginz |
|
|||
|
Naughtius Maximus Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 113 Всего: 317 |
Novich, я понимаю, что вы разведчик Штирлиц, и религия и профессия вам не позволяет так много информации нам раскрыть.
скажем так: на 1 машине высокой производительности вам не добиться, всё будет упираться в железо. т.е., если это IDE диск, то в 60-70 МБ/с. ИМХО, этого мало. с др. стороны: какой у вас канал ? если у вас канал - быстрый, то нужно распределенное хранилище, напр. на основе Coda или др. распределенной файловой системы. насколько хорошо Coda поддерживается на FreeBSD не могу свидетельствовать. и еще, придется раскошелиться на железо. и так: 1. какая блин, версия Фри ? 2. какое железо ? -------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
| Novich |
|
|||
|
Новичок Профиль Группа: Участник Сообщений: 21 Регистрация: 16.4.2004 Репутация: нет Всего: нет |
Железо: Celeron 2.66 GHz, RAM: 512Mb, HDD: 200Gb IDE
Система: FreeBSD 5.4 На самом деле я в Unix разбираюсь не особо. Занимаюсь операционными системами семейства Windows. Знакомые делают для своей локальной сети сервис хранения картинок, и попросили узнать. Здесь, конечно, о дополнительных вложениях денег речи быть не может. Что есть, то и придется использовать. Извиняюсь за недостаточную подачу информации. Всем спасибо за ответы. |
|||
|
||||
| bilbobagginz |
|
|||
|
Naughtius Maximus Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 113 Всего: 317 |
во первых, установите ФриБСД 6.х новую, там файловая система более новая, используйте новую файловую систему с SoftUpdates
кроме того, советую выбрать готовое решение и не париться. есть несколько готовых решиний "каталогов картинок", готовых уже, на основе apache2+php+mysql/postgresql, или др. технологии. а готовую систему, если не достаточно можно будет оптимизировать. советую по-любому увеличить количество памяти то 2-4 гиг. обычно каталоги не записывают в файловую систему, а в СУБД, при которой для болшого каталога нужно много памяти, если хотите чтобы он работал быстро. иначе будет торомозить при большом кол-ве клиентов и картинок. удачи. -------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
|
|
| Правила форума "Linux/UNIX: Oбщие вопросы" | |
|
|
В тему здесь вопросы общие - не привязанные к определенному ПО или дистрибутиву BSD/Linux/UNIX.
За интересные статьи, находки, решения, программы и просто реальную помощь будут ставиться + в репу). В данный момент этот раздел модерируют nerezus, nickless, powerfox, pythonwin, Imple и ZeeLax. Если вы хотите помочь нам, пишите в ПМ и мы обсудим. Спасибо. И use UNIX or die; С уважением, nerezus, nickless, powerfox, pythonwin, Imple, ZeeLax. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | *NIX системы: Общие вопросы | Следующая тема » |
[ Время генерации скрипта: 0.0578 ] [ Использовано запросов: 22 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |