Цитата(Jey_k @ 16.11.2004, 16:23)

Это же классический ее пример, продажа билетов и прочего.

Это не продажа билетов.

Цитата(Jey_k @ 16.11.2004, 16:23)

Там один сервер? Вообще такие задачи выполняются подсетями. Одна машина если и выдержит такой поток данных, то только имея процессоров 16 ИМХО

Цитата(Jey_k @ 16.11.2004, 16:23)

А вообще балансирование на пороге стрессовой интенсивности работы чревато чем?

Цитата(Jey_k @ 16.11.2004, 16:23)

Правильно! DOS,DDOS. А для такого серьезного предприятия, которое опереирует деньгами и билетами это ой как чревато.

Цитата(Jey_k @ 16.11.2004, 16:23)

-Ставим подсеть. 3 серва, к примеру,

Батенька, вот это решение и выдаёт ваш уровень как профессионала - эта база данных на таких мощностях летать должна, а не работать - это же совсем небольшая база данных, к которой идёт совсем не много запросов - я же сказал, что число запросов не превышает и сотни в секунду, а размеры таблицы совсем небольшие! После недельной возни с оптимизацией запросов мне удалось загрузку процессоров снизить до 10-15%, расход RAM до 1-2 гигабайт, а сервер вывести на уровень производительности, когда я сейчас могу его загрузить минимум в 10 раз больше и не ощущу снижения производительности... Ваш же подход экстенсивный и чреват, во первых большими финансовыми издержками, подсеть с такими серваками стоит не как домашний десктоп + винды (минимум Windows 2000 Adv.Server - тоже не самая дешёвая вещь, особенно на столько лицензий на пользоввателей) на каждый комп + MS SQL Server на много подключений - итого ваше решение тянет по самым скромным подсчётам на пятизначную цифру долларов, а в итоге этой мощности всё равно не хватит, ибо процессор будет делать фигню, вместо работы....

Цитата(Jey_k @ 16.11.2004, 16:44)

Да хоть 300 лет пройдет суть от этого не поменяется. Программист-составляющий программы. Программа-последовательность операций выраженных формальной семантикой, для приведения к машинному коду или установленному формату.

А разум человека - это всего лишь волновая функция электронов, нейтронов и протонов... Вы философию или вообще не учили или решили что она вам не нужна, это и приносит свои плоды... Как никто не ставит под сомнение что мозг состоит из атомов, так и то что если проломили череп то надо идти к нейрохирургу а не физику ядерщику... Так и с программированием - никто не отрицает что в конечном итоге всё сведётся к переключению битов где-то в недрах железяки... Только путь от задачи по реализации например единой информационной сети всех аэропортов до переключения битиков в каждом из сотен тысяч компов системы и колебаний электронов в миллионах километрах проводов между ними ох как велик...Нынешние программисты очень разделились - кто-то копается в битах и байтах, пишет драйвера, да BIOS, кто-то реализует сложные алгоритмы, например ту же самую сортировку в недрах серверов баз данных, кто-то должен охватить всё это единым взором и создать архитектуру из квадратиков, кто-то должен каждый из этих квадратиков начинить начинкой, а кто-то обернуть эту начинку приятной и удобной оболочкой - и всё это программирование, и не надо заявлять что писанина алгоритмов - это круто, это настоящее программирование, а всё остальное - никому не нужная шелуха - это не так... Это в паравозе Черепанова - котёл был самым основным элементом, а теперь в автомобиле прикуриватель сложнее устроен... 30 лет назад когда программы выполняли задачи типа рассчёта диф. уравнения, работали на одном компьютере, слов - бизнес логика и проблем хранения информации не существовало, как в прочем и в страшном сне никому не приснилось бы что ЭВМ будут использовать как печатную машинку, куклу барби, средство общения или порнографический журнал - вот тогда то и было понятие о программировании как преобразование алгоритма в процессорный код, а сейчас - это гораздо более сложный и многосторонний процесс

Цитата(Vit @ 16.11.2004, 18:48)

Цитата(Sun @ 16.11.2004, ) Переписать код доступа к файлам базы данных, так как он видимо реализован неоптимально в MSSQL нет, просто надо поставить оптимальные блокировки на запросах чтения и изменения, поставить правильные индексы...

Vit, я же шучу. Просто я видел как некоторые крутые программисты, непонятно зачем создавали свои форматы данных, потом реализовывали супер-пупер хитрый механизм работы с ними, и даже делали свой GUI, отличный от стандартного. Писалось это все на чистом С в течении нескольких лет и в результате безнадежено устаревало к моменту выпуска и жутко тормозило. Получился Сизифов труд. Хорошие программисты сделали хреновый продукт.

У меня один приятель, когда надо было использовать чужой код, ему лень было разбираться и он предлагал все переписать. Он априори считал что напишет лучше. IMHO такие подходы тупиковы. Это программирование ради программирования, никому нафик не нужное.

Цитата(Sun @ 17.11.2004, 02:17)

Vit, я же шучу. Просто я видел как некоторые крутые программисты, непонятно зачем создавали свои форматы данных, потом реализовывали супер-пупер хитрый механизм работы с ними, и даже делали свой GUI, отличный от стандартного. Писалось это все на чистом С в течении нескольких лет и в результате безнадежено устаревало к моменту выпуска и жутко тормозило. Получился Сизифов труд. Хорошие программисты сделали хреновый продукт. У меня один приятель, когда надо было использовать чужой код, ему лень было разбираться и он предлагал все переписать. Он априори считал что напишет лучше. IMHO такие подходы тупиковы. Это программирование ради программирования, никому нафик не нужное.

угу, есть такие уникумы... сам таким страдал лет 10 назад, но с опытом это проходит
Добавлено @ 14:37

Цитата(Sun @ 17.11.2004, 02:17)

Хорошие программисты сделали хреновый продукт

Вот-вот, только это хорошие программисты согласно определению Jey_k о программировании как переводе в машинный код алгоритмов, на самом деле это вовсе не хорошие программисты, а хорошие кодеры, хороший программист,это программист который может хорошо решить поставленную задачу, а вовсе не тот который может написать крутой код. Хорошо решить задачу - значит что решение будет не только хорошим продуктом, но ещё будет сдлано с максимальной скоростью и с минимальными затратами времени, денег и людских ресурсов.

Да-ааа....Прочитал я все это и почуствовал себя ламером.А я думал программист
У меня один знакомый настраивал Exсel в одной фирме бухгалтерам.Больше ничего не умел.Всем говорил,что программист.Я над ним смеялся.Я мог создавать графический интерфейс и считал себя программером.Теперь смейтесь надо мной

Цитата(Vit @ 17.11.2004, 04:03)

Батенька, вот это решение и выдаёт ваш уровень как профессионала - эта база данных на таких мощностях летать должна, а не работать - это же совсем небольшая база данных, к которой идёт совсем не много запросов - я же сказал, что число запросов не превышает и сотни в секунду, а размеры таблицы совсем небольшие! После недельной возни с оптимизацией запросов мне удалось загрузку процессоров снизить до 10-15%, расход RAM до 1-2 гигабайт, а сервер вывести на уровень производительности, когда я сейчас могу его загрузить минимум в 10 раз больше и не ощущу снижения производительности... Ваш же подход экстенсивный и чреват, во первых большими финансовыми издержками, подсеть с такими серваками стоит не как домашний десктоп + винды (минимум Windows 2000 Adv.Server - тоже не самая дешёвая вещь, особенно на столько лицензий на пользоввателей) на каждый комп + MS SQL Server на много подключений - итого ваше решение тянет по самым скромным подсчётам на пятизначную цифру долларов, а в итоге этой мощности всё равно не хватит, ибо процессор будет делать фигню, вместо работы....

Знаешь... Я пока серверы не администрировал и в твоем посте подвохов не искал, принимал проблему на веру сразу и предложил один из логичных вариантов, который, кстати, реально повысит производительность.
Сервер скоро придется ставить свой, а поскольку раньше этого не делал вот и спрошу дельных советов у тебя.

Цитата(Vit @ 17.11.2004, 14:31)

Хорошо решить задачу - значит что решение будет не только хорошим продуктом, но ещё будет сдлано с максимальной скоростью и с минимальными затратами времени, денег и людских ресурсов.

Это и называется хорошим продуктом.

Цитата(Vit @ 17.11.2004, 04:19)

понятие о программировании как преобразование алгоритма в процессорный код, а сейчас - это гораздо более сложный и многосторонний процесс

Да, стало сложнее и многограннее... Но сама суть...Она прежняя.

Добавлено @ 23:55

Цитата(Vit @ 17.11.2004, 04:03)

Батенька, вот это решение и выдаёт ваш уровень как профессионала - эта база данных на таких мощностях летать должна, а не работать

Я себя профессионалом не считаю, меня как программиста не готовили, а вот матбазу дали нормальную. Учился сам по книгам. Моя работа сводится к написанию простых БД вроде складских и кадровых в Делфи+Paradox и реализации элементов дискретной математики в программировании, как то: поиск без сравнения с полным эталоном, кодирование, семантический анализ листингов, анализ исполняемых файлов и прочее...
Я считаю это более чем скромно, стремлюсь к большему


Это сообщение отредактировал(а) Jey_k - 17.11.2004, 23:58

Гм... У "нас" (в СНГ) любой, кто может открыть файл не через двойной клик мышом по (ой, как его, блин в натуре забыл!!!.... О! Вспомнил!!!) ярлыку на рабочем столе , установивший Делфя или С (от Борланд которые, маздаевские требуют наличия небольшого количества мозгов+самокритики), кинувший (как уже говорилось выше), пару кнопок на форму и нажавши F9 - считает себя программером.
Таким "программерам" и угрожает "автостоянка". IMHO программер это не профессия и даже не призвание. Это, если хотите, состояние. А сие дано не всем, согласитесь. Этим людям бояться нечего и волноваться неочем
Ну а насчет "напрягов" и "не напрягов" тут правы все, каждый со своей точки зрения. Да, если емть готовое - зачем изобретать велосипед??? Но если это "готовое" "мало-мало" или даже вообще не то? Порывшись в справочниках и в сети тоже ничего ненашел? Что ты тогда начинаешь делать? Зависит от того, какой ты "программер". Если настоящий, то ты попытаешься сам решить задачу, основываясь на тех данных которые у тебя есть... Если ты типа как программер то скорее всего со словами [b]"NEED HELP !!! Горит заказ!!! Клиент недоволен-помогите-люди-добрые !!!"[/b] побежишь на какой-нит программерский форум... Где 70% таких-же оболтусов как ты ошивается.
Тебе подскажут, в каком направлении "рыть". Но ты, выражая недовольство, будешь орать !!!
Не, подчеркиваю - это IMHO - енто не программер, а ламер, считающий себя программером... Или программер - не умеющий дрова установить!!! Смешно? мне тоже... Но видал таких... Т.е. они работали программерами, но че они там "программили" я не знаю...
В общем в том-же духе мона еще часа три рассуждать. Но мысль я думаю ясна

Пишу, уже глаза слепаются ...

Зачитался этой веткой форума. Очень интересная.

Мое сообщение в основном адресовано Vit'u:

для решения Вашей задачи (200 Гб данных, ...) неплохо было бы воспользоваться технологией OLAP
И еще у меня будет вопрос: реальная ли указана заработная плата в 250 $ в день ? В каком городе Вы работаете, сильно ли напрагают?

P.S. SCHMaster, малышь, берем книжки, идем в школу, учимся. Главное не терять интерес к программированию - это весьма интересно!

Цитата(Wassup @ 17.11.2004, 18:37)

для решения Вашей задачи (200 Гб данных, ...) неплохо было бы воспользоваться технологией OLAP

Это каким таким местом? Речь вовсе не об анализе данных идёт, да и структуры вовсе не многомерные, там даже relation нет, одна таблица... И отчёты там не делаются, аггрегаты есть, но их так мало и они служат скорее для контроля процесса, чем для самого процесса и существенной роли не играют... Это всё не туда...

Цитата(Wassup @ 17.11.2004, 18:37)

И еще у меня будет вопрос: реальная ли указана заработная плата в 250 $ в день ?

Чуть меньше, примерно 245$ в день...

Цитата(Wassup @ 17.11.2004, 18:37)

В каком городе Вы работаете

Вообще-то слева от моих сообщений указан город...

Цитата(Wassup @ 17.11.2004, 18:37)

сильно ли напрагают?

Не с чем сравнивать - скажем так, в 70% дней задерживаться на работе не приходится, но раза два в месяц выхожу по выходным, иногда дёргают и среди ночи, иногда приходится работать и очень много, иногда можно и откровенно побездельничать...

Цитата(Jey_k @ 17.11.2004, 14:50)

Знаешь... Я пока серверы не администрировал и в твоем посте подвохов не искал, принимал проблему на веру сразу и предложил один из логичных вариантов, который, кстати, реально повысит производительность. Сервер скоро придется ставить свой, а поскольку раньше этого не делал вот и спрошу дельных советов у тебя.

не обижайся, не в подвохах дело...

Цитата(Jey_k @ 17.11.2004, 14:50)

Моя работа сводится к написанию простых БД вроде складских и кадровых в Делфи+Paradox

В этом и проблема, это круг твоих задач который и определяет мировоззрение. Не возражай, я сам таким был... 15 лет назад я писал программы и в машинных кодах без ассеблеров, а 5 лет назад писал так как ты... Собственно задачи эти сводятся к тому что есть один комп, одна или несколько програм, естественно что всё сводится к тому что камень твоего компа лопатит код одной или нескольких програм и глядя на это возникает естественный зуд в определённых частях тела безобразие сиё прекратить, написать свой супернавороченный алгоритм который будет работать быстрее, кроме того очень очевидна связка: высокоуровневой код -> процессорный код... Когда задачи становятся масштабнее - клиент-сервер, сетевые, распределённые приложения и т.д. то всё становится совсем не настолько очевидным... Это качественно иной уровень, он не сложнее и не легче, он просто другой, это тоже программирование, но оно совсем в другой плоскости... Допустим если я тебе скажу что 200000 строк кода моей программы при выполнении затрачивают всего 1% времени от общего времени программы, остальные 99% времени распределяются примерно поровну между ожиданием ответа от удалённых серверов на разных концах земного шара и временем выполнения запросов к базам данных... Есть там у меня в коде и шифрование, и фильтрация с сортировкой и даже архивирование, только нет НИКАГО смысла ни оптимизировать алгоритмы, ни писать какой-то особо оптимизированный код на ассемблере - подправление какого-то индекса в базе данных может сразу дать повышение производительности на 10-20%, а работа над кодом в идеале может дать выигрышь лишь в 1%. Почему весь мир двигается либо к скриптам типа ASP/PHP либо гибридам скриптов и компилляторов типа Java, .net или VB? Ведь они дают код который работает иногда на порядки медленнее чем код написанный на ассемблере! Да просто потому что производительность кода для тех приложений в которых они применяются не критична! Удобство разработки значит гораздо больше чем чем оптимальный код. То же самое и с архитектурой... забив на оптимизирование кода, а распараллелив некоторые процессы, смоделировав свою кластерную модель, удалось комплекс из 10 компов на которых работала программа, заменить 4мя компьютерами, но которые уже работали по совершенно иной логике - без потери производительности... сам работающий код я практически не менял - я копировал целыми кусками по пять сотен линий из старых проектов в новые... Просто модули были собраны по другому, другое взаимодействие и т.д. И это тоже программирование, хотя если присмотрется на уровне комманд процессора - то окажется что 99.99% последовательностей команд никак не изменилось, но производительность увеличена более чем в двое...

Цитата(SCHMaster @ 17.11.2004, 17:53)

это IMHO - енто не программер, а ламер, считающий себя программером... Или программер - не умеющий дрова установить!!! Смешно? мне тоже... Но видал таких... Т.е. они работали программерами, но че они там "программили" я не знаю...

А теперь пример. У меня в проектах несколько програм стоит - пара из них весьма сложные, очень много всего наворочено и занимают моё время по самое нехочу, а есть, и их довольно много работы типа, такой: нужно конфигурацию написать: буквально есть таблица 10 полей 100 записей, надо сделать программу с помощью которой эту таблицу можно было бы редактировать. Сложная работа? Нет! Делать её всего ничего, в черновом виде - минут 15, но там беда, надо кнопки все выровнять, hint суперпонятные написать, каждый на абзац текста, для каждого значения проверку всунуть чтоб какой-нибудь мусор не вколотили, лог изменений вести, и т.д. Сложно? Нет! Но для реализации уже нужна пара дней... У меня их нет, надо брать программиста на работу. Такому как я надо платить минимум 30 в час, иначе он быстренько найдёт другую работу, да даже и за такую зарплату посадить его за такие проекты - он тоже взвоет от скуки через месяц! А вот если взять девочку, которая кое-как чего-нибудь закончила и никаких алгоритмов и в глаза не видела, и от слов "пузырёк" у неё глаза пузырьками становятся, зато с такой работой она справится не хуже меня, даже лучше так как аккуратнее выравняет кнопки и красивее напишет описания, платить ей можно в 2 раза меньше чем мне, и никуда она с этой работы не уйдёт и не заскучает, а меня перестанут по ерунде дёргать... И кому плохо от такого ламера?

Цитата(SCHMaster @ 18.11.2004, 02:53)

Не, подчеркиваю - это IMHO - енто не программер, а ламер, считающий себя программером... Или программер - не умеющий дрова установить!!! Смешно? мне тоже... Но видал таких... Т.е. они работали программерами, но че они там "программили" я не знаю... В общем в том-же духе мона еще часа три рассуждать. Но мысль я думаю ясна

Вот чушь какая. Я знаю великолепных программистов, которые не умеют дрова установить и не ставят сами систему. Ибо тратить на это свое время им накладно слишком.

Цитата(SCHMaster @ 18.11.2004, 02:53)

IMHO программер это не профессия и даже не призвание. Это, если хотите, состояние. А сие дано не всем, согласитесь. Этим людям бояться нечего и волноваться неочем

ПРофессия это. Самая обычная. Имеющая свою специфику и предполагающая определённые способности. Но ведь любой квалифицированный труд этого требует. Так нечего пальцы раскидывать.

Такое ощущение, что эти посты писал студент первого курса. Наподобие того, который тут в каком-то топике обозвал ламерами тех, кто свой код не старается с обёма 2-3 метра уменьшить до 60-ти кб.

З. Ы.

А уж в нашей стране, где средний пользователь не знает как компьютер перегрузить и постоянно путает логин для входа в 1с с паролем для входа в систему, ещё долго людей, которые могут формулу в экселе написать, называть программистами.

Цитата(Vit @ 18.11.2004, 05:24)

не обижайся, не в подвохах дело...

Да не, я не обижаюсь.
Дискуссия дико интересная.

Цитата(Vit @ 18.11.2004, 05:24)

В этом и проблема, это круг твоих задач который и определяет мировоззрение.

Не спорю, просто по среднестатистическим фирмам Москвы, программеры пишут примерно то же, хотя не всегда.

Цитата(Vit @ 18.11.2004, 05:24)

Допустим если я тебе скажу что 200000 строк кода моей программы при выполнении затрачивают всего 1% времени от общего времени программы, остальные 99% времени распределяются примерно поровну между ожиданием ответа от удалённых серверов на разных концах земного шара и временем выполнения запросов к базам данных... Есть там у меня в коде и шифрование, и фильтрация с сортировкой и даже архивирование, только нет НИКАГО смысла ни оптимизировать алгоритмы, ни писать какой-то особо оптимизированный код на ассемблере - подправление какого-то индекса в базе данных может сразу дать повышение производительности на 10-20%, а работа над кодом в идеале может дать выигрышь лишь в 1%. Почему весь мир двигается либо к скриптам типа ASP/PHP либо гибридам скриптов и компилляторов типа Java, .net или VB? Ведь они дают код который работает иногда на порядки медленнее чем код написанный на ассемблере! Да просто потому что производительность кода для тех приложений в которых они применяются не критична!

Там чуть выше я писал, что приведение не только к машнному коду, но и к определенному формату. Разве это неверно? А форматов много и SQL в том числе.


То что программирование связанное с базами включает гораздо больше чем просто оптимизация кода, это понятно.
Просто я слишком мало знаком с распределенными приложениями и базами, поэтому и вижу смысл программирования в семантике. На моем уровне это очевидно, а, как стало понятно из дискуссии, профессионалы придерживаются другого мнения.
Vit благодарю за разъяснение. Нужно продолжать учиться...

Это сообщение отредактировал(а) Jey_k - 18.11.2004, 11:54

Цитата(Vit @ 18.11.2004, 05:24)

В этом и проблема, это круг твоих задач который и определяет мировоззрение.

Хорошо сказано. У всех у нас есть задачи, которые мы стремимся выполнять быстрее и лучше, и это стремление формирует наши подходы, приоритеты и в конечном итоге точку зрения по различным вопросам. Из этого вытекает, что главное, что ограничивает программиста - это круг его задачь, потому что все его гипотетические возможности и таланты он ценит и развивает постольку, поскольку они ему помогают их выполнять.
Перейдя от разработки сайтов к распределённым корпоративным приложениям я ощутил, что мне не столько стало сложней (что было бы понятно из-за резко возросшей сложности задач), сколько свободней - наверное это и связано именно с этими вещями. :-)

И вообще, Vit, большое спасибо, расставил по полочкам кучу моментов, которые я никак не мог связать между собой :-)

Цитата(Jey_k @ 18.11.2004, 02:52)

Там чуть выше я писал, что приведение не только к машнному коду, но и к определенному формату. Разве это неверно?

Нет не верно. Ио когда ты программируешь например взаимодействие клиента и сервера или например нескольких программ работающих параллельно, короче, когда ты работаешь над архитектурой программы - то это отнюдь не приведение к формату...
Добавлено @ 14:25

Цитата(Jey_k @ 18.11.2004, 02:52)

Просто я слишком мало знаком с распределенными приложениями и базами, поэтому и вижу смысл программирования в семантике. На моем уровне это очевидно, а, как стало понятно из дискуссии, профессионалы придерживаются другого мнения.

И да и нет... То что ты говоришь очень важно, хотя и имеет довольно ограниченную применимость. Если к примеру ты можешь очень оптимально реализовать алгоритм, а я этого не могу, зато могу набросать тебе архитектуру системы на сотню рабочих мест - то никто из нас не лучше и не хуже, мы оба программисты и оба профессиналы, правда в разных областях. Твои знания помогут тебе реализовать например рассчёты к какому-нибудь термоядерному реактору, но ты не сможешь написать нормально работающую систему на много рабочих мест, у меня будет наоборот (я и ты здесь взяты просто для примера)...

Цитата(Vit @ 18.11.2004, 14:17)

То что ты говоришь очень важно, хотя и имеет довольно ограниченную применимость.

Ну собственно применение дискретной математики необходимо для эффективности реализации:

- Сортировки и поиска
- Получисленных алгоритмов
- Кодирования и шифрования
- Анализа объемов данных
- Парсеров для интерпретаторов и компиляторов
- Оптимизации
и прочего...

И еще один моментик:
Математическое и лингвистическое программирование являются разделами дискретной математики.

Это сообщение отредактировал(а) Jey_k - 18.11.2004, 14:59