Я занимаюсь программированием, но нельзя сказать, что я профессионал скорее любитель. Решил создать программу при помощи которой можно будет работать с биржевыми данными, а именно:

1)    Получать данные с определённого сервера
2)    Передавать эти данные на сервер
3)    Анализировать данные в созданной программе
4)    Сделать так чтобы все данные и аналитика скидывались на определённый сайт, куда каждый зарегистрированный пользователь мог зайти и посмотреть оценки и анализ других.

То есть сделать проект для определённого круга людей.

В общем, вопросов конечно много, опыта в подобном у меня нет. Поэтому и хочу собрать по кусочкам необходимую информацию:

1)    На каком языке лучше делать программу для анализа данных?
2)    Как организовывать связь программы с сайтом?
3)     Как лучше сделать сайт?
4)     Как защитить информацию?
5)    Что необходимо знать при реализации таких проектов?

Буду рад услышать и критику и пожелания, я понимаю, что ещё совсем зелёный, чтобы замахиваться на такое детище, но дорогу осилит идущий, спасибо за понимание, надеюсь с Вашей помощью разобраться детально в этой задаче! 

Неужели нету никаких идей? Может тогда посоветуете, в каком разделе форума это лучше спросить? Или где вообще можно поговорить об этом?

Об этом пока говорить бессмысленно. Видите ли, Ваше сообщение больше всего напоминает что-то в таком роде: "Хочу разработать новую модель автомобиля. Какую обивку для заднего дивана посоветуете?".

Хорошо, тогда подскажите мне, пожалуйста, как сделать сообщение более информативным? С чего начать. что объяснить?

Ну, для начала примерно такой список:
1) Какие данные (характер, объем и т.п.) предполагается передавать?
2) Что понимается под словом "анализировать"?
3) Какова квалификация "зарегистрированного пользователя" (он может пару кнопок нажать или sql-запрос к базе написать)?
3) От каких именно потенциальных угроз все это требуется защищать?

Спасибо Фантом за то, что направляете меня в нужное русло.  Вопросы на самом деле нетривиальные, так как всё пока лишь на фоне идеи.

1)    Какие данные (характер, объем и т.п.) предполагается передавать?
2)    Что понимается под словом "анализировать"?

Хочу сделать для определённого круга лиц (клуб) систему, в которой десктопное приложение даёт возможность вычислять различные значения используя цены акций, например: я вычисляю скользящую среднюю цены акции за 60 дней, или математическое ожидание, затем кроме того, что эти данные остаются у меня в программе, они ещё передаются на сервер (сайт), куда другой пользователь этого клуба может отправить свои расчеты, либо зайти на сайт и посмотреть мои расчёты или кого-либо ещё, то есть создать общий коллективный разум. Ну и плюс, чтобы он мог выгружать чужие расчеты на своё десктопное приложение, не заходя на сайт.  Скорее всего, это будут различные типы данных. Рисунков и видео не будет. Объём будет значительный и будет увеличиваться с ростом клуба. 

3)    От каких именно потенциальных угроз все это требуется защищать?

Чтобы никто кроме членов клуба не мог получить доступ к этой информации.

4)    Какова квалификация "зарегистрированного пользователя" (он может пару кнопок нажать или sql-запрос к базе написать)?

Не работал c sql, иногда пишу программы на C#, раньше писал на C и Delphi, последнее, что делал это кодек сжатия и парсер для tiff, не считаю себя великим специалистом, скорее любитель. 

Буду рад услышать новые наводящие вопросы и подсказки: в какую сторону надо рыть! 

То, что Вы написали, пока что не является ответами. Например:

"Значительный" - это сколько? Мегабайт? Петабайт? А выбирать инструментарий, не зная этого, совершенно бессмысленно.


Из этого примера совершенно неясно, зачем результаты расчетов куда-то загружать. То, что Вы описали, явно проще вычислять каждый раз при запросе заново, причем от конкретного пользователя результат зависеть не должен. А от нормального ответа на этот вопрос тоже зависит многое - либо Ваша программа считает среднее арифметическое пары десятков чисел (и тогда ее можно писать хоть точечками на ленте машины Тьюринга), либо это действительно сложный статистический анализ данных (и тогда действительно надо выбирать язык, пригодный для решения задач такого рода, даже если это приведет к дополнительным накладным расходам в другой части программы).


Так не бывает. В конце концов, всегда можно поймать члена клуба, раздобыть паяльник и заняться терморектальным криптоанализом. Поэтому мой вопрос имеет несколько другой смысл - какова реальная стоимость защищаемой информации и какие затраты на ее сохранение (меньшие реальной стоимости, иначе игра не стоит свеч) для Вас являются приемлимыми? Когда это будет определено, тогда можно будет думать, какими средствами нужно пользоваться.

Ну и заодно субвопрос, что дороже обойдется: несанкционированная передача информации или ее потеря? Если ответ - первое, то надо думать в основном не над тем, как ее защитить, а о том, как ее при необходимости надежно уничтожить.


Речь идет не о Вас, а о самом неквалифицированном "члене клуба". Интерфейс какого типа будет доступен для его понимания?

Ну и, кстати, еще один общий вопрос - сколько все это может стоить в готовом виде и сколько Вы можете на это потратить? Можно в человеко-часах, можно в рублях/долларах/евро. Строго говоря, начинать надо именно с ответа на этот вопрос.

Фантом, начинаю с вопроса, который вы определили как приоритетный. 

Сколько это будет стоить, я не знаю по нескольким причинам: первая и главная мне интересно это сделать самому, разобраться, понять, мне как любому любознательному и любящему знания человеку хочется опробовать свои силы в решении этой задачи; вторая причина  - этот проект он некоммерческий, по крайней мере на данном этапе, да и не занимался я стоимостной оценкой программных продуктов. Однако, если у кого-то будет желание мне помочь, подсказать, то можно поговорить и о каком-то вознаграждении, я  понимаю, что альтруистов нет и все хотят кушать и даже время на советы стоит денег. 




Предположим 1 мегабайт в секунду



Важнее это несанкционированная передача, то есть, чтобы никто другой не смог получить доступ к этой информации. Кстати, может посоветует, что-нибудь полезное на эту тему почитать? 



Сегодня стоимость этой информации - 0, но далее если клуб будет развиваться и будут толковые люди, то стоимость будет высока, поэтому надо взять что-то среднее между 0 и например 1000уе в месяц, хотя честно я не ориентируюсь в цифрах. 



Я хотел бы сразу спросить, а если расчёты в программе будет делать каждый самостоятельно и затем загружать на сервер только результаты, чтобы все остальные имели доступ строго к результатам, то есть ограничить доступ каждого члена клуба, чтобы максимально защитить информацию, это как-то улучшить возможности защиты?

Далее, отвечая на Ваш вопрос, хочу сказать, что у каждого есть свой набор математических средств, но часто люди обходятся простым статистическим анализом и простой математикой, грубо говоря операции: умножить, поделить, сложить, отнять, возвести в квадрат, вычесть корень, чтобы можно было дисперсию посчитать, среднее, волатильность  и другое. 

И ещё возникает важный вопрос, как сделать так, чтобы десктопное приложение работало на разных операционных системах? а также на мобильных устройствах (симбиан, андройд)?

Я заранее извиняюсь, за неточности и за неполноту, но идея зреет постепенно, вот чем больше общаюсь, тем лучше понимаю, что надо знать, на какие вопросы отвечать, куда двигаться. Спасибо Вам! 


Это сообщение отредактировал(а) myendlessness - 11.11.2010, 16:29

Разрабатывается отдельно биржевой клиент, или же биржевая система, включающая в себя и сервер? Какой режим обновления данных на клиенте?