Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Сортировка огромных данных 
:(
    Опции темы
Enelar
Дата 6.10.2010, 01:56 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 141
Регистрация: 13.1.2008

Репутация: нет
Всего: 1



По времени. Там записывалась пара данных a = b
a получается от клиента и зависит от параметра на нем
b получается из а по неизвестному алгоритму(программой чужой конторы).
Нужно отсортировать по b

Ну еще несколько параметров которые не играют роли.
PM MAIL   Вверх
gcc
Дата 6.10.2010, 07:51 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Агент алкомафии
****


Профиль
Группа: Участник
Сообщений: 2691
Регистрация: 25.4.2008
Где: %&й

Репутация: нет
Всего: 17



еще есть unix sort, он отсортирует хитро, но конечно не быстро... примерно как я понял 120 гиг за 12 часов
вот тут обсуждали задачу от yandex (яша предлагал unix sort)

Это сообщение отредактировал(а) gcc - 6.10.2010, 08:55
PM WWW ICQ Skype GTalk Jabber   Вверх
W4FhLF
Дата 8.10.2010, 07:53 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


found myself
****


Профиль
Группа: Участник Клуба
Сообщений: 2831
Регистрация: 2.12.2006

Репутация: 5
Всего: 121



Цитата(Enelar @  6.10.2010,  01:56 Найти цитируемый пост)
a получается от клиента и зависит от параметра на немb получается из а по неизвестному алгоритму(программой чужой конторы).Нужно отсортировать по b


Буквально сегодня наткнулся на интересную разработку, код только недавно открыли:
http://code.google.com/p/back40computing/wiki/RadixSorting

Сортировка 32х битных пар <key, value> на GPU со скоростью 780 млн. значений / сек (это на топовой вид.хе GTX480). 

Самый быстрый в мире показатель для одиночного программируемого устройства. smile 


--------------------
"Бог умер" © Ницше
"Ницше умер" © Бог
PM ICQ   Вверх
Pavia
Дата 8.10.2010, 10:10 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 418
Регистрация: 6.12.2008

Репутация: 11
Всего: 12



W4FhLF
Для чисел сортировка линейна. 
32х битных пар <key, value>  сортировка я так понимаю по ключу. 
Значит 32/8 имеем 4 прохода. Пропускная способность памяти компьютера<-> видео карта 20Гбайт/с*8 =160Гбит/с поделим на 64бит key+ value и на 4 прохода и на 2 операции чтение запись.
312.5м операций в секунду.

В видео карте  память имеет скорость выше 370 гбит/с.  722 миллион операций в секунду.

Молодцы разработчики выжали максимум. 

Это не так интересно. В базах данных используется 128битные ключи. 

Да и определяет скорость самое медленное устройство. Правда продвинутые базы данных хранят всё в памяти. 

Это сообщение отредактировал(а) Pavia - 8.10.2010, 10:19
PM MAIL   Вверх
W4FhLF
Дата 8.10.2010, 10:34 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


found myself
****


Профиль
Группа: Участник Клуба
Сообщений: 2831
Регистрация: 2.12.2006

Репутация: 5
Всего: 121



Pavia, понятно, что bottleneck будет на I/O HDD. Просто инфа интересная, решил поделиться smile


--------------------
"Бог умер" © Ницше
"Ницше умер" © Бог
PM ICQ   Вверх
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Алгоритмы"

maxim1000

Форум "Алгоритмы" предназначен для обсуждения вопросов, связанных только с алгоритмами и структурами данных, без привязки к конкретному языку программирования и/или программному продукту.


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, maxim1000.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Алгоритмы | Следующая тема »


 




[ Время генерации скрипта: 0.0659 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.