На собеседовании в трансконтинентальной корпорации мирового масштаба меня спросили:
Если по запросу передаются данные очень большого размера, то что делать?
Например, как передать на КПК 10Gb данных? 

Через протокол FTP вроде как. А прчем тут NET (или это в контексте)? 

Модератор: Название темы должно отражать ее суть!

А вообще, не въехал  

Вот в том то и прикол!   
Как в КПК вообще столько поместится? Допустим мы хотим получить данные из базы данных на удалённом сервере. Устанавливаем соединение, пишем запрос, отправляем на сервер и... он возвращает 10 Gb данных... на КПК!!! Все эти данные надо показать в гриде, но для этого надо иметь широченный канал и огромный размер оперативки на КПК, ведь ADO.NET всё держит в памяти.
Главное что решение этой проблемы ЕСТЬ!  

Это сообщение отредактировал(а) Ch0bits - 16.5.2006, 19:01

Не может быть, чтобы показать все сразу. Скорее всего речь идет о том, чтобы эмулировать показ всего, а на самом деле иметь виртуальный список, который подгружает по мере необходимости новые записи с сервера, и выгружает то, что уже не видно. Тада хоть 100 ГБ    

У меня ещё была идея, что данные с сервера можно получить в xml и сохранить их на диске, а потом читать фрагментами с помощью XmlDocument. Но это тоже какая-то сомнительная идея.   
 

Интересно, как ты на диске сохранишь XML в 10 ГБ. 

Грузить только те записи, которые нужны, TOP-ом по 100 записей за раз. Чтобы выдрать 100 записей из середины таблицы, например после Id=1000, делаем так: SELECT TOP 100 ... WHERE Id > 1000 ORDER BY Id, типа того.

Добавлено @ 11:24 
З.Ы, а вообще-то при больших объёмах данных используют датаридеры вместо датасетов. 

mr.DUDA
О великий учитель хакеров! В очередной раз падаю пред тобой на колени!   
   

dataAdapter.Fill(dataSet, (pageNum - 1) * pageSize, pageSize, tableName);

pageSize –число строк на странице; pageNum – номер страницы, начиная с 1.


Либо через TOP (* заменить на нужные поля)

SELECT * FROM tableName WHERE keyName IN
    (SELECT TOP pageSize keyName FROM tableName WHERE keyName IN
        (SELECT TOP pageSize * pageNum keyName FROM tableName
            ORDER BY keyName)
        ORDER BY keyName DESC)
ORDER BY keyName

Только эти вложенные запросы не эффективны при больших таблицах (тысячи строк)

Более подробно можно найти здесь: http://dotnet2themax.com/goto/programmingvbnet.aspx
в книге Programming Microsoft Visual Basic .NET
 

А можно использовать  или это мои глюки?  Постепенно увеличивать <last_number> и получить по порциям любое количество... 

Какая разница? Мы ведь за ООП:




   

Имелась ввиду перегрузка метода   



Пытался сделать (ACCESS) - нету  А вещь хорошая.
Может альтернатива есть 

вроде бы курсоры для этого придуманы 

В MSSQL 2005 появилясь функция Row_Number() для постраничного извлечения данных.



 

Круто, не знал. Спасибо за инфу! 

Пожалуйста, только лучше сделать так (т.к. Row_Number() влияет на _итоговые_ строки после выборки, поэтому тот пример малость мертвый):


Добавлено @ 23:51 
Вот еще несколько интересных функций:



Все примеры делались на базе AdventureWorks (входит в MSSQL2005).

Rank() - равным значениям присваиваются одинаковые номера;
Dense_Rank() - тоже, что и Rank() плюс удаляет проб. в посл-ти номеров;
NTile() - разбивка группы строк на одинаковые или близкие части, а если не может, включает большее число строк в группы с меньшими номерами.

Результат того запроса: