Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Считывание больших текстовых файлов, ANSI-файлы более 8ГБ 
:(
    Опции темы
Zakhar_Shan
Дата 10.12.2012, 14:48 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 91
Регистрация: 14.6.2007
Где: Тюмень

Репутация: 1
Всего: 2
С текстовыми файлами раньше возился очень просто:
Код

TStrings * buff = new TStringList();
buff->LoadFromFile(fileName);
for (int i = 0; i<buff->Count; i++  ){
    String line = buff->Strings[i];
   //че хочу делаю
}
delete buff;


Такой подход мне был очень удобен и понятен, пока файлы не стали весить очень много (более 8 ГБ).
Загружать такой файл в программу мягко говоря самоубийство для 32-битного приложения.
Поэтому вопрос, можно ли сделать что-то наподобие буфера, куда грузиться только часть файла, а при запросе символа за пределами загруженного, буфер чиститься, и загружается следующая порция (реализовывал это на бинарниках, но с текстовым так возиться не охота)?
Или другие предложения, тоже с удовольствием послушаю smile .
PM MAIL   Вверх
artsb
Дата 10.12.2012, 19:36 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 2280
Регистрация: 17.7.2007
Где: центр Вселенной

Репутация: 39
Всего: 64
ИМХО, как в ручную читать файл и разбирать его, другого выхода нет...


--------------------
Чем отличается умный человек от мудрого?
Умный - выпутается из любой ситуации.
Мудрый - просто в неё не попадёт.
PM MAIL   Вверх
volatile
Дата 10.12.2012, 23:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 2107
Регистрация: 7.1.2011

Репутация: 3
Всего: 85
Цитата(Zakhar_Shan @  10.12.2012,  14:48 Найти цитируемый пост)
   String line = buff->Strings[i];
   //че хочу делаю

Дык для этого и существуют потоки.

читайте из потока, по строке, и обрабатывайте.
файл может быть хоть 100 гигабайт.
PM MAIL   Вверх
Zakhar_Shan
Дата 11.12.2012, 06:43 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 91
Регистрация: 14.6.2007
Где: Тюмень

Репутация: 1
Всего: 2
Цитата(volatile @ 10.12.2012,  23:52)
Цитата(Zakhar_Shan @  10.12.2012,  14:48 Найти цитируемый пост)
   String line = buff->Strings[i];
   //че хочу делаю

Дык для этого и существуют потоки.

читайте из потока, по строке, и обрабатывайте.
файл может быть хоть 100 гигабайт.

Ну, я типо любитель, укажите путь, товарищч! smile 
PM MAIL   Вверх
artsb
Дата 11.12.2012, 08:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 2280
Регистрация: 17.7.2007
Где: центр Вселенной

Репутация: 39
Всего: 64
CreateFile
fstream
fopen


--------------------
Чем отличается умный человек от мудрого?
Умный - выпутается из любой ситуации.
Мудрый - просто в неё не попадёт.
PM MAIL   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "С++ Builder"
Rrader

Запрещается!

1. Публиковать ссылки на вскрытые компоненты

2. Обсуждать взлом компонентов и делиться вскрытыми компонентами

  • Литературу по С++ Builder обсуждаем здесь
  • Действия модераторов можно обсудить здесь
  • С просьбами о написании курсовой, реферата и т.п. обращаться сюда
  • Настоятельно рекомендуем заглянуть в DRKB (Delphi Russian Knowledge Base) - крупнейший в рунете сборник материалов по Дельфи

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, Rrader.
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | C++ Builder | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0689 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.