Модераторы: Daevaorn
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> fstream && big file 
:(
    Опции темы
Fictax
Дата 8.8.2007, 19:14 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 3
Регистрация: 8.8.2007

Репутация: нет
Всего: нет
код программы: по идее построчно читает файл, ищет нужное слово и выводит в файл, но почему-то не работает с большимим файлами (>100-200mb)

в чем проблема?
Код

#include <fstream.h>
#include <iostream.h>
#include <stdio.h>
#include <string.h>

const int BUFSIZE = 512;

int main(int argc, char *argv[])
{
    if(argc!=4)
    {
        cout << "Usage: parser.exe <infile> <outfile> <word for search>";
        return 1;
    }

    ofstream fout(argv[2]);
    ifstream ifile(argv[1]);
    if (!ifile.good()) { cout << "Couldnt open file!" ;return; }

    while (!ifile.eof())
    {
        char buf[BUFSIZE];
        ifile.getline(buf, sizeof(buf)-1);
        buf[BUFSIZE-1] = '\0';
        printf("%s \n", buf);
        if(strstr(buf,argv[3]))
        {
            fout << buf <<"\n";
        }
    }
}
PM MAIL   Вверх
korbian
Дата 9.8.2007, 14:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 336
Регистрация: 20.2.2007
Где: Penza

Репутация: 2
Всего: 14
что не работает конкретно?


--------------------
korbian ©
PM   Вверх
Fictax
Дата 9.8.2007, 14:37 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 3
Регистрация: 8.8.2007

Репутация: нет
Всего: нет
весь файл не читает.
т.е если в файле 20тыс строк, то максимум читает 10тыс.

с маленькими файлами работает нормально(5-10мб)
PM MAIL   Вверх
Rockie
Дата 9.8.2007, 16:50 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1143
Регистрация: 23.4.2006

Репутация: 8
Всего: 31
Fictax, 
Цитата(Fictax @  8.8.2007,  19:14 Найти цитируемый пост)
ищет нужное слово и выводит в файл, но почему-то не работает с большимим файлами (>100-200mb)


Цитата(Fictax @  9.8.2007,  14:37 Найти цитируемый пост)
т.е если в файле 20тыс строк, то максимум читает 10тыс.


Fictax, что-то не вяжется.. Вот такой код:
Код

#include <fstream>
#include <iostream>

using namespace std;

const int BUFSIZE = 512;

int main(int argc, char *argv[])
{
    ofstream fout("output.txt");
    if (!fout)
        { cout << "Couldnt create file!" ;return 0; }

    for(int i=0;i<1000000;i++)
        fout<<"Usage: parser.exe <infile> <outfile> <word for search>\n";

    return 0;
}


создаст текстовый файл с миллионом(!) строк, размер файла на моем винте ntfs ~54Mb




--------------------
Чтобы иметь большой гардероб - надо иметь большой гардероб.
PM   Вверх
jonie
Дата 9.8.2007, 23:39 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 5613
Регистрация: 21.8.2005
Где: Владимир

Репутация: 15
Всего: 118
раз уж пошла такая песня, то и я спрошу : имеется ли лимит в 2(4) Гб для fstream на компиляторе gcc 4 и VS.NET 05  ?


--------------------
Что-то не поняли? -> Напейтесь до зеленых человечков... эта сверхцивилизация Вам поможет...
PM MAIL Jabber   Вверх
En_t_end
Дата 10.8.2007, 12:47 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Участник Клуба
Сообщений: 2074
Регистрация: 4.12.2004

Репутация: 1
Всего: 20
Цитата(jonie @  10.8.2007,  03:39 Найти цитируемый пост)
раз уж пошла такая песня, то и я спрошу : имеется ли лимит в 2(4) Гб для fstream на компиляторе gcc 4 и VS.NET 05  ?

Такая возможность имеется если целевая система может работать с 64 битными целыми  за одную машиную команду. Ну и компилятор должен быть способен на сборку исполняемых файлов для таких систем. К тому же, насколько я знаю, по умолчанию fstream работает в файле 32 битным указателем, который к тому же знаковое целое. Т.е ограничение в 2 Gb. Чтобы на целевой системе заставить fstream работать 64 байтным указателем нужно настроить fstream. Статью о настройке std-lib можно найти на forum.sources.ru .
Так было в VS.NET 03 не думаю что что-то изменилось в 05 и gcc ИМХО. Это фича std-lib C++ и более свежую информацию можно узнать в пресс-релизе конкретной версии либы.
Это что касается возможности работы с файлами > 2 Gb.


Это сообщение отредактировал(а) En_t_end - 10.8.2007, 12:50
PM MAIL ICQ Skype GTalk Jabber   Вверх
akizelokro
Дата 10.8.2007, 13:25 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Крокодил
**


Профиль
Группа: Участник
Сообщений: 761
Регистрация: 30.7.2007

Репутация: 1
Всего: 5
А файлы на 200мб с каким расширением? 
ЗЫ. 


--------------------
a = a + b; b = a - b; a = a - b;
PM MAIL   Вверх
Fictax
Дата 17.8.2007, 17:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 3
Регистрация: 8.8.2007

Репутация: нет
Всего: нет
файлы - обычные тхт
PM MAIL   Вверх
akizelokro
Дата 19.8.2007, 14:34 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Крокодил
**


Профиль
Группа: Участник
Сообщений: 761
Регистрация: 30.7.2007

Репутация: 1
Всего: 5
Интуиция мне подсказывает, что тхт-файл на 200 мег мало кто набьет в редакторе. ты уверен, что там не бинарник?


--------------------
a = a + b; b = a - b; a = a - b;
PM MAIL   Вверх
dumb
Дата 19.8.2007, 14:42 (ссылка) | (голосов:1) Загрузка ... Загрузка ... Быстрая цитата Цитата


sceloglauxalbifacies
****


Профиль
Группа: Экс. модератор
Сообщений: 2929
Регистрация: 16.6.2006

Репутация: 8
Всего: 158
akizelokro, твоя интуиция забыла про логи, словари итд...
PM MAIL   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "С++:Общие вопросы"
Earnest Daevaorn

Добро пожаловать!

  • Черновик стандарта C++ (за октябрь 2005) можно скачать с этого сайта. Прямая ссылка на файл черновика(4.4мб).
  • Черновик стандарта C (за сентябрь 2005) можно скачать с этого сайта. Прямая ссылка на файл черновика (3.4мб).
  • Прежде чем задать вопрос, прочтите это и/или это!
  • Здесь хранится весь мировой запас ссылок на документы, связанные с C++ :)
  • Не брезгуйте пользоваться тегами [code=cpp][/code].
  • Пожалуйста, не просите написать за вас программы в этом разделе - для этого существует "Центр Помощи".
  • C++ FAQ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, Earnest Daevaorn
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | C/C++: Общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.2234 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.