Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > C/C++: Общие вопросы > fstream && big file

Автор: Fictax 8.8.2007, 19:14

код программы: по идее построчно читает файл, ищет нужное слово и выводит в файл, но почему-то не работает с большимим файлами (>100-200mb)

в чем проблема?

Код


#include <fstream.h>
#include <iostream.h>
#include <stdio.h>
#include <string.h>

const int BUFSIZE = 512;

int main(int argc, char *argv[])
{
    if(argc!=4)
    {
        cout << "Usage: parser.exe <infile> <outfile> <word for search>";
        return 1;
    }

    ofstream fout(argv[2]);
    ifstream ifile(argv[1]);
    if (!ifile.good()) { cout << "Couldnt open file!" ;return; }

    while (!ifile.eof())
    {
        char buf[BUFSIZE];
        ifile.getline(buf, sizeof(buf)-1);
        buf[BUFSIZE-1] = '\0';
        printf("%s \n", buf);
        if(strstr(buf,argv[3]))
        {
            fout << buf <<"\n";
        }
    }
}

Автор: korbian 9.8.2007, 14:31

что не работает конкретно?

Автор: Fictax 9.8.2007, 14:37

весь файл не читает.
т.е если в файле 20тыс строк, то максимум читает 10тыс.

с маленькими файлами работает нормально(5-10мб)

Автор: Rockie 9.8.2007, 16:50

Fictax,

Цитата(Fictax @ 8.8.2007, 19:14

)

ищет нужное слово и выводит в файл, но почему-то не работает с большимим файлами (>100-200mb)

Цитата(Fictax @ 9.8.2007, 14:37

)

т.е если в файле 20тыс строк, то максимум читает 10тыс.

Fictax, что-то не вяжется.. Вот такой код:

Код


#include <fstream>
#include <iostream>

using namespace std;

const int BUFSIZE = 512;

int main(int argc, char *argv[])
{
    ofstream fout("output.txt");
    if (!fout)
        { cout << "Couldnt create file!" ;return 0; }

    for(int i=0;i<1000000;i++)
        fout<<"Usage: parser.exe <infile> <outfile> <word for search>\n";

    return 0;
}

создаст текстовый файл с миллионом(!) строк, размер файла на моем винте ntfs ~54Mb

Автор: jonie 9.8.2007, 23:39

раз уж пошла такая песня, то и я спрошу : имеется ли лимит в 2(4) Гб для fstream на компиляторе gcc 4 и VS.NET 05 ?

Автор: En_t_end 10.8.2007, 12:47

Цитата(jonie @ 10.8.2007, 03:39

)

раз уж пошла такая песня, то и я спрошу : имеется ли лимит в 2(4) Гб для fstream на компиляторе gcc 4 и VS.NET 05 ?

Такая возможность имеется если целевая система может работать с 64 битными целыми за одную машиную команду. Ну и компилятор должен быть способен на сборку исполняемых файлов для таких систем. К тому же, насколько я знаю, по умолчанию fstream работает в файле 32 битным указателем, который к тому же знаковое целое. Т.е ограничение в 2 Gb. Чтобы на целевой системе заставить fstream работать 64 байтным указателем нужно настроить fstream. Статью о настройке std-lib можно найти на forum.sources.ru .
Так было в VS.NET 03 не думаю что что-то изменилось в 05 и gcc ИМХО. Это фича std-lib C++ и более свежую информацию можно узнать в пресс-релизе конкретной версии либы.
Это что касается возможности работы с файлами > 2 Gb.

Автор: akizelokro 10.8.2007, 13:25

А файлы на 200мб с каким расширением?
ЗЫ.

Автор: Fictax 17.8.2007, 17:22

файлы - обычные тхт

Автор: akizelokro 19.8.2007, 14:34

Интуиция мне подсказывает, что тхт-файл на 200 мег мало кто набьет в редакторе. ты уверен, что там не бинарник?

Автор: dumb 19.8.2007, 14:42

akizelokro, твоя интуиция забыла про логи, словари итд...