Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> CharSequence из текстового файла, большой файл! 
:(
    Опции темы
ivanovpv
Дата 28.7.2010, 12:34 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Варвар
**


Профиль
Группа: Участник
Сообщений: 639
Регистрация: 26.1.2005
Где: Москва

Репутация: 4
Всего: 28
Есть функция на вход которой подается объект с таким типом (CharSequence). Есть большой текстовый файл (несколько мегов), который целиком в оперативку ясен пень не лезет. Надо бы написать реализацию интерфейса CharSequence так чтобы он мог брать файл произвольной длины при необходимости подкачивая из диска. Может кто-то где-то видел такие исходники? Буду премного благодарен - сидеть писать самому как-то муторно.


--------------------
Aut viam inveniam aut faciam
PM MAIL Skype   Вверх
jk1
Дата 28.7.2010, 13:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник
Сообщений: 1168
Регистрация: 17.10.2008
Где: Санкт-Петербург

Репутация: 40
Всего: 75
С произвольной длинной файла довольно сложно, в самом деле, как для произвольной длины реализовывать вот такой метод из charSequence:
Код

 public int length();

?


--------------------
Opinions are like assholes — everybody has one
PM MAIL   Вверх
Skipy
Дата 28.7.2010, 13:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 487
Регистрация: 24.8.2006
Где: Москва, Россия

Репутация: 6
Всего: 16
Цитата(ivanovpv @ 28.7.2010,  12:34)
Есть большой текстовый файл (несколько мегов), который целиком в оперативку ясен пень не лезет.

Если бы Вы сказали несколько гигов - это бы было понятно. А несколько мегов в оперативку поместится целиком раз сто, и еще место останется.


--------------------
С уважением,
Евгений aka Skipy
www.skipy.ru
PM MAIL WWW ICQ   Вверх
ivanovpv
Дата 28.7.2010, 14:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Варвар
**


Профиль
Группа: Участник
Сообщений: 639
Регистрация: 26.1.2005
Где: Москва

Репутация: 4
Всего: 28
Цитата(jk1 @  28.7.2010,  14:45 Найти цитируемый пост)
С произвольной длинной файла довольно сложно, в самом деле, как для произвольной длины реализовывать вот такой метод из charSequence public int length() ? 

Элементарно... Читаем в пустоту пока не встретим конец файла
Код

    public int length()
    {
        if(this.length==-1)
        {
            try
            {
                for(this.length=0; ;this.length++)
                {
                    if(br.read()==-1);
                        break;
                }
            }
            catch(Exception e)
            {
                Log.e(TAG, "Error getting size of file", e);
                this.length=0;
            }
        }
        return this.length;
    }


Цитата(Skipy @  28.7.2010,  14:45 Найти цитируемый пост)
Если бы Вы сказали несколько гигов - это бы было понятно. А несколько мегов в оперативку поместится целиком раз сто, и еще место останется. 

Это смотря в какую оперативку и смотря где JVM крутится. В моем случае JVM крутится в оч. жестких условиях. Ну ладно хорошо пусть будет несколько гигов, легче cтало?


--------------------
Aut viam inveniam aut faciam
PM MAIL Skype   Вверх
LSD
Дата 28.7.2010, 17:57 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Leprechaun Software Developer
****


Профиль
Группа: Модератор
Сообщений: 15718
Регистрация: 24.3.2004
Где: Dublin

Репутация: 210
Всего: 538
Уже обсуждалось.

Добавлено через 3 минуты и 55 секунд
И по моему Stampede, даже где-то выкладывал получившийся код.


--------------------
Disclaimer: this post contains explicit depictions of personal opinion. So, if it sounds sarcastic, don't take it seriously. If it sounds dangerous, do not try this at home or at all. And if it offends you, just don't read it.
PM MAIL WWW   Вверх
jk1
Дата 28.7.2010, 18:55 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник
Сообщений: 1168
Регистрация: 17.10.2008
Где: Санкт-Петербург

Репутация: 40
Всего: 75
Цитата

Элементарно... Читаем в пустоту пока не встретим конец файла

И правда элементарно. Работало бы, вообще б цены не не было smile 
Допустим цикл из одной итерации -  это опечатка
Код

for(this.length=0; ;this.length++)
                {
                    if(br.read()==-1);
                    break;
                }

Что мы имеем, если её поправим: в случае начального length=0; длина всегда нулевая, в случае задания начального length=-1; код выдает нечто, не соответствующее длине файла если размер файла превышает диапазон инта. Ну и наконец на сколько-нибудь приличных по размеру файлах это работает огромное количество времени.


--------------------
Opinions are like assholes — everybody has one
PM MAIL   Вверх
ivanovpv
Дата 29.7.2010, 07:57 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Варвар
**


Профиль
Группа: Участник
Сообщений: 639
Регистрация: 26.1.2005
Где: Москва

Репутация: 4
Всего: 28
Цитата(jk1 @  28.7.2010,  19:55 Найти цитируемый пост)
Допустим цикл из одной итерации -  это опечатка

Это не цикл из одной итерации, а бесконечный цикл  smile 

Цитата(jk1 @  28.7.2010,  19:55 Найти цитируемый пост)
Ну и наконец на сколько-нибудь приличных по размеру файлах это работает огромное количество времени. 

Предлагайте альтернативу!


--------------------
Aut viam inveniam aut faciam
PM MAIL Skype   Вверх
jk1
Дата 29.7.2010, 08:59 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Участник
Сообщений: 1168
Регистрация: 17.10.2008
Где: Санкт-Петербург

Репутация: 40
Всего: 75
Цитата

Предлагайте альтернативу! 

Будем посмотреть smile . Есть ли какие-нибудь предположения о кодировке входных файлов? 

Это сообщение отредактировал(а) jk1 - 29.7.2010, 09:00


--------------------
Opinions are like assholes — everybody has one
PM MAIL   Вверх
pathfinder
Дата 29.7.2010, 12:01 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 120
Регистрация: 3.3.2010

Репутация: 2
Всего: 10
Если файл содержит символы в однобайтовой кодировке(или в многобайтовой но на каждый символ выделяется одно и то же количество, например UTF16) то размер потока можно узнать через File.length()(File.length()/КолБайтНаСимвол)

Иначе только размер потока можно узнать только пробежавшись по всему файлу.
PM MAIL   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
javastic
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux, javastic.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java: Общие вопросы | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0524 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.