VPF::Чтение и запись большого .xsl файла на Java

Nataly88

Дата 4.12.2013, 17:29 (ссылка)

(нет голосов)

Загрузка ...

нужно что-то менять

Профиль
Группа: Участник
Сообщений: 10
Регистрация: 25.12.2007

Репутация: нет
Всего: нет

Здравствуйте. Проблема в прочтении excel файла размером 25 Мб в 10 000 строк, а затем записи в другой файл распаршенной информации. Использую библиотеку org.apache.poi версии 3.9. Выполняется программа около 3-4 часов, а если строк больше, то вообще падает OutOfMemory, наверняка, делаю что-то неправильно.

Код



    public void parse(String inputFileName) throws IOException {
        HSSFWorkbook wb;
        NPOIFSFileSystem fs = null;

        try {
            // HSSFWorkbook, File
            fs = new NPOIFSFileSystem(new File(inputFileName));
            wb = new HSSFWorkbook(fs.getRoot(), false);

            Sheet sheet = wb.getSheetAt(0);
            Iterator<Row> it = sheet.iterator();
            while (it.hasNext()) {
                Row row = it.next();
                Iterator<Cell> cells = row.iterator();
                Cell cell = cells.next();//actual_person_version_id
               
                //манипуляции с инфой в ячейках
                fillFields(...);
            }
        } catch (IOException e) {
            e.printStackTrace();
            fs.close();
        }
        fs.close();
        System.out.println("Done.");
    }

    private void fillFields(String text, String profileId, String source) throws IOException {
        Map<Long, Object[]> data = new TreeMap<Long, Object[]>();    
        data.put(rowCount, new Object[]{profileId, profileId, source, text});
        write(data, profileId);
    }

    private void write(Map<Long, Object[]> data, String profileId) throws IOException {
        HSSFWorkbook workbook;
        NPOIFSFileSystem fs = null;
        try {
            fs = new NPOIFSFileSystem(new File("result.xls"));
            workbook = new HSSFWorkbook();

            //Create a blank sheet
            HSSFSheet sheet = workbook.getSheet(0);

            //Iterate over data and write to sheet
            Set<Long> keyset = data.keySet();
            for (Long key : keyset) {
                Row row = sheet.createRow(rowCount.intValue());
                Object[] objArr = data.get(key);
                int cellnum = 0;
                for (Object obj : objArr) {
                    Cell cell = row.createCell(cellnum++);
                    if (obj instanceof String)
                        cell.setCellValue((String) obj);
                    else if (obj instanceof Integer)
                        cell.setCellValue((Integer) obj);
                }
            }
            writeData(workbook, profileId);
            fs.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    private void writeData(HSSFWorkbook workbook, String profileId)  {
        FileOutputStream out=null;
        try {
            //Write the workbook in file system
            out = new FileOutputStream(new File("result.xls"));
            workbook.write(out);
            out.close();

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

Можно ли как-то сократить время выполнения? И избавиться от outOfMemory?

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Программирование, связанное с MS Office \| Следующая тема »