Вставляю в таблицу базы данных Оракл большое количество строк, процесс занимает не много времени. Текстовый файл csv размером 400 мб, и 800 000 записей, загружается в бд, за 3 минуты.
Но хотелось бы еще быстрее. Код выполняется на серверной jre, на сервере с огромным числом процессоров и оперативной памяти, бд тоже крутится на этом же сервере. Таблица индексов, ключей не имеет. Перед загрузкой данных происходит очищение всей таблицы.
К сожалению весь код привести не могу, но для понимания, процессы разделил на потоки. Один поток читает файл использует ArrayBlockingQueue (10000, false). 2 других производят вставку в таблицу. Каждый процесс коннекшен берет из пула, использует PreparedStatement и batch. Для чистоты эксперимента (чтобы понять какой процесс происходит дольше остальных), заменил метод put() на add() и увеличил размер очереди до 100 000, не проходит и 15 секунд как очередь переполняется и вываливается эксепшен.
Добавил еще 10 потоков для вставки в бд, всеравно вываливается эксепшен о переполнении очереди, заменил обратно add() на put() замерил время, с 10 потоками на вставку ушло еще на 2 минуты больше. Я понимаю что в этот системе узкое место вставка, но как ускорить ее? Свойства таблицы менять NOLOGGING задаю, никаких измененений в скорости не наблюдаю.
| Код |
public class Consumer extends Thread
{
final static Logger log = StartPoint.getLogger();
private int addedRows = 0;
private int batchSize = 0;
private BlockingQueue<Object[]> q;
private String preparedSQL;
private Connection conn;
private PreparedStatement stmt;
public Consumer(BlockingQueue<Object[]> q, Connection conn, String preparedSQL, int batchSize)
{
super();
this.q = q;
this.conn = conn;
this.preparedSQL = preparedSQL;
this.batchSize = batchSize;
}
@Override
public void run()
{
try {
stmt = conn.prepareStatement(preparedSQL);
Object[] data = new Object[0];
int i = 0;
while ((data = q.take()).length>0)
{
for ( i=0; i<data.length; i++)
stmt.setObject(i+1, data[i]);
stmt.addBatch();
if( ++addedRows % batchSize == 0)
{
stmt.executeBatch();
stmt.clearBatch();
}
}
stmt.executeBatch();
conn.commit();
conn.close();
} catch (Exception ex) {
log.error("Can,t insert data to DB!", ex);
}
}
public int getAddedRows(){return addedRows;}
}
|
|
)