Доброго дня!

Помогите, пожалуйста, в следующем вопросе:
Я выполняю миграцию данных, которая добавляет примерно 10000 записей в базу SQLite3
Данная операция выполняется вот уже около 5 минут. Я пишу это сообщение, а миграция всё идёт и идёт.

Во время миграции я для каждой записи случайным образом генерирую временной интервал (начальная и конечная дата). Может это даёт основную нагрузку ?


Смотрю в Process Monitor в Windows, вижу, что интерпретатор Ruby использует лишь 4 % процессорного времени.
Можно ли как-нибудь настроить ruby, чтобы он не стеснялся   и кушал столько, сколько потребуется ?

PS: Миграция закончилась

... слишком уж много времени для такой простой операции

Это сообщение отредактировал(а) ANTON_AL - 20.12.2009, 17:51

1) Выяснить действительное место кода которое тормозит расставив по коду миграции распечатки с выводом текущего времени.
2)Подозреваю что таким местом окажется не функция генерации случчайного числа а именно вставка в БД с коммитом после каждого микроинсерта. Обычно такое лечится инсертами в рамках одной большой транзакции или объединением нескольких инсертов на ввставку одной записи в один инсерт добавляющий несколько записей сразу. Для таких вещей есть специальные рельсовые плугины (гугл в помощь).  

ANTON_AL
1) Почему используется SQLite3, а не MySQL?
2) Почему заполнение БД идёт из миграции? Миграции существуют для создания структуры БД и в случае необходимости могут выполнять обработку уже существующих данных.
3) Какова цель вызова: DateTime.parse t1.to_s ?
4) В принципе генерацию можно упростить до такого:


Это сообщение отредактировал(а) source777 - 20.12.2009, 19:36

1) Пока не определился с базой данных. Просто использую ту, которая настроена по умолчанию
2) Не вижу особых проблем с использованием миграций для добавления данных. Помоему, очень даже удобно, т.к. миграции можно отменить, почистив таблицы из метода self.down

В Ruby я пока не силён. Вижу, что коряво получилось генерить даты. В основном запара была с тем, что "Date object is immutable". Вот и приходилось танцевать с бубнами. А, оказывается, всё просто   
Спасибо огромное за пример.

Это сообщение отредактировал(а) ANTON_AL - 25.12.2009, 01:58

Вставка данных в SQLite дело не быстрое, поэтому тут должен стоять выбор или создавать 10000 записей или использовать SQLite, но не делать это одновременно, как сделал ты.


Это не значит, что их нет.    
Каждый инструмент должен использоваться для того, для чего предназначен. Загружать демо-данные через миграции это абсолютно тоже самое, что забивать гвозди микроскопом. Прочитай guide по миграциям, чтобы понять их предназначение.
Тем более, что с недавних пор в Rails даже не надо писать собственный rake-task для загрузки демо-данных, как это было принято раньше. См. seed-data