Подскажите настройки MySQL, и в обще буду благодарен любым советам как увеличить скорость выполнения вставок в таблицу.
Единственное улучшение которое использую это многострочная вставка.

Ну как бы стандартный вопрос - MyISAM vs InnoDB - что используете ?

Использую MyISAM

попробуйте использовать insert delayed.

sir_nuf_nuf, мне кажется это не решит проблемы, сейчас запросы собираются в очередь в программе, из за этого она сжирает всю память и умирает, если я правильно понял то insert delayed только переведёт эту очередь на сторону mysqld, то есть будет умирать mysql ...


Есть вариант увеличения работоспособности , но это затратно RAID 0+1

есть ещё идеи ?

Что Вы скрыли под термином "многострочная вставка"? пример плиз... скажем сборки трёх простеньких запросов (2 поля хватит).

Таблица :


В клиентской части (Perl скрипт) формируется очередь из данных на вставку, отдельный поток берёт из очереди данные и постепенно формирует запрос из 2000 записей, а потом отправляет на выполнение mysql ....

Кто Вас научил ТАК писать запросы??? 
1) Список полей следует перечислять ЯВНО.
2) Автоинкрементное ключевое поле в набор полей НЕ включается.


Добавлено через 2 минуты и 32 секунды
Кстати...    ignore - это прелестно, но ошибки всё-таки надо обрабатывать. Или хотя бы ловить.

Akina, прибавки в скорости это не дало никакой.

А я как бы и не ожидал...


А с чего ты решил, что он будет умирать? Он будет сливать записи в таблицу по мере возможности. Кстати, каково соотношение запросов запись/чтение в таблицу?
С дугой стороны - объясни, почему ты не хочешь сливать записи по мере их появления? зачем тебе непременно хочется набрать большую пачку? чем это оправдано?

Akina,


так как запросы будут Mysql по мере возможности будет сливать записи, а остальные будут оставаться в очереди и хранится в оперативной памяти, а памяти на сервере всего 1gb, если mysql и не упадёт, то и работоспособной система оставаться не будет.



не думаю что 2000 запросов выполнится быстрее чем 1 но с большим количеством данных

На потолке подсмотрел? Может вполне быть, что 2000 запросов отработают быстрее. 
У тебя перл и мускул - на одной машине или на разных? если на разных - выделенный ли меж ними сегмент и какой пропускной способности? если на одной - то откуда берутся вообще эти 2000 записей? а дисковая подсистема на машине с мускулом - нормальная?


А какие задачи на сервере? сколько остаётся собственно серверу БД?

nIkTo, конкретные цифры назови, сколько занимает вставка этих 2000 строк.
Как я понимаю, это вдс-сервер и при превышении лимита памяти убивается процесс с наибольшей памятью. Так?

nIkTo, заместо извращения со склейкой данных в одну пачку могу порекомендовать делать insert как prepared statement. 
Т.е. один раз подготовить statement а потом вставлять данные.

sir_nuf_nuf, если правильна вас понял, сделал так :


но опять же тут будет выполнятся 2000 запросов вместо 1.
Итог: через минуту в очереди $insert 122129