VPF::Проблемы с одним из винтов в RAID1

mihanik

Дата 27.5.2011, 16:21 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

ИТак!

Стоит у меня сервачок на CentOS 5.6
Раньше стоял у него один диск, но потом у него пошли проблемы.

Вопрос задавал тут - http://forum.vingrad.ru/index.php?showtopi...t&p=2339831

Перевёл я его на программный RAID1

Решение описано тут - http://forum.vingrad.ru/index.php?showtopi...t&p=2351771

НО!!!

Диски не синхронизируются.
Синхронизация доходит до 2%. Сервер задумывается и... Начинает опять синхронизацию с нуля.

При этом в /var/log/messages валится следующая инфа:

Цитата

May 27 17:08:01 iserver kernel: RAID1 conf printout:
May 27 17:08:01 iserver kernel:  --- wd:1 rd:2
May 27 17:08:01 iserver kernel:  disk 0, wo:0, o:1, dev:sda
May 27 17:08:01 iserver kernel:  disk 1, wo:1, o:1, dev:sdb
May 27 17:08:01 iserver kernel: RAID1 conf printout:
May 27 17:08:01 iserver kernel:  --- wd:1 rd:2
May 27 17:08:01 iserver kernel:  disk 0, wo:0, o:1, dev:sda
May 27 17:08:01 iserver kernel: RAID1 conf printout:
May 27 17:08:01 iserver kernel:  --- wd:1 rd:2
May 27 17:08:01 iserver kernel:  disk 0, wo:0, o:1, dev:sda
May 27 17:08:01 iserver kernel:  disk 1, wo:1, o:1, dev:sdb
May 27 17:08:01 iserver kernel: md: syncing RAID array md_d0
May 27 17:08:01 iserver kernel: md: minimum _guaranteed_ reconstruction speed: 1000 KB/sec/disc.
May 27 17:08:01 iserver kernel: md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for reconstruction.
May 27 17:08:01 iserver kernel: md: using 128k window, over a total of 156289728 blocks.
May 27 17:09:28 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:09:28 iserver kernel: ata1.00: BMDMA stat 0x24
May 27 17:09:28 iserver kernel: ata1.00: cmd 25/00:00:00:70:5f/00:04:00:00:00/e0 tag 0 dma 524288 in
May 27 17:09:28 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:09:28 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:09:28 iserver kernel: ata1.00: error: { UNC }
May 27 17:09:29 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:09:29 iserver kernel: ata1: EH complete
May 27 17:09:33 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:16 iserver kernel: ata1.00: BMDMA stat 0x24
May 27 17:10:17 iserver kernel: ata1.00: cmd 25/00:00:00:70:5f/00:04:00:00:00/e0 tag 0 dma 524288 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x24
May 27 17:10:17 iserver kernel: ata1.00: cmd 25/00:00:00:70:5f/00:04:00:00:00/e0 tag 0 dma 524288 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x24
May 27 17:10:17 iserver kernel: ata1.00: cmd 25/00:00:00:70:5f/00:04:00:00:00/e0 tag 0 dma 524288 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x24
May 27 17:10:17 iserver kernel: ata1.00: cmd 25/00:00:00:70:5f/00:04:00:00:00/e0 tag 0 dma 524288 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x24
May 27 17:10:17 iserver kernel: ata1.00: cmd 25/00:00:00:70:5f/00:04:00:00:00/e0 tag 0 dma 524288 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: sd 0:0:0:0: SCSI error: return code = 0x08000002
May 27 17:10:17 iserver kernel: sda: Current [descriptor]: sense key: Medium Error
May 27 17:10:17 iserver kernel:     Add. Sense: Unrecovered read error - auto reallocate failed
May 27 17:10:17 iserver kernel:
May 27 17:10:17 iserver kernel: Descriptor sense data with sense descriptors (in hex):
May 27 17:10:17 iserver kernel:         72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 00
May 27 17:10:17 iserver kernel:         00 5f 72 37
May 27 17:10:17 iserver kernel: end_request: I/O error, dev sda, sector 6255159
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: SCSI device sda: 312579695 512-byte hdwr sectors (160041 MB)
May 27 17:10:17 iserver kernel: sda: Write Protect is off
May 27 17:10:17 iserver kernel: SCSI device sda: drive cache: write back
May 27 17:10:17 iserver kernel: SCSI device sda: 312579695 512-byte hdwr sectors (160041 MB)
May 27 17:10:17 iserver kernel: sda: Write Protect is off
May 27 17:10:17 iserver kernel: SCSI device sda: drive cache: write back
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x25
May 27 17:10:17 iserver kernel: ata1.00: cmd c8/00:08:30:72:5f/00:00:00:00:00/e0 tag 0 dma 4096 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x25
May 27 17:10:17 iserver kernel: ata1.00: cmd c8/00:08:30:72:5f/00:00:00:00:00/e0 tag 0 dma 4096 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x25
May 27 17:10:17 iserver kernel: ata1.00: cmd c8/00:08:30:72:5f/00:00:00:00:00/e0 tag 0 dma 4096 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x25
May 27 17:10:17 iserver kernel: ata1.00: cmd c8/00:08:30:72:5f/00:00:00:00:00/e0 tag 0 dma 4096 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x25
May 27 17:10:17 iserver kernel: ata1.00: cmd c8/00:08:30:72:5f/00:00:00:00:00/e0 tag 0 dma 4096 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x0
May 27 17:10:17 iserver kernel: ata1.00: BMDMA stat 0x25
May 27 17:10:17 iserver kernel: ata1.00: cmd c8/00:08:30:72:5f/00:00:00:00:00/e0 tag 0 dma 4096 in
May 27 17:10:17 iserver kernel:          res 51/40:00:37:72:5f/40:00:00:00:00/e0 Emask 0x9 (media error)
May 27 17:10:17 iserver kernel: ata1.00: status: { DRDY ERR }
May 27 17:10:17 iserver kernel: ata1.00: error: { UNC }
May 27 17:10:17 iserver kernel: ata1.00: configured for UDMA/133
May 27 17:10:17 iserver kernel: sd 0:0:0:0: SCSI error: return code = 0x08000002
May 27 17:10:17 iserver kernel: sda: Current [descriptor]: sense key: Medium Error
May 27 17:10:17 iserver kernel:     Add. Sense: Unrecovered read error - auto reallocate failed
May 27 17:10:17 iserver kernel:
May 27 17:10:17 iserver kernel: Descriptor sense data with sense descriptors (in hex):
May 27 17:10:17 iserver kernel:         72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 00
May 27 17:10:17 iserver kernel:         00 5f 72 37
May 27 17:10:17 iserver kernel: end_request: I/O error, dev sda, sector 6255159
May 27 17:10:17 iserver kernel: ata1: EH complete
May 27 17:10:17 iserver kernel: raid1: sda: unrecoverable I/O read error for block 6255104
May 27 17:10:17 iserver kernel: SCSI device sda: 312579695 512-byte hdwr sectors (160041 MB)
May 27 17:10:17 iserver kernel: sda: Write Protect is off
May 27 17:10:17 iserver kernel: SCSI device sda: drive cache: write back
May 27 17:10:17 iserver kernel: SCSI device sda: 312579695 512-byte hdwr sectors (160041 MB)
May 27 17:10:17 iserver kernel: sda: Write Protect is off
May 27 17:10:17 iserver kernel: SCSI device sda: drive cache: write back
May 27 17:10:17 iserver kernel: md: md_d0: sync done.

Я так понимаю, что это из-за сбойных блоков на диске.
Система не может их автоматически перелокэйтить. :-(

Как исправить ситуацию?

У меня в планах следующее:
1. Произвести синхронизацию дисков
2. Погасить сервак
3. Заменить сбойный диск.

smile

Или просто тупо инфу с диска скопировать и фосстановить загрузчик?

Жду ваших советов!!!!

--------------------

Программистами не рождаются, - это родовая травма...

mihanik

Дата 27.5.2011, 17:05 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

сейчас чтобы остановить синхронизацию (иначе у меня сервак каждые несколько секунд подвисает) отключил программно хороший диск и вывел его из RAID1

Код


mdadm /dev/md_d0 --fail /dev/sdb
mdadm /dev/md_d0 --remove /dev/sdb

Я так понимаю, что нужно сделать ручками relocate сбойных блоков и собрать массив для синхронизации?

Почитал http://smartmontools.sourceforge.net/badbl...owto.html#sdisk

Бли-и-и-ин...
Так всё заморочено!!!!
Можно как-то это всё автоматизировать?

--------------------

Программистами не рождаются, - это родовая травма...

bilbobagginz

Дата 27.5.2011, 18:20 (ссылка)

(нет голосов)

Загрузка ...

Naughtius Maximus

Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 34
Всего: 317

smart должен был создавать сообщения о приближении смерти диска,
которые сись лог должен был послать по почте.

обычно после начала таких сообщений есть время заменить вживую данные и ссинхронизировать.
но намного безопаснее более высокие ступени RAID (5, или более замороченно).

ну и есть готовые решения от NetApp, EMC, DELL, IBM и т.д.
но и цены у них подороже чем у домашнего упрощенного NAS-а.

т.е. на настоящий момент нет ничего важнее бэкапов.

--------------------

Я ещё не демон. Я только учусь.

mihanik

Дата 27.5.2011, 18:25 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

Цитата(bilbobagginz @ 27.5.2011, 18:20

)

обычно после начала таких сообщений есть время заменить вживую данные и ссинхронизировать.
но намного безопаснее более высокие ступени RAID (5, или более замороченно).

Понимаешь...
Взял диск "который работал".
Воткнул в сервер, настроил все службы...
Заметил проблемы со SMART...
Всё переставлять лениво...
Ну и ...
Как, настоящий герой, пошёл в обход.

Блин!

Добавлено через 1 минуту и 29 секунд

Цитата(bilbobagginz @ 27.5.2011, 18:20

)

т.е. на настоящий момент нет ничего важнее бэкапов.

backup есть.
Каждый день на всякий случай делаю...
Но переставлять систему не хочу.
Хочу немного секаса с сервером.
smile

--------------------

Программистами не рождаются, - это родовая травма...

mihanik

Дата 27.5.2011, 18:59 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

Я вот что думаю...
Отца русской демократии спасёт следующее (после загрузки в режиме восстановления)

Код


badblocks /dev/sda  > bad-blocks

fsck -t ext3 -l bad-blocks /dev/sda

--------------------

Программистами не рождаются, - это родовая травма...

bilbobagginz

Дата 27.5.2011, 20:17 (ссылка)

(нет голосов)

Загрузка ...

Naughtius Maximus

Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 34
Всего: 317

зачем тут нужен режим восстановления ?

--------------------

Я ещё не демон. Я только учусь.

mihanik

Дата 27.5.2011, 20:18 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

т-а-а-ак...

Определил номера сбойных блоков

Код


/sbin/badblocks -o /root/Desktop/badblocks.list /dev/sda

Получилось 8 сбойных "областей"

Код

Посмотрим, в каком разделе эти блоки...

Код


[root@iserver ~]# fdisk -l

Диск /dev/sda: 160.0 ГБ, 160040803840 байт
255 heads, 63 sectors/track, 19457 cylinders
Единицы = цилиндры по 16065 * 512 = 8225280 байт

Устр-во Загр     Начало       Конец       Блоки   Id  Система
/dev/sda1   *           1         131     1052226   83  Linux
/dev/sda2             132       19253   153597465   83  Linux
/dev/sda3           19254       19453     1606500   82  Linux своп / Solaris

Т.е. все сбойные блоки в /dev/sda2

Если я правильно понимаю, то раздел /dev/sda1 и /dev/sdb1 вместе с загрузчиком синхронизировался.
Теперь если я при помощи rsync синронизирую разделы /dev/sda2 и /dev/sdb2, а потом диск /dev/sda физически отключу, то получу на диске /dev/sdb работающую систему.

Идея не дурацкая?

Добавлено через 53 секунды

Цитата(bilbobagginz @ 27.5.2011, 20:17

)

зачем тут нужен режим восстановления ?

Ну... Как бы рекомендуют fsck проводить на отмонтированных дисках...

--------------------

Программистами не рождаются, - это родовая травма...

bilbobagginz

Дата 28.5.2011, 00:04 (ссылка)

(нет голосов)

Загрузка ...

Naughtius Maximus

Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 34
Всего: 317

Цитата(mihanik @ 27.5.2011, 19:18

)

Ну... Как бы рекомендуют fsck проводить на отмонтированных дисках...

если дисковое пространство организовано правильно, то с этим нет проблем.

--------------------

Я ещё не демон. Я только учусь.

mihanik

Дата 28.5.2011, 06:57 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

Цитата(bilbobagginz @ 28.5.2011, 00:04

)

если дисковое пространство организовано правильно

в смысле?

--------------------

Программистами не рождаются, - это родовая травма...

bilbobagginz

Дата 28.5.2011, 11:13 (ссылка)

(нет голосов)

Загрузка ...

Naughtius Maximus

Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 34
Всего: 317

Допустим у тебя ftp хранилище в /u0 и веб сервер /www
ставим их на 2 раздела, если диск первого летел, сервис "веб" продолжает работать.
**раздел можно через LVM как-то сделать, чтобы он был реализован несколькими физическими дисками**

параллельно больной диск ftp выковыривается, заменяется без рестарта, форматируется, и т.д.
SATA и т.д. поддерживают это. ну и стоит настроить smartmontools от нежданчиков обычно помогает.

(реалии жизни: у меня сейчас на работе на одном девелопментном серванте S.M.A.R.T. уже 2 года предвещает скорую смерть диска, ну мы как ежики - "плачем, и колемся, но продолжаем есть кактус", т.е. диск не меняем, денег жалко smile

, когда сервант умрет из-за диска - мы его на новый сервант заменим. а пока работает smile

бэкапимся.. )

Это сообщение отредактировал(а) bilbobagginz - 28.5.2011, 11:15

--------------------

Я ещё не демон. Я только учусь.

mihanik

Дата 29.5.2011, 12:09 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

Тут вчера разговаривал с одним линуксоидом...

Он мне такой: "Если на диске есть ошибки, то он будет вываливаться из софтового рэида. А чё ты гемороишься? Сделай DD со сбойного диска на заведомо исправный, а потом найдёшь нормальный диск и соберёшь RAID1".

Я подумал: "А действительно, что это я схожу с ума?"
Короче, сделаю DD и выкину сбойный диск к монахам.

Вопрос снимаю.
smile

--------------------

Программистами не рождаются, - это родовая травма...

mihanik

Дата 30.5.2011, 23:02 (ссылка)

(нет голосов)

Загрузка ...

-=Белый Медведь=-

Профиль
Группа: Комодератор
Сообщений: 4054
Регистрация: 24.4.2006
Где: г. Тверь

Репутация: 1
Всего: 109

Код


dd if=/dev/sda of=/dev/sdb conv=noerror,sync bs=4k

Цитата

noerror Не останавливать обработку в случае ошибки чтения. При возникновении ошибки чтения в стандартный поток ошибок выдается диагностическое сообщение, а затем - текущий входной и выходной блок в том же формате, что и при завершении работы. Если задано преобразование sync, недостающие входные данные будут заменены нулевыми байтами; в противном случае, сбойный входной блок просто не попадает в выходной файл.

Это чрезвычайно важное значение. Ведь делая резервные копии больших файлов, скажем жестких дисков, вся работа пошла бы насмарку из-за крохотной ошибки в одном байте.

--------------------

Программистами не рождаются, - это родовая травма...

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| *Администрирование NIX систем** \| Следующая тема »