SCSI диск 10Tb под Linux (кто-нибудь запускал ?)

Устаревшие IBM PC-совместимые ПК и комплектующие
Аватара пользователя
alecv
Advanced Member
Сообщения: 6993
Зарегистрирован: 05.10.2004,11:13
Откуда: Санкт-Петербург
Контактная информация:

Вклад в сообщество

SCSI диск 10Tb под Linux

Сообщение alecv » 24.04.2017,22:43

кто-нибудь запускал ?

Перепала с барского плеча старая дисковая стоечка SCSI на 10Tb (11 штук SATA дисков по 1 Тб в RAID5, выход SCSI Ultra320). Можно конечно ее раздербанить на диски и раму выкинуть, но хочется запустить т.к. в ней нормальный блок питания и вентиляция. Лучше под Linux и желательно запустить одним куском 10Тб, а не резать на разделы.

Но вот беда, дурацкое ограничение 2Tb на SCSI диск у Linux-а мешает до сих пор.

Перебрал кучу SCSI контроллеров, почти все видят 2Тб. Какой-то проблеск имеется у LSI (SYM53C1010), но все равно плохо.

Кто-нибудь имел дело ? Железо уже старое, спецов нету.

Код: Выделить всё

sym53c8xx 0000: 05:01.0: PCI INT A disabled
sym53c8xx 0000: 05:01.0: PCI INT A -> GSI 24 (level, low) -> IRQ 24
sym0: <1010-66> rev 0x1 at pci 0000: 05:01.0 irq 24
sym0: Symbios NVRAM, ID 7, Fast-80, LVD, parity checking
sym0: open drain IRQ line driver, using on-chip SRAM
sym0: using LOAD/STORE-based firmware.
sym0: handling phase mismatch from SCRIPTS.
sym0: SCSI BUS has been reset.
scsi4 : sym-2.2.3
scsi 4:0:0:0: Direct-Access     IFT      A24U-G2421-1     347R PQ: 0 ANSI: 5
scsi target4:0:0: tagged command queuing enabled, command queue depth 16.
scsi target4:0:0: Beginning Domain Validation
scsi target4:0:0: FAST-80 WIDE SCSI 160.0 MB/s DT (12.5 ns, offset 62)
scsi target4:0:0: Ending Domain Validation
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 4:0:0:0: [sde] Write Protect is off
sd 4:0:0:0: [sde] Mode Sense: 9b 00 00 08
sd 4:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: Attached scsi generic sg5 type 0
sd 4:0:0:0: [sde] 19529912320 512-byte logical blocks: (9.99 TB/9.09 TiB)
sde: detected capacity change from 2199023255552 to 9999315107840
 sde: unknown partition table
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 4:0:0:0: [sde] Attached SCSI disk
Если посмотреть sg_readcap, то вроде нормально, но только на CDB 16

Код: Выделить всё

[root@stora ~]# sg_readcap -v /dev/sg5
    read capacity (10) cdb: 25 00 00 00 00 00 00 00 00 00
READ CAPACITY (10) indicates device capacity too large
  now trying 16 byte cdb variant
    read capacity (16) cdb: 9e 10 00 00 00 00 00 00 00 00 00 00 00 20 00 00
    read capacity (16): requested 32 bytes but got 12 bytes
Read Capacity results:
   Protection: prot_en=1, p_type=7, p_i_exponent=15
   Thin provisioning: tpe=1, tprz=1
   Last logical block address=19529912319 (0x48c12cfff), Number of logical blocks=19529912320
   Logical block length=512 bytes
   Logical blocks per physical block exponent=15
   Lowest aligned logical block address=16383
Hence:
   Device size: 9999315107840 bytes, 9536090.0 MiB, 9999.32 GB
Но постоянно сыплется в логи

Код: Выделить всё

sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
И parted не видит больше 2Tb. То есть из под sg и CDB-16 виден весь диск, а ядро и дисковая подсистема похоже продолжает работать в CDB-10.

easyjohn
Advanced Member
Сообщения: 3583
Зарегистрирован: 07.04.2008,16:45
Откуда: SPb
Контактная информация:

Вклад в сообщество

Сообщение easyjohn » 24.04.2017,22:49

Так а в каком месте проблема? 9+тб на физике у тебя видит, Размечай в gpt и используй, не?
В крайнем случае я бы подумал отдать диски напрямую в линух и там собрать md/lvm/zfs/...
У меня сейчас 4tb диски по sas подключены, все нормально собирается.
Amiga 4000-ppc/4000-040/1200-ppc/1200/600 | PC XT/286/386/486/586/P2/P3/P4 http://amiwiki.spb.ru - Вики про Амигу http://www.phantom.sannata.ru/forum/index.php?t=18145

Аватара пользователя
alecv
Advanced Member
Сообщения: 6993
Зарегистрирован: 05.10.2004,11:13
Откуда: Санкт-Петербург
Контактная информация:

Вклад в сообщество

Сообщение alecv » 24.04.2017,22:59

easyjohn Проблема в том, что ядро видит объем 10Tb только короткое мгновение в момент загрузки, а потом переключается на 2Tb. См. в первом логе dmesg. При попытке разметить GPT (parted; mklabel gpt) задача подвисает, а лог ядра с дикой скоростью заполняется

Код: Выделить всё

sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
Как я понимаю, это лог из глубины драйвера sym53c8xx, о том, что он переключается между CDB-16 и CDB-10. Адаптеки AIC и всякие прочие контроллеры не видят даже этого.

То что оно "в принципе" работает, например на современных SAS/SATA это понятно.

Все утилиты sg_* (например sg_dd) с ключом --16 работают, но срет в логи этим phase change.

easyjohn
Advanced Member
Сообщения: 3583
Зарегистрирован: 07.04.2008,16:45
Откуда: SPb
Контактная информация:

Вклад в сообщество

Сообщение easyjohn » 24.04.2017,23:04

Код модуля драйвера scsi листал?
Гугл что говорит по поводу linux >2tb disk?
Amiga 4000-ppc/4000-040/1200-ppc/1200/600 | PC XT/286/386/486/586/P2/P3/P4 http://amiwiki.spb.ru - Вики про Амигу http://www.phantom.sannata.ru/forum/index.php?t=18145

easyjohn
Advanced Member
Сообщения: 3583
Зарегистрирован: 07.04.2008,16:45
Откуда: SPb
Контактная информация:

Вклад в сообщество

Сообщение easyjohn » 24.04.2017,23:09

Amiga 4000-ppc/4000-040/1200-ppc/1200/600 | PC XT/286/386/486/586/P2/P3/P4 http://amiwiki.spb.ru - Вики про Амигу http://www.phantom.sannata.ru/forum/index.php?t=18145

Аватара пользователя
alecv
Advanced Member
Сообщения: 6993
Зарегистрирован: 05.10.2004,11:13
Откуда: Санкт-Петербург
Контактная информация:

Вклад в сообщество

Сообщение alecv » 24.04.2017,23:17

easyjohn писал(а):Код модуля драйвера scsi листал?
Еще нет. Неохота хард-секса, хотя понятно что по-дугому с пингвином нельзя...
easyjohn писал(а):Гугл что говорит по поводу linux >2tb disk?
Гугл заполнен полезными советами 'Запустите parted, а fdisk не запускайте'

AIC я пробовал, с ним совсем все плохо на физическом уровне. Скорость только снижать не пробовал. LSI прицепился как родной по физике на Ultra 160.

Anonymous1
Advanced Member
Сообщения: 2727
Зарегистрирован: 22.11.2011,09:41
Откуда: Москва(Россия)

Вклад в сообщество

Сообщение Anonymous1 » 25.04.2017,05:36

У меня выходило большие диски видеть лайфхаком: оставляем малое число секторов, но делаем их большими. SCSI позволяет до 16мб на блок иметь, у вас же 512 байт стандартные и их много. Не пробовал в x86 линухах, потому просто для галочки решение с военной rtos.

doctord
Advanced Member
Сообщения: 712
Зарегистрирован: 22.09.2014,11:47
Откуда: Санкт-Петербург

Вклад в сообщество

Сообщение doctord » 25.04.2017,19:53

А какой линукс? Какое ядро? Какой контроллер?
Если Ваше дисковое хранилище позволяет нарезать массив на несколько LUN'ов, их потом можно легко склеить обратно через LVM в одно блочное устройство.

Аватара пользователя
alecv
Advanced Member
Сообщения: 6993
Зарегистрирован: 05.10.2004,11:13
Откуда: Санкт-Петербург
Контактная информация:

Вклад в сообщество

Сообщение alecv » 25.04.2017,21:03

doctord Linux - RHEL 6 ядро последнее kernel-2.6.32-696.1.1.el6.x86_64 контроллер - безродный OEM PCI-X 64, вероятно HP, на чипе SYM53C1010 (специально искал "голый" Symbios SYM53xx т.к. ни AIC ни MegaRaid не видят больше 2G совсем).

Резать неохота, смысл именно в RAID5. Плодить много 2G RAID-ов - большой расход дисков. 11 терабайтников - маразм.

Почитал linux-scsi, мантейнер драйвера sym53c8xx_2 Gerard Roudier похоже завязал в 2001-м (что случилось - не знаю).
Сайт LSI сдох.

Ошибка очень непростая, возникает как раз в коде "синхронизации" (Handles Phase Mismatch from SCRIPTS) псевдо-ассемблера NCR SCSI SCRIPT. Если интересно, введение:
http://lxr.free-electrons.com/source/Do ... txt?v=3.13
(это "самый новый" драйвер)
http://lxr.free-electrons.com/source/Do ... txt?v=3.13
(это "самый старый")

Объяснение что к чему, копия с сайта LSI
http://ridl.cfd.rit.edu/products/manual ... /LINUX.HTM

doctord
Advanced Member
Сообщения: 712
Зарегистрирован: 22.09.2014,11:47
Откуда: Санкт-Петербург

Вклад в сообщество

Сообщение doctord » 26.04.2017,00:05

Да, не знаю, чем и помочь, драйвер этот такое чувство все забросили попросту. На Sym53c1030, sym53c1020 поищите, например LSI MEGARAID 320-1, 20320, на драйвере mptspi не должно быть такой проблемы.
И я не предлагал делать много массивов, в некоторых хранилищах есть вариант нарезать один массив на несколько "логических" томов (по 2тб). посмотрите в своём, может есть что-то такое.

UPD. А вообще sym53c8xx_2 тоже обновляют, только Changelog никто не ведёт, но обновления есть. Чего-то связанного именно с этой проблемой я не нашел, но вот, сами смотрите: https://github.com/torvalds/linux/commi ... ym53c8xx_2
Попробуте загрузится в какой-нибудь LiveCD со свежим ядром, и посмотрите, что будет...

Аватара пользователя
alecv
Advanced Member
Сообщения: 6993
Зарегистрирован: 05.10.2004,11:13
Откуда: Санкт-Петербург
Контактная информация:

Вклад в сообщество

Сообщение alecv » 26.04.2017,16:03

doctord Попробую написать в "scsi-linux" может кто и обратит внимание... Версия драйвера sym53c8xx_2 не меняется уже лет 15, так и стоит 2.2.3, правят косметику.

Откопал в залежах еще SUN-овскую карту PCI-X-64 на SYM53C896 + 2 гигабитных Ether NSC. К сожалению она без BIOS-а и Ultra-80 но зато холява. Но надежды мало т.к. код тот же.

Код: Выделить всё

05:01.0 PCI bridge: Intel Corporation 21154 PCI-to-PCI Bridge
06:00.0 Ethernet controller: National Semiconductor Corporation DP83065 [Saturn] 10/100/1000 Ethernet Controller (rev 30)
06:01.0 Ethernet controller: National Semiconductor Corporation DP83065 [Saturn] 10/100/1000 Ethernet Controller (rev 30)
06:02.0 SCSI storage controller: LSI Logic / Symbios Logic 53C896/897 (rev 07)
06:02.1 SCSI storage controller: LSI Logic / Symbios Logic 53C896/897 (rev 07)
Upd Не пошло, ТА ЖЕ САМАЯ ошибка.

Еще вот такое продают, 1300 руб и шина поновее.
http://www.ebay.com/itm/LSI-Logic-SCSI- ... 2158084059
Доки
https://0a.fi/wp-content/uploads/2016/09/12081346.pdf
ftp://ftp.sgi.com/public/Technical%20Su ... 320_ug.pdf

Еще можно попробовать FreeBSD, но самое смешное что там код тот же самый от Gerard Roudier, только glue-слой другой.

Ответить