SLI-машина 3..4 х GT 580 3Gb. (Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.)

Все, что не подходит под определение "старого софта и железа", обсуждается здесь
falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

SLI-машина 3..4 х GT 580 3Gb.

Сообщение falanger » 12.01.2018,17:17

Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.

Бродят мысли собрать для запуска ТензорФлоу кластер видеокарт. После многих раздумий понял что собирать надо на Zotac GTX 580 AMP2 3Gb картах. Причем поскольку только два первых слоя решаемой задачи будут 1+10 гб - то поле памяти видеокарточного кластера должно быть не менее 10 гб, шейдерная производительность вторична. Тут уже в свою очередь встают бюджетные ограничения - на GTX 680 уже собирать не по карману.
Потому конфигурация вырисоввывается 4 х 580 3гб, чтобы получилось общее поле памяти карт в 12 гб. Соответственно поскольку будет 24/7 работа - на карты нужна водяная система охлаждения, причем надо еще решить какую схему выбрать, разбивать ли ее на сегменты карты-процессор отдельные, делить ли на сегменты охлаждение карт, дублировать ли помпы, ставить ли охлаждай на чипсет-память.
Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х. А все что сейчас продается в магазинах новое либо только на 3 слота, либо вовсе слоты в 16-8-8 что для моего применения неприемлемо. Соответственно приходится искать старые платы на Х58 с дополнительными nForce 200 или подобными, 2009-2013 годов.
Пока я знаю только три варианта.
GIGABYTE GA-X58A-UD9 - около 20-22К рублей.
EVGA 170-BL-E762-A1 - даже и непонятно сколько, сейчас она в торте на еВау.
Связка ASUS Rampage 3 Extreme + расширитель на 4 SLI ROG_Xpander у которого на борту фазы питания свои и два чипа nForce 200, около 18К все вместе.
Если у кого есть какие мысли и советы - с удовольствием выслушаю.

Принял решение что материнка будет GIGABYTE GA-X58A-UD9. Она более-менее распространенная, под нее есть водоблоки на мосты-мосфеты. В Мск продают в магазине новые по 1500 р.

Видео - Zotac GTX 580 AMP2 3Gb 4 штуки, буду проверять стресс-тестом и если надо скальпировать-менять пасту. Два водоблока ЕК на них уже едут.

SSD будут шинные PCI-E на М.2 для SWAP системы, вероятно в RAID для скорости и долговечности, сами SSD - kingston HyperX.

Операционная система будет на SSD SATA Kingston 120-240 гб.

Резервирование системы - SSD HDD вероятно Хитачи или другой с большим ресурсом в 1-2 Тб.

Процессор - 1366 сокет, I7 900 серии или Xeon если его поймет система.

ОЗУ - 24 Гб.

Гость

Сообщение Гость » 12.01.2018,17:57

А может два первых титана? Они сейчас относительно доступны.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сообщение falanger » 12.01.2018,18:01

Точнее?

Аватара пользователя
Ar2r4eg
Advanced Member
Сообщения: 628
Зарегистрирован: 12.09.2016,12:44
Откуда: Москва
Контактная информация:

Вклад в сообщество

Сообщение Ar2r4eg » 12.01.2018,18:11

Один бу титан х на максвеле будет быстрее двух первых титанов и четырех 580х. Стоит на второичке 25-30 тыщ
На борту стоит 12 гиг ддр5
Retro hardware fan ~_~

Гость

Сообщение Гость » 12.01.2018,18:19

falanger
Вот официальная портянка по первому титану.

Памяти 6GB, шина 384. Даже на Авито они порой проскакивают, а если смотреть на международных торговых площадках - выбор еще больше.

Так же хотел уточнить что как таковой QUAD SLI и вообще SLI Вам не нужен. Вам нужны (нужны ли?) лишь быстрые PCI-E слоты. Агрегации карт в SLI не будет.

По поводу плат - интересные платы были под AM3+ с 4-6 длинными PCI-E слотами. У меня когда-то давно была в чем-то похожая задача, формулировалась так, решена была так.

[UPD]
Да, я в общем солидарен с опередившим коллегой. Титан на GK***/GM*** (хоть первый, хоть блек хоть икс или их тандем) будет попроще и в приобретении и в обслуживании нежели тандем из четырех 580-х.

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сообщение falanger » 12.01.2018,18:39

Мне нужно именно SLI и поле памяти в 12 гигов общее для 1-2 слоя нейросети, третий слой будет свопится в память платы, остальное что не влезет в 24 гига - на SSD. Отдельные карточки даже о 6 гигов без общей памяти ничем не лучше будут чем 580 1,5 гига.
Кроме того стоит вопрос цены, 2х30К титаны + 45К за плату-проц-память-ссд меня разорят.

Аватара пользователя
Ar2r4eg
Advanced Member
Сообщения: 628
Зарегистрирован: 12.09.2016,12:44
Откуда: Москва
Контактная информация:

Вклад в сообщество

Сообщение Ar2r4eg » 12.01.2018,18:46

У 5 серии езе косяк - теплораспределительная крышка на гпу, они даже под водой хреново будут охлаждаться или скальпировать их все под феном и ставить универсальные водоблоки + обдув воздухом. Чтото вроде фермы надо будет собрать. А еще они жрут дофига, на такой квад надо обеспечить 2кв питалова
Retro hardware fan ~_~

Гость

Сообщение Гость » 12.01.2018,19:04

falanger
Ну, получить SLI на паре Titan (не X) куда проще чем на четырех 580. Буквально вчера на местной (в моём регионе, не тут) барахолке пробегал Titan за 15 тысяч.

А про SLI я слегка не понял...

falanger
Advanced Member
Сообщения: 2514
Зарегистрирован: 30.04.2008,17:45
Откуда: г Черняховск Калининградскjй обл

Вклад в сообщество

Сообщение falanger » 12.01.2018,19:15

Питание обеспечу, два БП по 1,2 кВт связкой как у майнеров через реле-синхронизатор.
А скальпировать... вода будет ставится именно чтобы лучше охлаждение на штатных частотах и бесшумное, разгона не будет, будет то что накрутил Zotac штатно. Их краты тоже выбрал из-за качественных компонентов. Возможно даже попробую даунвольт карт, если будут стабильно работать на пониженном питании.
А собирать придется именно на плате, без выносов, потому что нужен межкарточный обмен и по мосту SLI и по 16х PCI-E. Как майнеры лепят через 1х на выносах нельзя, в отличии от майнинга в Тензоре огромный межкарточный обмен на всю ширину канала. Это же нейросеть...

Гость

Сообщение Гость » 12.01.2018,19:29

falanger
По поводу крышек, у 5-й серии проблема с крышками независимо от производителя. Термопаста высохла у всех. Поэтому 560 в состоянии покоя может улетать за соточку :)

Кстати, в качестве альтернативы - https://pp.userapi.com/c841025/v8410258 ... VGvnM8.jpg

Одна карта с 12GB памяти и материнская плата со 128GB памяти, ну а дальше, на L3 уже хоть трава не расти, хотя можно SSD RAID собрать :)

Хмм... а L3 - warpdrive.

Красивая система получается. В общем-то у меня всё железо такое в наличии, жаль не смогу проверить, т.к. гипервизор из работы не вывести, но всё железо получается достаточно бюджетное и достаточно производительное.

Гость

Сообщение Гость » 12.01.2018,19:35

https://docs.oracle.com/cd/E29748_01/index.html 400гб (нулёвка из четырех) варпдрайв заезженый но живой можно купить относительно не дорого. Только вот нужно помониторить и посравнивать с современными потребительскими SSD, не быстрее ли они окажутся :)

Ответить