SLI-машина 3..4 х GT 580 3Gb. (Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.)
-
- Advanced Member
- Сообщения: 2514
- Зарегистрирован: 30.04.2008,17:45
- Откуда: г Черняховск Калининградскjй обл
-
Вклад в сообщество
SLI-машина 3..4 х GT 580 3Gb.
Обсуждение и сборка компа для ТензорФлоу с 4 или более картами в SLI.
Бродят мысли собрать для запуска ТензорФлоу кластер видеокарт. После многих раздумий понял что собирать надо на Zotac GTX 580 AMP2 3Gb картах. Причем поскольку только два первых слоя решаемой задачи будут 1+10 гб - то поле памяти видеокарточного кластера должно быть не менее 10 гб, шейдерная производительность вторична. Тут уже в свою очередь встают бюджетные ограничения - на GTX 680 уже собирать не по карману.
Потому конфигурация вырисоввывается 4 х 580 3гб, чтобы получилось общее поле памяти карт в 12 гб. Соответственно поскольку будет 24/7 работа - на карты нужна водяная система охлаждения, причем надо еще решить какую схему выбрать, разбивать ли ее на сегменты карты-процессор отдельные, делить ли на сегменты охлаждение карт, дублировать ли помпы, ставить ли охлаждай на чипсет-память.
Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х. А все что сейчас продается в магазинах новое либо только на 3 слота, либо вовсе слоты в 16-8-8 что для моего применения неприемлемо. Соответственно приходится искать старые платы на Х58 с дополнительными nForce 200 или подобными, 2009-2013 годов.
Пока я знаю только три варианта.
GIGABYTE GA-X58A-UD9 - около 20-22К рублей.
EVGA 170-BL-E762-A1 - даже и непонятно сколько, сейчас она в торте на еВау.
Связка ASUS Rampage 3 Extreme + расширитель на 4 SLI ROG_Xpander у которого на борту фазы питания свои и два чипа nForce 200, около 18К все вместе.
Если у кого есть какие мысли и советы - с удовольствием выслушаю.
Принял решение что материнка будет GIGABYTE GA-X58A-UD9. Она более-менее распространенная, под нее есть водоблоки на мосты-мосфеты. В Мск продают в магазине новые по 1500 р.
Видео - Zotac GTX 580 AMP2 3Gb 4 штуки, буду проверять стресс-тестом и если надо скальпировать-менять пасту. Два водоблока ЕК на них уже едут.
SSD будут шинные PCI-E на М.2 для SWAP системы, вероятно в RAID для скорости и долговечности, сами SSD - kingston HyperX.
Операционная система будет на SSD SATA Kingston 120-240 гб.
Резервирование системы - SSD HDD вероятно Хитачи или другой с большим ресурсом в 1-2 Тб.
Процессор - 1366 сокет, I7 900 серии или Xeon если его поймет система.
ОЗУ - 24 Гб.
Бродят мысли собрать для запуска ТензорФлоу кластер видеокарт. После многих раздумий понял что собирать надо на Zotac GTX 580 AMP2 3Gb картах. Причем поскольку только два первых слоя решаемой задачи будут 1+10 гб - то поле памяти видеокарточного кластера должно быть не менее 10 гб, шейдерная производительность вторична. Тут уже в свою очередь встают бюджетные ограничения - на GTX 680 уже собирать не по карману.
Потому конфигурация вырисоввывается 4 х 580 3гб, чтобы получилось общее поле памяти карт в 12 гб. Соответственно поскольку будет 24/7 работа - на карты нужна водяная система охлаждения, причем надо еще решить какую схему выбрать, разбивать ли ее на сегменты карты-процессор отдельные, делить ли на сегменты охлаждение карт, дублировать ли помпы, ставить ли охлаждай на чипсет-память.
Плата соответственно должна поддерживать 4 SLI, причем слоты должны работать все в 16х-16х-16х-16х. А все что сейчас продается в магазинах новое либо только на 3 слота, либо вовсе слоты в 16-8-8 что для моего применения неприемлемо. Соответственно приходится искать старые платы на Х58 с дополнительными nForce 200 или подобными, 2009-2013 годов.
Пока я знаю только три варианта.
GIGABYTE GA-X58A-UD9 - около 20-22К рублей.
EVGA 170-BL-E762-A1 - даже и непонятно сколько, сейчас она в торте на еВау.
Связка ASUS Rampage 3 Extreme + расширитель на 4 SLI ROG_Xpander у которого на борту фазы питания свои и два чипа nForce 200, около 18К все вместе.
Если у кого есть какие мысли и советы - с удовольствием выслушаю.
Принял решение что материнка будет GIGABYTE GA-X58A-UD9. Она более-менее распространенная, под нее есть водоблоки на мосты-мосфеты. В Мск продают в магазине новые по 1500 р.
Видео - Zotac GTX 580 AMP2 3Gb 4 штуки, буду проверять стресс-тестом и если надо скальпировать-менять пасту. Два водоблока ЕК на них уже едут.
SSD будут шинные PCI-E на М.2 для SWAP системы, вероятно в RAID для скорости и долговечности, сами SSD - kingston HyperX.
Операционная система будет на SSD SATA Kingston 120-240 гб.
Резервирование системы - SSD HDD вероятно Хитачи или другой с большим ресурсом в 1-2 Тб.
Процессор - 1366 сокет, I7 900 серии или Xeon если его поймет система.
ОЗУ - 24 Гб.
falanger
Вот официальная портянка по первому титану.
Памяти 6GB, шина 384. Даже на Авито они порой проскакивают, а если смотреть на международных торговых площадках - выбор еще больше.
Так же хотел уточнить что как таковой QUAD SLI и вообще SLI Вам не нужен. Вам нужны (нужны ли?) лишь быстрые PCI-E слоты. Агрегации карт в SLI не будет.
По поводу плат - интересные платы были под AM3+ с 4-6 длинными PCI-E слотами. У меня когда-то давно была в чем-то похожая задача, формулировалась так, решена была так.
[UPD]
Да, я в общем солидарен с опередившим коллегой. Титан на GK***/GM*** (хоть первый, хоть блек хоть икс или их тандем) будет попроще и в приобретении и в обслуживании нежели тандем из четырех 580-х.
Вот официальная портянка по первому титану.
Памяти 6GB, шина 384. Даже на Авито они порой проскакивают, а если смотреть на международных торговых площадках - выбор еще больше.
Так же хотел уточнить что как таковой QUAD SLI и вообще SLI Вам не нужен. Вам нужны (нужны ли?) лишь быстрые PCI-E слоты. Агрегации карт в SLI не будет.
По поводу плат - интересные платы были под AM3+ с 4-6 длинными PCI-E слотами. У меня когда-то давно была в чем-то похожая задача, формулировалась так, решена была так.
[UPD]
Да, я в общем солидарен с опередившим коллегой. Титан на GK***/GM*** (хоть первый, хоть блек хоть икс или их тандем) будет попроще и в приобретении и в обслуживании нежели тандем из четырех 580-х.
-
- Advanced Member
- Сообщения: 2514
- Зарегистрирован: 30.04.2008,17:45
- Откуда: г Черняховск Калининградскjй обл
-
Вклад в сообщество
Мне нужно именно SLI и поле памяти в 12 гигов общее для 1-2 слоя нейросети, третий слой будет свопится в память платы, остальное что не влезет в 24 гига - на SSD. Отдельные карточки даже о 6 гигов без общей памяти ничем не лучше будут чем 580 1,5 гига.
Кроме того стоит вопрос цены, 2х30К титаны + 45К за плату-проц-память-ссд меня разорят.
Кроме того стоит вопрос цены, 2х30К титаны + 45К за плату-проц-память-ссд меня разорят.
- Ar2r4eg
- Advanced Member
- Сообщения: 628
- Зарегистрирован: 12.09.2016,12:44
- Откуда: Москва
- Контактная информация:
-
Вклад в сообщество
У 5 серии езе косяк - теплораспределительная крышка на гпу, они даже под водой хреново будут охлаждаться или скальпировать их все под феном и ставить универсальные водоблоки + обдув воздухом. Чтото вроде фермы надо будет собрать. А еще они жрут дофига, на такой квад надо обеспечить 2кв питалова
Retro hardware fan ~_~
-
- Advanced Member
- Сообщения: 2514
- Зарегистрирован: 30.04.2008,17:45
- Откуда: г Черняховск Калининградскjй обл
-
Вклад в сообщество
Питание обеспечу, два БП по 1,2 кВт связкой как у майнеров через реле-синхронизатор.
А скальпировать... вода будет ставится именно чтобы лучше охлаждение на штатных частотах и бесшумное, разгона не будет, будет то что накрутил Zotac штатно. Их краты тоже выбрал из-за качественных компонентов. Возможно даже попробую даунвольт карт, если будут стабильно работать на пониженном питании.
А собирать придется именно на плате, без выносов, потому что нужен межкарточный обмен и по мосту SLI и по 16х PCI-E. Как майнеры лепят через 1х на выносах нельзя, в отличии от майнинга в Тензоре огромный межкарточный обмен на всю ширину канала. Это же нейросеть...
А скальпировать... вода будет ставится именно чтобы лучше охлаждение на штатных частотах и бесшумное, разгона не будет, будет то что накрутил Zotac штатно. Их краты тоже выбрал из-за качественных компонентов. Возможно даже попробую даунвольт карт, если будут стабильно работать на пониженном питании.
А собирать придется именно на плате, без выносов, потому что нужен межкарточный обмен и по мосту SLI и по 16х PCI-E. Как майнеры лепят через 1х на выносах нельзя, в отличии от майнинга в Тензоре огромный межкарточный обмен на всю ширину канала. Это же нейросеть...
falanger
По поводу крышек, у 5-й серии проблема с крышками независимо от производителя. Термопаста высохла у всех. Поэтому 560 в состоянии покоя может улетать за соточку
Кстати, в качестве альтернативы - https://pp.userapi.com/c841025/v8410258 ... VGvnM8.jpg
Одна карта с 12GB памяти и материнская плата со 128GB памяти, ну а дальше, на L3 уже хоть трава не расти, хотя можно SSD RAID собрать
Хмм... а L3 - warpdrive.
Красивая система получается. В общем-то у меня всё железо такое в наличии, жаль не смогу проверить, т.к. гипервизор из работы не вывести, но всё железо получается достаточно бюджетное и достаточно производительное.
По поводу крышек, у 5-й серии проблема с крышками независимо от производителя. Термопаста высохла у всех. Поэтому 560 в состоянии покоя может улетать за соточку
Кстати, в качестве альтернативы - https://pp.userapi.com/c841025/v8410258 ... VGvnM8.jpg
Одна карта с 12GB памяти и материнская плата со 128GB памяти, ну а дальше, на L3 уже хоть трава не расти, хотя можно SSD RAID собрать
Хмм... а L3 - warpdrive.
Красивая система получается. В общем-то у меня всё железо такое в наличии, жаль не смогу проверить, т.к. гипервизор из работы не вывести, но всё железо получается достаточно бюджетное и достаточно производительное.
https://docs.oracle.com/cd/E29748_01/index.html 400гб (нулёвка из четырех) варпдрайв заезженый но живой можно купить относительно не дорого. Только вот нужно помониторить и посравнивать с современными потребительскими SSD, не быстрее ли они окажутся