Итак, у меня запрос смежный для многих областей. Куда-то конкртено с ним идти не получается.
Есть простое решение взять топовую зелёную карту за +270к вечно деревянных. Моя задача уложится на старте хотя бы в 50к.
Итак, предполагаемая сборка:
machinist dual x99 EATX
xeon e5 2690 v4 x2 или взять 2699? Возможно сервер будет не только ИИшыть но и заниматся твердотельным моделированием.
+ 64-256 Гб оперативы на 8 планок
И самое глвное
бушные майнинговые видяхи Cmp90, оналог 3080.
на материнке вроде должно влезть 3штуки.
Вопросы которые возникли.
зион постоянно горячий или только при работе? или суммарное ТДП в 1502 CPU + 2503 GPU будет приятно радовать меня холодными осенними вечерами.
Какой блок питания под этот пиздец выбрать? на cmp 8*2 входа по питалову. На пике будет 3 видяхи, или 4е если влезет. С материнкой есть несколько вариантов.
Сервер не будет 24/7 в работе, в основном будут котроткие сесси с нагрузкой на поисковых генерациях. и многочасовые ночные загоны чтобы наклепать стафа.
По видяхам даже не знаю кому задать вопрос, а оно будет себя норм показывать именно на нейросетевых вычислениях? Что на них кроме видеовыхода ещё урезали?
оппики - ии гененрация если есть вопросы
Есть простое решение взять топовую зелёную карту за +270к вечно деревянных. Моя задача уложится на старте хотя бы в 50к.
Итак, предполагаемая сборка:
machinist dual x99 EATX
xeon e5 2690 v4 x2 или взять 2699? Возможно сервер будет не только ИИшыть но и заниматся твердотельным моделированием.
+ 64-256 Гб оперативы на 8 планок
И самое глвное
бушные майнинговые видяхи Cmp90, оналог 3080.
на материнке вроде должно влезть 3штуки.
Вопросы которые возникли.
зион постоянно горячий или только при работе? или суммарное ТДП в 1502 CPU + 2503 GPU будет приятно радовать меня холодными осенними вечерами.
Какой блок питания под этот пиздец выбрать? на cmp 8*2 входа по питалову. На пике будет 3 видяхи, или 4е если влезет. С материнкой есть несколько вариантов.
Сервер не будет 24/7 в работе, в основном будут котроткие сесси с нагрузкой на поисковых генерациях. и многочасовые ночные загоны чтобы наклепать стафа.
По видяхам даже не знаю кому задать вопрос, а оно будет себя норм показывать именно на нейросетевых вычислениях? Что на них кроме видеовыхода ещё урезали?
оппики - ии гененрация если есть вопросы
Тупица ты создал для своего вопроса отдельный тред. Здесь тебе че б?
Пиздуй нахуй в зионо тред и бомж тред и далее по остальным своим вопросам
Я ебу даунов развелось
Пиздуй нахуй в зионо тред и бомж тред и далее по остальным своим вопросам
Я ебу даунов развелось
>>02114 (OP)
Очень так себе идея выглядит.
Топовые зивоны дичайший оверпрайс, при том что они остаются старинным мусором, напоминаю. Может для твоего моделирования нормальный современный процессор лучше зайдет, подумой еще раз.
Двухсокетные платы 2011v3 устроены так, что слоты относятся к разным процессорам. Так на всякий случай, если ты сначала по минималке там собираешься на одном профессоре, а слоты хуйяк - и не работают.
Даже не близко.
Нет, даже не думай, это убогие огрызки, помимо общего для майнингового CMP кала отсутствия тензорных ядер старшие там как-то еще сильнее урезаны и не считают с плавающей точкой вообще нихуя.
Очень так себе идея выглядит.
Топовые зивоны дичайший оверпрайс, при том что они остаются старинным мусором, напоминаю. Может для твоего моделирования нормальный современный процессор лучше зайдет, подумой еще раз.
Двухсокетные платы 2011v3 устроены так, что слоты относятся к разным процессорам. Так на всякий случай, если ты сначала по минималке там собираешься на одном профессоре, а слоты хуйяк - и не работают.
>оналог 3080
Даже не близко.
>оно будет себя норм показывать именно на нейросетевых вычислениях
Нет, даже не думай, это убогие огрызки, помимо общего для майнингового CMP кала отсутствия тензорных ядер старшие там как-то еще сильнее урезаны и не считают с плавающей точкой вообще нихуя.
>>02169
Эхъ.... жаль. Но во всяком случае ахуенно что ты меня предостерёг. А не в кусе что можно по дешману купить из специализированного серверного вычислительного оборудования? Вроде видел в продаже какие амудешные серверные "видяхи" под вычисления. Амуде пердит и пыжится со своей опенсорсной реализацией куды - RocM. Но на потребительских видеокартах при равной цене там с гигафлопсами всё очень грустно получается, примерно эдак в полтора раза если не в два за те же деньги. Плюс рокМ пока ещё сырое говнищще с кучей проблем. Шо делоть та?
>Нет, даже не думай, это убогие огрызки, помимо общего для майнингового CMP кала отсутствия тензорных ядер старшие там как-то еще сильнее урезаны и не считают с плавающей точкой вообще нихуя.
Эхъ.... жаль. Но во всяком случае ахуенно что ты меня предостерёг. А не в кусе что можно по дешману купить из специализированного серверного вычислительного оборудования? Вроде видел в продаже какие амудешные серверные "видяхи" под вычисления. Амуде пердит и пыжится со своей опенсорсной реализацией куды - RocM. Но на потребительских видеокартах при равной цене там с гигафлопсами всё очень грустно получается, примерно эдак в полтора раза если не в два за те же деньги. Плюс рокМ пока ещё сырое говнищще с кучей проблем. Шо делоть та?
>>02165 вахтёр, иди на хуй.
Это трэд не про зионы и не про видекарты и не про сервера. Это абсолютно отдельная тема про AI станции, тупорылая ты залупа.
Это трэд не про зионы и не про видекарты и не про сервера. Это абсолютно отдельная тема про AI станции, тупорылая ты залупа.
>>02175
Я думаю, что вот это:
Я в этом направлении ковыляю потихоньку.
Как бы я все это смотрел, искал, но похоже, систему не наебать, хуанг и лизка не дураки, чтобы конкурировать с собственными постмайнерскими отбросами.
Про инстинкты чот слышал, там же даже статьи в википедии есть про них с тех данными. Кажется, это просто рыксы и веги с увеличенной памятью и без видео. Ну, по крайней мере те, что можно купить за разумные деньги.
Короче я думаю, что никаких обходных путей нет, иначе только об этом бы и говорили. Ну и мусор, который продается как мусор, мгновено взлетел бы в цене и перестал бы быть мусором и топкражей)
>Шо делоть та?
Я думаю, что вот это:
>Есть простое решение взять топовую зелёную карту за +270к вечно деревянных
Я в этом направлении ковыляю потихоньку.
Как бы я все это смотрел, искал, но похоже, систему не наебать, хуанг и лизка не дураки, чтобы конкурировать с собственными постмайнерскими отбросами.
Про инстинкты чот слышал, там же даже статьи в википедии есть про них с тех данными. Кажется, это просто рыксы и веги с увеличенной памятью и без видео. Ну, по крайней мере те, что можно купить за разумные деньги.
Короче я думаю, что никаких обходных путей нет, иначе только об этом бы и говорили. Ну и мусор, который продается как мусор, мгновено взлетел бы в цене и перестал бы быть мусором и топкражей)
>>02191 на самом деле бум локальных нейронок только начинается. Этим просто занимались ёбнутые гики, или корпорации, на потреб сегменте пустыня, и ахуевший в край зелёный монополист. С выходом Flux быдло почует что нейронки это уже готовый продукт, который можно просто купить и клепать семейные альбомы обэмой на задниках.
>>02114 (OP)
посмотри на Intel Arc, они оказались сраным говном для игр, и поэтому игруны сливают их за дёшево, но внезапно у арков дохуя оперативы, что хорошо для нейронок.
не надо
учти, что скорость оперативы очень важна для нейронок, а тухлые зионы работают на частотах 1600-2100 вместо современных 3000-4000
норм план
не надо
зависит от китайской мамки))00) на нормальных серверных мамках он будет работать с минимальной частотй и не будет греться, а китайцы хз что в своих прошивках наговнокодили.
ну и двачую етого >>02169
> Моя задача уложится на старте хотя бы в 50к.
посмотри на Intel Arc, они оказались сраным говном для игр, и поэтому игруны сливают их за дёшево, но внезапно у арков дохуя оперативы, что хорошо для нейронок.
> machinist
не надо
> + 64-256 Гб оперативы на 8 планок
учти, что скорость оперативы очень важна для нейронок, а тухлые зионы работают на частотах 1600-2100 вместо современных 3000-4000
> бушные майнинговые видяхи
норм план
> Cmp90, оналог
не надо
> зион постоянно горячий или только при работе?
зависит от китайской мамки))00) на нормальных серверных мамках он будет работать с минимальной частотй и не будет греться, а китайцы хз что в своих прошивках наговнокодили.
ну и двачую етого >>02169
Кого ты пытаешься наебать? Мужчину в куртке, техноиссуса или самого себя?
>>02480
В 4канале, быстрее любой другой ddr4. К тому же с ECC.
Никак не зависит от материнки.
Чего блядь? Ты ебанутый?
Он в целом не будет грется. Зионы сильно проще охладить, чем десктопные процы за счет наличия припоя под большей по площади термораспределительной крышкой. На х79/х99 в принципе нет проблемы охлаждения камня. Существует проблема охлаждения VRM, но и та возникает только при покупке топового камня и самой дешевой материнки, что свойственно любым платформам в этом мире.
Ничего. Ты можешь самостоятельно зашить туда анлок турбобуста, чтобы все ядра всегда держали максимальную частоту, но это твой личный выбор. Работает только на процах серии v3.
Потому что нужно брать божественный хуанан.
>>02169
Зависит от определения "топовые". Там ведь ценообразование работает по принципу количества списанных моделей на складах. Условный 2690v4 (14/28, 35mb L3, 3.5ghz) стоит 3к, так же как 2699v3 (18/36, 45mb, 3.6ghz), а вот 2699v4 уже 18к целых, хотя там не сказать, что прям фундаментальная разница. Есть куча малосерийных или распроданных процов, которые стоят дорого.
Если сравнивать нормальные варианты, вроде 2666v3, 2699v3, 2690v4, то там просто огромнейшая выгода идет в рамках бюджета до 50к рублей. Там ш3 и ш5 вообще не могут конкурировать с этим. Проц под задачи опа стоит ну тысячи 3 рублей с производительностью по многопотоку лучше ш5.
И да, серверная ddr4 является наиболее бюджетным способом заиметь огромные объемы ОЗУ. Выгоднее в пересчете на гигабайт раза в 4 и без потери в пропускной способности.
>что скорость оперативы очень важна для нейронок, а тухлые зионы работают
В 4канале, быстрее любой другой ddr4. К тому же с ECC.
>зависит от китайской мамки
Никак не зависит от материнки.
>на нормальных серверных мамках он будет работать с минимальной частотй
Чего блядь? Ты ебанутый?
>и не будет греться
Он в целом не будет грется. Зионы сильно проще охладить, чем десктопные процы за счет наличия припоя под большей по площади термораспределительной крышкой. На х79/х99 в принципе нет проблемы охлаждения камня. Существует проблема охлаждения VRM, но и та возникает только при покупке топового камня и самой дешевой материнки, что свойственно любым платформам в этом мире.
>а китайцы хз что в своих прошивках наговнокодили
Ничего. Ты можешь самостоятельно зашить туда анлок турбобуста, чтобы все ядра всегда держали максимальную частоту, но это твой личный выбор. Работает только на процах серии v3.
>не надо
Потому что нужно брать божественный хуанан.
>>02169
>Топовые зивоны дичайший оверпрайс
Зависит от определения "топовые". Там ведь ценообразование работает по принципу количества списанных моделей на складах. Условный 2690v4 (14/28, 35mb L3, 3.5ghz) стоит 3к, так же как 2699v3 (18/36, 45mb, 3.6ghz), а вот 2699v4 уже 18к целых, хотя там не сказать, что прям фундаментальная разница. Есть куча малосерийных или распроданных процов, которые стоят дорого.
Если сравнивать нормальные варианты, вроде 2666v3, 2699v3, 2690v4, то там просто огромнейшая выгода идет в рамках бюджета до 50к рублей. Там ш3 и ш5 вообще не могут конкурировать с этим. Проц под задачи опа стоит ну тысячи 3 рублей с производительностью по многопотоку лучше ш5.
И да, серверная ddr4 является наиболее бюджетным способом заиметь огромные объемы ОЗУ. Выгоднее в пересчете на гигабайт раза в 4 и без потери в пропускной способности.
>>06172
Если v3, то потолок 2133
Если v4, то можно поднять до 2400
Тайминги еще можно попустить
>по памяти зион разогнать можно?
Если v3, то потолок 2133
Если v4, то можно поднять до 2400
Тайминги еще можно попустить
Подумай в использовании что то на ам4, я использую r5-5500,msi pro материнка, 4060 в качестве сервака под линукс(работает полгода без остановок) и рабочего пк
купил китайскую мамку из бэушных полудохлых компонентов и тухлый зион
"
терабайт регистеред памяти на развес с авито
"
1866 MHz
"
попердолился
"
1866 MHz
"
ещё попердолился
"
2133 MHz
"
перепрошил бивис, небо, аллаха
"
2400 MHz
"
система уходит в кернель паник или ребут в рандомные промежутки времени
"
зато дёшево
"
терабайт регистеред памяти на развес с авито
"
1866 MHz
"
попердолился
"
1866 MHz
"
ещё попердолился
"
2133 MHz
"
перепрошил бивис, небо, аллаха
"
2400 MHz
"
система уходит в кернель паник или ребут в рандомные промежутки времени
"
зато дёшево
Пчел, оставь этот колхоз.
Во-первых, ты заебёшься обслуживать этого франкенштейна, он будет греться, пердеть, тротлить етс.
Во-вторых, ты нихуя не сэкономишь, т.к. устаревшее железо имеет плохую энергоэффективность. Это можно победить только масштабированием выч мощностей, но я сомневаюсь что у тебя есть собственная АЭС и возможность оправлять дата-центры на дно ледовитого океана.
Не еби себе и людям моск, возьми NVIDIA Jetson Nano Developer Kit и блок вычислителей к ней, и будет тебе вайфа. Влезешь в 1,5 баксов.
Во-первых, ты заебёшься обслуживать этого франкенштейна, он будет греться, пердеть, тротлить етс.
Во-вторых, ты нихуя не сэкономишь, т.к. устаревшее железо имеет плохую энергоэффективность. Это можно победить только масштабированием выч мощностей, но я сомневаюсь что у тебя есть собственная АЭС и возможность оправлять дата-центры на дно ледовитого океана.
Не еби себе и людям моск, возьми NVIDIA Jetson Nano Developer Kit и блок вычислителей к ней, и будет тебе вайфа. Влезешь в 1,5 баксов.
70 Кб, 1059x1095>>07281
купил за 4к P102-100 на 10 Гб памяти
@
воткнул в нижний слот pcie x4 зивонплаты
@
7B,8B,9B модели летают
@
довольно урчишь, весь говнокод за тебя хуярит искуственный дурачок
купил за 4к P102-100 на 10 Гб памяти
@
воткнул в нижний слот pcie x4 зивонплаты
@
7B,8B,9B модели летают
@
довольно урчишь, весь говнокод за тебя хуярит искуственный дурачок
>>09156
это шутка такая? они и на проце летают
что-то, отдалённо напоминающее код, генерят модели начиная с 30Б+
> 7B
это шутка такая? они и на проце летают
> говнокод за тебя хуярит искуственный дурачок
что-то, отдалённо напоминающее код, генерят модели начиная с 30Б+
>>09356
челик, пиздеть ты будешь начальству чтоб тебе теслу купили, а я проверял и сравнивал гитхаб, чатгпт4 и все модели, разница там минимальная, чатгпт лажает иногда сильнее локальных. а фейсбук тебе не напишет ни одна, максимум функцию.
челик, пиздеть ты будешь начальству чтоб тебе теслу купили, а я проверял и сравнивал гитхаб, чатгпт4 и все модели, разница там минимальная, чатгпт лажает иногда сильнее локальных. а фейсбук тебе не напишет ни одна, максимум функцию.
>>09422
челик, пиздеть ты будешь в /бэ на дваче, а я проверял и сравнивал всевозможные лламы, и оригинальные и тюненные "коделламы", и кодестрали, и дипсики, и гигабайты другого говна, и всё оно способно сгенерить только хеловорлд, в отличие от чатгопоты.
более-менее нормальный говнокод генерят 70б модели типа квилла или ламы3, но для приемлимой скорости нужно дорогое железо, а не тухлый зион.
челик, пиздеть ты будешь в /бэ на дваче, а я проверял и сравнивал всевозможные лламы, и оригинальные и тюненные "коделламы", и кодестрали, и дипсики, и гигабайты другого говна, и всё оно способно сгенерить только хеловорлд, в отличие от чатгопоты.
более-менее нормальный говнокод генерят 70б модели типа квилла или ламы3, но для приемлимой скорости нужно дорогое железо, а не тухлый зион.
>>07281
С V4 любая серверная память заводится из коробки на 2133. Одним параметром в бивисе поднимается до 2400.
С этим ни у кого проблем никогда не было.
С V4 любая серверная память заводится из коробки на 2133. Одним параметром в бивисе поднимается до 2400.
С этим ни у кого проблем никогда не было.
>>02114 (OP)
Частота падает до гигагерца в простое, температура - 34-35 градусов.
Тут посложнее, ищи на али синхронизатор блоков питания, если хочешь дешево обойтись, стоит 300-350р.
Сам полгода назад проникся такой же идеей, какая-то нонейм китаймать на два проца, 22670в3, пока 160гигов памяти: 216 и 432 да-да, знаю, что трехканал, но планирую еще докупить 2*32.
Взял Теслу К80, старье, но на 24 гига, еще не установил, стоит уже 2060 на 12 гигов. Питается все пока 650й старенький Тафпавер. Есть еще 500ваттник, есть синхронизатор, второй едет, но, думаю ставить 3 бп все-таки.
Времени сейчас заниматься этим нет, все то на полке пылится, то установлено кое как, так что расскажешь про свой опыт.
Попердолиться - отличная идея, но как что-то серьезное вряд ли стоит рассматривать, поэтому отговаривать не стану.
>зион постоянно горячий или только при работе? или суммарное ТДП в 1502 CPU + 2503 GPU будет приятно радовать меня холодными осенними вечерами
Частота падает до гигагерца в простое, температура - 34-35 градусов.
>Какой блок питания под этот пиздец выбрать? на cmp 82 входа по питалову. На пике будет 3 видяхи, или 4е если влезет. С материнкой есть несколько вариантов.
Тут посложнее, ищи на али синхронизатор блоков питания, если хочешь дешево обойтись, стоит 300-350р.
Сам полгода назад проникся такой же идеей, какая-то нонейм китаймать на два проца, 22670в3, пока 160гигов памяти: 216 и 432 да-да, знаю, что трехканал, но планирую еще докупить 2*32.
Взял Теслу К80, старье, но на 24 гига, еще не установил, стоит уже 2060 на 12 гигов. Питается все пока 650й старенький Тафпавер. Есть еще 500ваттник, есть синхронизатор, второй едет, но, думаю ставить 3 бп все-таки.
Времени сейчас заниматься этим нет, все то на полке пылится, то установлено кое как, так что расскажешь про свой опыт.
Попердолиться - отличная идея, но как что-то серьезное вряд ли стоит рассматривать, поэтому отговаривать не стану.
>>02114 (OP)
Не понятно, что ты хочешь от сервера. Если гонять неронки на видяхах, то тебе нужно не ниже тесел p40, остальное совсем шлак. Плюс смотри может ли нужная тебе нейронка (а точнее фреймворк который ты будешь использовать) на них вообще работать. Самый бомжацкий вариант из нормальных под все задачи это б/у 3090. Также учитывай, что для тех же ЛЛМ нужно гораздо больше VRAM чем 24 (чтобы запускать большие модели с нормальной скоростью генерации). Обычно берут 3-4 карточки. 4090 лютый оверпрайс, бери только если ты собрался генерировать ОЧЕНЬ много изображений.
Также можешь собрать систему для запуска на CPU, там лучший вариант старые серверные платы под AMD процы и терабайты оперативки. Скорости там аховые, но зато влезет что угодно и за копейки (по сравнению со сборками на видюхах).
Можешь ещё в LLM треде спросить совета, там аноны собирали сборки на 3-4 картах.
Не понятно, что ты хочешь от сервера. Если гонять неронки на видяхах, то тебе нужно не ниже тесел p40, остальное совсем шлак. Плюс смотри может ли нужная тебе нейронка (а точнее фреймворк который ты будешь использовать) на них вообще работать. Самый бомжацкий вариант из нормальных под все задачи это б/у 3090. Также учитывай, что для тех же ЛЛМ нужно гораздо больше VRAM чем 24 (чтобы запускать большие модели с нормальной скоростью генерации). Обычно берут 3-4 карточки. 4090 лютый оверпрайс, бери только если ты собрался генерировать ОЧЕНЬ много изображений.
Также можешь собрать систему для запуска на CPU, там лучший вариант старые серверные платы под AMD процы и терабайты оперативки. Скорости там аховые, но зато влезет что угодно и за копейки (по сравнению со сборками на видюхах).
Можешь ещё в LLM треде спросить совета, там аноны собирали сборки на 3-4 картах.