Для обсуждения SSD существуют треды под тэгом /ssd/ в каталоге.
База:
Технология SMR по скоростным показателям уступает CMR, но модели сделанные по ней обычно дешевле, они подойдут вам если вы не собираетесь активно перекидывать файлы и заниматься прочей высоконагруженной деятельностью, раздавать торренты, и диск вам нужен лишь как долгосрочное файлохранилище.
Современные модели дисков могут издавать щелчки каждые 4-5 секунд, это нормально и не говорит о каких-либо проблемах, технология называется "Preventive Wear Leveling", PWL и, по словам вендоров, уменьшает износ ЖД.
Большая энциклопедия по всем ЖД: https://rml527.blogspot.com/
Узнать тип записи диска (CMR/SMR) по модели: https://nascompares.com/answer/list-of-wd-cmr-and-smr-hard-drives-hdd/
Мини-гид по Western Digital (предложения принимаются): https://pastebin.com/raw/ZL2jg2xx
Фак двухлетней свежести: https://github.com/mashiro-tan/dsd_thread_faq
Наилучшими DVD являются диски от Verbatim, сделанные по технологии AZO (значок AZO должен быть на упаковке). На втором месте стоят диски от Mirex.
Bluray-диски, сделанные по технологии LTH (low to high) изготовлены из органики и подвержены тем же проблемам, что и CD и DVD. Но до сих пор существуют Bluray-диски, сделанные по технологии HTL (high to low).
Предыдущие треды:
№12: >>/hw/7153746
№11: >>/hw/7088701
№10: >>/hw/7003809
№9: >>/hw/6878681 https://arhivach.top/thread/988259/
№8: >>/hw/6783613 https://arhivach.top/thread/979407/
№7: >>/hw/6697839 https://arhivach.top/thread/939310/
№6: https://2ch.hk/hw/arch/2024-01-06/res/6623555.html (М) https://arhivach.top/thread/929321/
№5: https://2ch.hk/hw/arch/2023-11-13/res/6585479.html (М) https://arhivach.top/thread/909592/
№4: https://2ch.hk/hw/arch/2023-10-14/res/6555688.html (М) https://arhivach.top/thread/899277/
№3: https://2ch.hk/hw/arch/2023-10-07/res/6504732.html (М) https://arhivach.top/thread/883979/
№2: https://2ch.hk/hw/arch/2023-05-27/res/6378245.html (М) https://arhivach.top/thread/860408/
№1: https://arhivach.top/thread/839005/
№12: >>7153746 (OP)
№11: >>7088701 (OP)
№10: >>7003809
№9: >>6878681 https://arhivach.top/thread/988259/
№8: >>/6783613 https://arhivach.top/thread/979407/
№7: >>6697839 https://arhivach.top/thread/939310/
№6: https://2ch.hk/hw/arch/2024-01-06/res/6623555.html (М) https://arhivach.top/thread/929321/
№5: https://2ch.hk/hw/arch/2023-11-13/res/6585479.html (М) https://arhivach.top/thread/909592/
№4: https://2ch.hk/hw/arch/2023-10-14/res/6555688.html (М) https://arhivach.top/thread/899277/
№3: https://2ch.hk/hw/arch/2023-10-07/res/6504732.html (М) https://arhivach.top/thread/883979/
№2: https://2ch.hk/hw/arch/2023-05-27/res/6378245.html (М) https://arhivach.top/thread/860408/
№1: https://arhivach.top/thread/839005/
Пидоры помогите, надо викторией проходить или нет.
тихие hdd - миф?
собираю nas для видеомонтажа, около 15-20 тб. стоять будет в моём рабочем кабинете, по совместительству студия звукозаписи.
система будет на ssd, поэтому во время записи можно будет просто выключить харды, однако всё равно интересен опыт анонов.
конкретно смотрю на две модели, - seagate ironwolf (не про) 6 TB и WD Red Plus 12 TB. первый рекомендовал чел с сайта nascompares, второй - рандом с реддита.
кейс будет какой-нибудь bequiet
Нужную информацию. Еще тупые вопросы будут?
Единственный тихий хдд это seagate st2000vn000 и -004. Реально тихие и холодные. Но всего на 2 тб. Все остальные уже не тихие, и крутятся шумно, и головками грохочут. Поэтому лучше собери NAS-хуяс и засунь его в дальнюю кладовку, туда нужно будет прокинуть только электричество и сеть.
Данные.
> собери NAS-хуяс
Ты цены видел? Я не миллионер
> засунь его в дальнюю кладовку
В моей квартире нет кладовок. А из нежилых помещений - изолированный балкон, крохотная кухня на которую некуда поставить посудомойку и санузел.
Это совет уровня "нет денег? Попроси ветвь бизнеса у отца, делов-то"
> цены видел
Литерали любой офисный компуктер за последние двадцать лет. От него нужно только уметь локальную сеть гигабит и подключать диски по сата.
> и санузел
Вот в сортир и поставь. Или он у тебя совмещён с ванной, нищеброд, ты, ебаный?
"Рабочий кабинет" у него есть, а кладовки нет. Пиздец.
под кроватью
Ух бля как я сегодня напердолился с wd blue 2.5 hdd на ноуте
Кароче система фризила каждые 15 минут или около того, нагуглил что это из за APM и парковки головки
Запустил crystaldiskinfo, выставил APM на performance и все збс
НО збс только до первого ребута и дальше пошел пердолинг
Пытался юзать WDIDLE3 и hdparm и idle3-tools, в итоге работает только hdparm ито опять же до перезагрузки, подозреваю что wdidle3 и idle3 не робят из за только что sata в ahci, а биос не дает выставить в ide
В итоге засунул crystaldiskinfo в автозагрузку, правда опять же не с первого раза, так как задание в планировщике криво создается, пришлось руками править
Че думаете, можно было как то лучше сделать? И нахуй вообще такая еботня придумана у WD, почему блять даже тулзы не сделали чтобы можно было нормально из под винды изменить значение и чтобы оно сохранялось между перезагрузками, во дауны
Опять ВД-сектанты ебуться в жопу.
И ещё. хдд в ноуте ставить это уже давно глупо. Даже если система не новая, то ссд даст огромный прирост к скорости работы. А если новая (десятка), то на хдд можно состариться пока браузер отвиснет или обновление установится.
Какой-нибудь старый бу самсунг ссд возьми на авите и радуйся, блядь.
У меня система на ссд м2, остальной мусор на этом хдд
Как хдд сдохнет конечно ссд возьму, хотя судя по отзывам там тоже не все так гладко, у кого то неделю работает, у кого то месяц, а потом в ридонли уходят, пиздос
>можно было как то лучше сделать
нет, сам так поступил
>задание в планировщике криво создается
от админа с повышением прав надо запускать емнип, без них может не стартовать
>еботня придумана у WD
она у большинства 2.5 жестких, чтоб ты их в ноуте с меньшей вероятностью наебнул ударом и энергия чтоб экономилась, на тошибах так же
>чтобы оно сохранялось между перезагрузками
производителю жестких это невыгодно и потенциально вредно
>чтоб ты их в ноуте с меньшей вероятностью наебнул ударом
Да это все понятно, претензия к тому что разраб не дал нихуя способов настройки этой хуйни
Вот в чем была проблема сделать утилиту, которая бы предлагала варианты настройки apm для сценариев стационарного и мобильного использования, вообще же нихуя нет, одно значение зашито и хуй изменишь, суки бляди
Нахуя что-то там вообще настраивать? Я всю жизнь пользуюсь сигейтами и ниразу ничего там нигде не настраивал. Только мастер и слейв дёргал когда-то, но это было слишком давно.
Вообще-то, не их дело, чё ты там хранишь, если ты не распространяешь ссылки налево и направо. Да и всегда можно спрятать в рар.
Надеюсь всё это на раздаче, храни тебя господь.
>не их дело
Это ты так думаешь, банально когда загружаешь нечто популярное - оно вначале проанализируется облаком на копии у всех аккаунтов и если найдёт - просто скопирует тебе в аккаунт.
> на работе
> взять
> за 10к
"На работе" "взять" должно быть бесплатно.
Как раз тыке для наса, без хитровыебанных рейдов, и без частой перезаписи, на CMR/SMR может быть пофиг. CMR/SMR проявляется при частой перезаписи мелких кусочков, всякие обновления, редактирования, вот это всё. А для один раз записал и всю жизнь хранишь и читаешь я бы сказал что это неважно.
Но что я знаю, я взял 16 тб эксос за 16к на авито. Пару. И потом ещё пару. Чувствую себя отлично.
> "На работе" "взять" это значит купить новый по корпоративной скидке.
Неееее........... Нихуя ты не понимаешь, Джон Сноу.
И что за "скидка" такая? У меня в ситилинке и в днс'е перечисленные тобой диски столько и стоят без всяких скидок.
Посоны, а имеются ли внешние боксы, подходящие для 2.5'' HDD 5 ТБ?
Взял такой Seagate недавно: https://market.yandex.ru/product--zhestkii-disk-5tb-seagate-barracuda-st5000lm000-sata-6-0gb-s-5400-rpm-128mb-buffer/881993577?offerid=sdOyrO8dVg6yzPiY_j3j3g&sku=103659991748&skuId=103659991748&uniqueId=173242140
и бокс к нему: https://www.ozon.ru/product/boks-vneshniy-dlya-zhestkogo-diska-ugreen-cm300-70499-2-5-inch-sata-external-hard-drive-enclosure-1049380670/?tab=questions&reviewsVariantMode=2
А он оказался тонковат, к тому же не читал. Без дополнительного питания никак не подключить такой объём памяти? Только внутрь системника пихать? В описании написано было, что подобные боксы поддерживают и до 6-14 ТБ).
По чём сигейт взял? Можешь засунуть свой диск в свой бокс и не закрываю крышку (потому что не налезает) подключить к пк? Интересно, заработает или нет.
Бывают внешние боксы для толстых дисков. Вот как минимум один. Но только тут максимальный объём диска указан 4 тб, но я б рискнул, думаю подойдёт. Я б ещё поискал родные сигейтовские коробочки от 2,5" 4-5 тб внешних дисков. Диски то умирают, а коробочки должны оставаться.
Подключаются без дополнительного питания. Дополнительное питание нужно для 3,5" дисков.
https://aliexpress.ru/item/1005008033042363.html
Как ты себе это представляешь?
Если можно подшаманить поверхность, почему этим никто не занимается с пользой для себя, достать данные или продлить жизнь навернувшегося винта?
Весь интернет.
Попыт разбушевался, строит в рашке северную корею.
Поэтому не ждем, а готовимся.
Да я не знаю поэтому и спрашиваю.
Взял за 24.3к. Думал накачать сериалов каких и видео из ютуба.
Что-то я про Алик и не подумал, спасибо за ссылку, бро! У меня как раз ~15 мм толщина жёсткого диска.
Я поискал Seagate-овские и нашёл внешние боксы от внешних жёстких (максимум 4 ТБ) и подписанные как Seagate, но без опознавательных знаков и их максимальный объём - 2 ТБ (тоже тонкие, не влезет).
Попробую аликовский, но вот думаю вернуть вариант с 5 ТБ и взять на 4, чтоб уж наверняка. А то сегодня пытался прочесть озоновским ugreen-боксом - ни в какую. А пока дождусь прибытия аликовского бокса, там и неделя пройдет, и хрен верну сложный электронный товар.
Завтра попробую перед сдачей опробовать на внешнем боксе 3.5'' с питанием - должен по идее прочесть. Во всяком случае не паль, QR-кодом проверил серийный номер на их сайте.
> Взял за 24.3к (5 ТБ)
Ебать ты лошара.... Ещё и коробку докупаешь. Верни его взад если можешь. И купи просто внешний сигейт. Он дешевле, до 20к. А внутри там ровно такой же диск.
Лучше брать сигейт, сигейт делает диск и переходник. А вд делает специальную модель диска у которой нет сата разъёма, только юсб. У остальных производителей коробочек надо смотреть обзоры с открытием коробки что бы узнать что внутри.
В последнее время флешки почему то дохнут как мухи. За последние 2 года купил достаточно много флешек и почти все сдохли, причем не noname. Я так понимаю там чипы - отбраковка с SSD, хз... Вот то что покупалось в ~2010 живут нормально...
Знает кто-нибудь, что надо докупить, чтобы в этот корпус ATX винт 3.5 всучить?
Типа таких подойдут?
https://www.ozon.ru/product/kronshteyny-2-sht-3-5-5-25-gembird-mf-543-327835366/
Тяжеловато их найти. Переходников 2.5 на 3.5 по ощущением в 100 раз больше.
https://www.ozon.ru/product/kreplenie-dlya-ssd-hdd-2-5-v-otsek-3-5-salazki-adapter-dlya-ssd-hdd-2-5-v-otsek-3-5-salazki-korpus-1474834890/?keywords=%D1%81%D0%B0%D0%BB%D0%B0%D0%B7%D0%BA%D0%B8+%D0%B4%D0%BB%D1%8F+hdd+3.5
Вон такие стандартные возьми да и всё, по размерам должно влезть (измерь на всякий)
Они маленькие. Стандартный жёсткий диск 3.5, и в ещё более просторном отсеке его не за что присобачить.
Сейм. У меня корпус Zlman (ЕБАТЬ ОН 7К СТОИТ), и там можно поставить не более двух HDD.
Бля, а есть ли гробы с тремя пердиляторами и без ебучего короба для бэпэ? Нахуй его вообще придумали ебаные дизайнеры хуевы.
Раньше были, Suppresor F31, топ покупка 2016 года, корзины все повыкидывал из него, и водянку 420 всунул сверху.
Три диска в стандартные слоты 3,5" и три-пять дисков в три 5,25" слота. И плюс ещё можно вниз стоечку сколхозить на три-четыре диска.
Итого 9-12 дисков.
Я свой б/у корпус на авито за 2 тысяч купил. С 5 вентилями на корпусе.
Но места для хдд у меня дохуя. 5 сверху на салазках можно приспособить, и ещё такое же количество снизу иными способами. Только мне и не надо столько, по крайней мере пока.
Такая температура в среднем, при копировании нагревается до 46 градусов. Не слишком много? Я купил вентилятор Noctua 140мм, но не знаю как туда его вместить.
>при копировании нагревается до 46
Хуёво, при том что копирование не напрягает хэдэдэ на 100%, нагрузишь серьёзней - там за 50+ выйдет.
>не знаю как туда его вместить
Сними морду, если влезет - ок, если нет - придется колхозить.
Только не бери пердиляторы с креплением на днище диска, они все говно.
>Хуёво, при том что копирование не напрягает
А до скольки градусов желательно скинуть? У этих дисков еще скорость 5640 rpm. С 7200 rpm наверно будут еще сильнее греться.
>Сними морду, если влезет - ок, если нет - придется колхозить
Попробую, но там очень тесно. Если к отсеку прикрутить то боковая панель не встанет, можно попробовать туда вглубь перпендикулярно. Вот рядом вентилятор лежит, думаю еще один купить для второго отсека жестких дисков
Что именно? За 500руб продают как и с 32гб, так и на 500+гб флешки. И гадай какая из них лучше. Приходится по старинке в Мвидео покупать по 2к и более.
Cubase
R-Studio
300x240, 0:46
Архивирую интирнет чтобы сжать в миллион раз и записать на флешку.
Можешь взять вентили поменьше и впиндюоить за или перед корзиной.
>Что с надёжностью?
Надёжнее всего когда 3.5 хэдэдэ жёстко закреплены в какой нибудь тяжолой ёбе, которую ты при всём желании не сможешь уебать или сдвинуть с места.
А я поддерживаю атавизм.
Я почти совсем выкинул хдд из своего комнатного компьютера. Оставил только оче тихие st2000vn004. Но докуплю ещё пару жирных сэсэдэ им на замену и тоже выкину. А все хэдэдэ отправились в отдельный корпус в кладовку в дальний угол. По гигабитной локалке доступ к ним такой же как к локальным дискам в моём пк. А зато в комнате тихо стало, прям охуенно, никакого гула и треска. Как диски не закрепляй, а они всё равно громкие.
Фильмы в основном, на англе и языках которые изучаю
Мемчики, конечно же.
Книги
Музыку
в игры не играю.
> то что сохранил не пропадает
> то что сохранил не нужно
> то что не сохранил пропало, а теперь оно нужно
> то что когда то видел и не сохранил так и не нашёл
Хуйня ваши архивирования. Говна какого-то набиваешь полные карманы. Ну хоть физически места не много занимает. И можно раздачей торрентов увеличивать себе ЧСВ.
Слово "нужно" тут ну так просто. Оно не "нужно", оно бы хотелось бы иметь, а нет так и хуй с ним, другое посмотрю.
Хотя вот лежат у меня пара архивов каналов с ютуба на которых были кучи самых каловых и попсовых ремиксов. Включишь и сразу блевать тянет. Теперь такого не найти!
Да нихуя у меня уникального и важного нет! Говно какое-то. Я в него даже сто лет не заглядывал уже.
>Слово "нужно" тут ну так просто. Оно не "нужно", оно бы хотелось бы иметь, а нет так и хуй с ним, другое посмотрю.
Рациональное суждение.
В идеале 10тб за 10к или 14 за 14.
У меня есть Samsung exos 10тб купенный за 10к, бу, с хорошим здоровьем, но он громкий пиздец.
Он для бекапа раз в неделю
Я погулял по сети, вроде это у них норма, типа серверные и плата за надёжность за низкую цену(???) но на постоянку шум не оч
Тихость от авито не зависит. Надёжности тоже не зависит. Говняка можно и в днс купить. Но за один и тот же говняк днс тебе заломит 2-3 тысячи за терабайт, а на авито всего по одной тысяче. Хороший диск служит 5-10 лет. Так что "слегка б/у" можно считать "проверкой работоспособности". На авито зачастую к продавцу можно придти и он включит диск при тебе, а в днс можешь сам как нибудь попробовать включить тут на прилавке, но не у каждого есть ноутбук и адаптер.
В идеале хотелось бы низкопрофильную pcie 1х единственный свободный слот остался карту, чтобы из корпуса наружу торчали 10 разъемов sata. Но что то ничего не ищется.
Поделитесь опытом
> чтобы из корпуса наружу торчали 10 разъемов sata
Таких нет. Есть с внутренними, провода через снятую заглушку корпуса вывести можно
Я всё ещё думаю что эту хуйню нужно устанавливать внутрь корпуса вместо всех креплений передней панели.
Да, ей саженцы подвязывать хорошо
В треде пишут мол ЦЕНА ВСЕГО РУБЛЬ ЗА ТЕРАБАЙТ! ТЫ ЧТО НИЩЮК?
Открываешь озон/ДНС - НЕ ТО, БАРРАКУДА ХЛАМ, ПРОДАВЕЦ ПЛОХОЙ
Открываешь авито - НЕ БЕРИ ОН БРОШЕН или ШОТО ПОДОЗРИТЕЛЬНО
Хорошего, своего никто не продаёт , 1к за Гб можно найти разве что хлам "на железо"
Остальные диски даже дороже чем в ДНС
>пишут мол ЦЕНА ВСЕГО РУБЛЬ ЗА ТЕРАБАЙТ
Хде? Сейчас цена 1Тб нового hdd +-2000 деревянных (и это ещё хорошая цена).
Будет лучше купить ССД на 1Тб САТА-шный.
Хочу вкатиться в шизокиберплюшкинизм на полшишечки, под это дело хочу себе организовать пару терабайт файлопомойного пространства, которое было бы отказоустойчиво к посыпке китайских блинов. Скок нужно винтов, какой RAID под это дело выбрать? Подскажите залетухе, с меня как обычно.
Возврат только через авито-доставку, а я хочу ИРЛ забрать
Я б лучше бэкапил, чем городил рейды. Бэкап это второе место хранения. Рейд это только одно место хранения.
А я б лучше писал на рейд, когда заполнится - весь рейд на полку, и начал городить новый рейд.
Единственный диск у Backblaze, выбивший 0% afr за 2023 год.Правда их было всего нихуя - 204 штуки, а за 2024 год статистику ещё не опубликовали, вроде
Раньше был только raid-on-chip интеловских серверных процов, сейчас 0 и 1 в любом десктопном проце поддерживается.
Ноутбучные разборки, есть в каждом городе.
Люди приносят ноут на апгрейд ссд, хдд остаётся в сервисе и выставляется лотом на авито.
Искать на лохито, собственно.
Хз, может не то ищу, но цен 1000р/1ТБ не вижу. Самое дешевое 1.2-1.3.
Я подозреваю что если походить в оффлайне по сервисам то можно найти, но я асоциальная ленивая сычина...
Я бы на твоём месте не страдал хуйнёй с зеркалами, рейдами и уж тем более всякой сранью наподобие zfs, всё это мракобесие это дополнительная точка отказа. Все эти изъёбства актуальны только когда у тебя высокая нагрузка, много дисков и нужна высокая доступность. Для файлопомойки это всё не нужно. Тебе под твои задачи хватит просто пары дисков и настроенного по расписанию бэкапа. Максимально просто и надёжно, легко переносится с компа на комп, легко восстановить данные.
Рубль за гиг у тебя на неликвидных объемах
500гб я за 600 покупал вполне себе без проблем
Терабайтники идут уже сильно дороже за гиг
Seagate IronWolf ST12000VN0007 12 ТБ
> на Озоне за 19К
А можешь на авито 19 ТБ взять 16 или 18 ТБ взять. Разницы между айронвульф'ом и эксос'ом ты не заметишь. В этой великой стране ни поддержки, ни гарантии.
Если новый, не битый, не крашеный, то отлично.
Он б/у, долбоёб. И не ной потом, что тебя не предупреждали.
Б/у гелий - лотерея
С другой стороны, в воздушном подвальные китайцы могли полазить, а гелий бы сдох сразу.
Не бывает тихих больших дисков, там куча блинов соответственно головок, коромысло тяжелое и стучать при нелинейной записи будет всегда.
чем проверить состояние внешнего винта? аида64 через смарт смотрит только родной. ноут
а теперь так и остался отключенным. как его включить? винда предлагает его только форматировать.
реально в домашних условиях что то восстановить?
форматируется ли purple серия в нтфс как обычно или так какие то особые приколы?
Под шиндоус - качаешь ventoy и hrmpf, ставишь на флешку и загружаешься с неё.
Также не удалось найти barcode, а qr просто переводит на сайт и говорит мол да, это не подделка.
А где я возьму изображения диска, если он в онлайн магазине продается?
Я хочу купить хдд. Мне нужно понять когда его сделали, чтобы не очень старье. Пока я могу прикинуть на глаз, что чем больше объем, тем больше вероятность что он не очень старый. А точнее?
>А где я возьму изображения диска, если он в онлайн магазине продается?
У менеджера спросишь.
> Мне нужно понять когда его сделали, чтобы не очень старье.
Хдд тебе консервы что ли со сроком годности? Каких трясунов только не встретишь, охуеть просто.
У любого уважающего себя онлайн-магаза есть контакты для связи куда можно задать вопросы.
При получении проверишь. Никакой магазин тебе не скажет какой диск тебе отправят.
oche/vazhny/bekap/270.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.93MB/s 0:02:42 (xfr#23937, ir-chk=64085/90987)
oche/vazhny/bekap/271.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.12MB/s 0:02:04 (xfr#23938, ir-chk=64084/90987)
oche/vazhny/bekap/272.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.26MB/s 0:02:57 (xfr#23939, ir-chk=64083/90987)
oche/vazhny/bekap/273.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.21MB/s 0:01:18 (xfr#23940, ir-chk=64082/90987)
oche/vazhny/bekap/274.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.84MB/s 0:02:03 (xfr#23941, ir-chk=64081/90987)
oche/vazhny/bekap/275.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.52MB/s 0:01:12 (xfr#23942, ir-chk=64080/90987)
oche/vazhny/bekap/276.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.38MB/s 0:01:17 (xfr#23943, ir-chk=64079/90987)
oche/vazhny/bekap/277.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 35% 44.66MB/s 0:01:21
вопрос очевиден: какого хуя так медленно?!
запись на ZFS идёт со скростью 3000 мегабит в секунду, а чтение со скоростью 300 мегабит, какого хуя чтение в 10 раз медленнее, чем запись?!
восстановление из бэкапа идёт уже больше 24 часов!
> 07:28:04 up 1 day, 35 min, 3 users, load average: 0.64, 1.01, 0.96
явахуи просто, что за говно эта зфс блядь. во всех нормальных фс запись медленнее, чем чтение, а тут наоборот. лучше бы бэкапы дольше делались, но быстрее разворачивались.
проблема точно не в сетевухе, такая скорость и по 1гб меди, и по 10гб оптике. проблема точно не в сервере назначения, там относительно быстрые ссд.
на бэкап сервере массив Z1 (типа RAID5) из четырёх хдд, чтение идёт в 1 поток, никакой другой нагрузки на бэкап сервере нет, единственный процесс, который дрочит харды - rsync.
в какую сторону копать?
bkp /root# free -m
total used free shared buff/cache available
Mem: 64151 11987 51789 3 1091 52163
Swap: 0 0 0
bkp /root# arc_summary |grep cache
Most Frequently Used (MFU) cache size: 44.8 % 1.2 GiB
Most Recently Used (MRU) cache size: 55.2 % 1.4 GiB
Metadata cache size (hard limit): 75.0 % 23.5 GiB
Metadata cache size (current): 25.9 % 6.1 GiB
Dnode cache size (hard limit): 10.0 % 2.3 GiB
Dnode cache size (current): 83.7 % 2.0 GiB
L2 cached evictions: 0 Bytes
Cache hits by cache type:
spl_kmem_cache_kmem_threads 4
spl_kmem_cache_magazine_size 0
spl_kmem_cache_max_size 32
spl_kmem_cache_obj_per_slab 8
spl_kmem_cache_reclaim 0
spl_kmem_cache_slab_limit 16384
dbuf_cache_hiwater_pct 10
dbuf_cache_lowater_pct 10
dbuf_cache_max_bytes 18446744073709551615
dbuf_cache_shift 5
dbuf_metadata_cache_max_bytes 18446744073709551615
dbuf_metadata_cache_shift 6
spa_config_path /etc/zfs/zpool.cache
zfs_metaslab_max_size_cache_sec 3600
zfs_nocacheflush 0
zfs_vdev_cache_bshift 16
zfs_vdev_cache_max 16384
zfs_vdev_cache_size 0
zil_nocacheflush 0
VDEV cache disabled, skipping section
продолжаю держать в курсе.
тест последовательного чтения в один поток методом "dd status=progress bs=1M if=большойфайл of=/dev/null"
бэкап сервер с ZFS на ржавом железе
> 13607919882 bytes (14 GB, 13 GiB) copied, 99.7743 s, 136 MB/s
лайв сервер с EXT4 на ссд
> 73988571136 bytes (74 GB, 69 GiB) copied, 101 s, 733 MB/s
почему-то дд на бэкап сервере в 3 раза быстрее, чем рсинк, хотя нагрузка такая же - continuous чтение одного большого файла.
протестил чтение и запись без всяких рсинков, а напрямую с того же сервера.
лайв сервер с mdadm RAID5 и SSD:
prod# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 12.2952 s, 349 MB/s
real 0m4.846s
user 0m0.000s
sys 0m0.016s
prod# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 3.85484 s, 1.1 GB/s
= запись 3 гигабита, чтение 9 гигабит
бэкапник с ZFS RAID5 и HDD
backup# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 11.1282 s, 386 MB/s
real 0m2.727s
user 0m0.000s
sys 0m0.042s
backup# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 32.6595 s, 132 MB/s
= запись 3+ гигабита, чтение 1 гигабит
тут почему-то чтение вышло в 3 раза быстрее, чем рсинкать на другой сервер.
может всё-таки какая-то хуйня между этими двумя серверами, позже попробую покидать туда-сюда данные между бэкапником и другим сервером.
между третьим сервером и лайв сервером с ссд туда-сюда честный гигабит по гигабитной меди, между третьим сервером и бэкапником с хдд-зфс всё те же 300 мегабит, но если положить тяжёлый файл в /dev/shm и качать оттуда, то будет так же честный гигабит, то есть проблема точно не в сети, а в зфс.
continuous read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=read --numjobs=1 --iodepth=1
zfstest: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=74269: Mon Jan 13 10:51:34 2025
iops : min= 44, max= 178, avg=119.49, stdev=31.98, samples=68
READ: bw=119MiB/s (125MB/s), 119MiB/s-119MiB/s (125MB/s-125MB/s), io=4096MiB (4295MB), run=34357-34357msec
random read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=randread --numjobs=1 --iodepth=1
zfstest: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=79082: Mon Jan 13 10:54:00 2025
read: IOPS=65, BW=65.3MiB/s (68.5MB/s)(4096MiB/62723msec)
iops : min= 54, max= 88, avg=65.31, stdev= 3.66, samples=125
READ: bw=65.3MiB/s (68.5MB/s), 65.3MiB/s-65.3MiB/s (68.5MB/s-68.5MB/s), io=4096MiB (4295MB), run=62723-62723msec
меня, конечно, устраивает высокая скорость записи, потому что это сервер для бэкапов и там 99% write нагрузки, но, блядь, этот 1 оставшийся процент read - это восстановление из бэкапа в течение ДВУХ СУКА ДНЕЙ с этой скоростью в 300 мегабит в секунду.
собственно, в какую сторону копать для дебага низкой скорости чтения?
oche/vazhny/bekap/270.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.93MB/s 0:02:42 (xfr#23937, ir-chk=64085/90987)
oche/vazhny/bekap/271.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.12MB/s 0:02:04 (xfr#23938, ir-chk=64084/90987)
oche/vazhny/bekap/272.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.26MB/s 0:02:57 (xfr#23939, ir-chk=64083/90987)
oche/vazhny/bekap/273.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.21MB/s 0:01:18 (xfr#23940, ir-chk=64082/90987)
oche/vazhny/bekap/274.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.84MB/s 0:02:03 (xfr#23941, ir-chk=64081/90987)
oche/vazhny/bekap/275.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 42.52MB/s 0:01:12 (xfr#23942, ir-chk=64080/90987)
oche/vazhny/bekap/276.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 100% 41.38MB/s 0:01:17 (xfr#23943, ir-chk=64079/90987)
oche/vazhny/bekap/277.zip
размер_файла_убрал_из-за_пидараса_попрошайки_на_которого_триггерится_спамлист 35% 44.66MB/s 0:01:21
вопрос очевиден: какого хуя так медленно?!
запись на ZFS идёт со скростью 3000 мегабит в секунду, а чтение со скоростью 300 мегабит, какого хуя чтение в 10 раз медленнее, чем запись?!
восстановление из бэкапа идёт уже больше 24 часов!
> 07:28:04 up 1 day, 35 min, 3 users, load average: 0.64, 1.01, 0.96
явахуи просто, что за говно эта зфс блядь. во всех нормальных фс запись медленнее, чем чтение, а тут наоборот. лучше бы бэкапы дольше делались, но быстрее разворачивались.
проблема точно не в сетевухе, такая скорость и по 1гб меди, и по 10гб оптике. проблема точно не в сервере назначения, там относительно быстрые ссд.
на бэкап сервере массив Z1 (типа RAID5) из четырёх хдд, чтение идёт в 1 поток, никакой другой нагрузки на бэкап сервере нет, единственный процесс, который дрочит харды - rsync.
в какую сторону копать?
bkp /root# free -m
total used free shared buff/cache available
Mem: 64151 11987 51789 3 1091 52163
Swap: 0 0 0
bkp /root# arc_summary |grep cache
Most Frequently Used (MFU) cache size: 44.8 % 1.2 GiB
Most Recently Used (MRU) cache size: 55.2 % 1.4 GiB
Metadata cache size (hard limit): 75.0 % 23.5 GiB
Metadata cache size (current): 25.9 % 6.1 GiB
Dnode cache size (hard limit): 10.0 % 2.3 GiB
Dnode cache size (current): 83.7 % 2.0 GiB
L2 cached evictions: 0 Bytes
Cache hits by cache type:
spl_kmem_cache_kmem_threads 4
spl_kmem_cache_magazine_size 0
spl_kmem_cache_max_size 32
spl_kmem_cache_obj_per_slab 8
spl_kmem_cache_reclaim 0
spl_kmem_cache_slab_limit 16384
dbuf_cache_hiwater_pct 10
dbuf_cache_lowater_pct 10
dbuf_cache_max_bytes 18446744073709551615
dbuf_cache_shift 5
dbuf_metadata_cache_max_bytes 18446744073709551615
dbuf_metadata_cache_shift 6
spa_config_path /etc/zfs/zpool.cache
zfs_metaslab_max_size_cache_sec 3600
zfs_nocacheflush 0
zfs_vdev_cache_bshift 16
zfs_vdev_cache_max 16384
zfs_vdev_cache_size 0
zil_nocacheflush 0
VDEV cache disabled, skipping section
продолжаю держать в курсе.
тест последовательного чтения в один поток методом "dd status=progress bs=1M if=большойфайл of=/dev/null"
бэкап сервер с ZFS на ржавом железе
> 13607919882 bytes (14 GB, 13 GiB) copied, 99.7743 s, 136 MB/s
лайв сервер с EXT4 на ссд
> 73988571136 bytes (74 GB, 69 GiB) copied, 101 s, 733 MB/s
почему-то дд на бэкап сервере в 3 раза быстрее, чем рсинк, хотя нагрузка такая же - continuous чтение одного большого файла.
протестил чтение и запись без всяких рсинков, а напрямую с того же сервера.
лайв сервер с mdadm RAID5 и SSD:
prod# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 12.2952 s, 349 MB/s
real 0m4.846s
user 0m0.000s
sys 0m0.016s
prod# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 3.85484 s, 1.1 GB/s
= запись 3 гигабита, чтение 9 гигабит
бэкапник с ZFS RAID5 и HDD
backup# sync; dd if=/dev/urandom of=test.bin bs=1M count=4096; time sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 11.1282 s, 386 MB/s
real 0m2.727s
user 0m0.000s
sys 0m0.042s
backup# echo 3 > /proc/sys/vm/drop_caches; dd if=test.bin of=/dev/null bs=1M
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB, 4.0 GiB) copied, 32.6595 s, 132 MB/s
= запись 3+ гигабита, чтение 1 гигабит
тут почему-то чтение вышло в 3 раза быстрее, чем рсинкать на другой сервер.
может всё-таки какая-то хуйня между этими двумя серверами, позже попробую покидать туда-сюда данные между бэкапником и другим сервером.
между третьим сервером и лайв сервером с ссд туда-сюда честный гигабит по гигабитной меди, между третьим сервером и бэкапником с хдд-зфс всё те же 300 мегабит, но если положить тяжёлый файл в /dev/shm и качать оттуда, то будет так же честный гигабит, то есть проблема точно не в сети, а в зфс.
continuous read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=read --numjobs=1 --iodepth=1
zfstest: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=74269: Mon Jan 13 10:51:34 2025
iops : min= 44, max= 178, avg=119.49, stdev=31.98, samples=68
READ: bw=119MiB/s (125MB/s), 119MiB/s-119MiB/s (125MB/s-125MB/s), io=4096MiB (4295MB), run=34357-34357msec
random read:
backup# sync; echo 3 > /proc/sys/vm/drop_caches; fio --ioengine=libaio --direct=1 --name=zfstest --filename=zfstest.bin --bs=1M --size=4G --readwrite=randread --numjobs=1 --iodepth=1
zfstest: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1
fio-3.33
zfstest: (groupid=0, jobs=1): err= 0: pid=79082: Mon Jan 13 10:54:00 2025
read: IOPS=65, BW=65.3MiB/s (68.5MB/s)(4096MiB/62723msec)
iops : min= 54, max= 88, avg=65.31, stdev= 3.66, samples=125
READ: bw=65.3MiB/s (68.5MB/s), 65.3MiB/s-65.3MiB/s (68.5MB/s-68.5MB/s), io=4096MiB (4295MB), run=62723-62723msec
меня, конечно, устраивает высокая скорость записи, потому что это сервер для бэкапов и там 99% write нагрузки, но, блядь, этот 1 оставшийся процент read - это восстановление из бэкапа в течение ДВУХ СУКА ДНЕЙ с этой скоростью в 300 мегабит в секунду.
собственно, в какую сторону копать для дебага низкой скорости чтения?
конфиг: 4х 7200rpm HDD WD Ultrastar DC HC550 16TB, без каких-либо рейд/хба контроллеров, воткнуты напрямую в мамку, то есть работают через чипсет.
собрал массив так:
poolname="backup";
zpool create -f -o ashift=12 -m /mnt/data $poolname raidz /dev/...
zfs set atime=off $poolname
zfs set compression=off $poolname
zfs set recordsize=1M $poolname
>запись на ZFS идёт со скростью 3000 мегабит в секунду
1) Это блять кэш. У меня тоже запись 1000+ Мб/с, а без кэша <50-300Мб/с. Ты отруби кэш или попробуй записать объёмный файл, гигов на 50-100, а не 1-4.
2) Самба, искази?
3) Проверял фрагментацию записанного файла?
> 1) Это блять кэш
сильно сомневаюсь. оператива не занята, на сервер льются бэкапы по паре сотен гигабайт, и скорость не проседает в течение всего времени. если бы это был кэш, то скорость упала бы после забивания оперативы, ну и в buff/cache было бы не 100 мегабайт, а все 64 гигабайта.
> 2) Самба, искази?
ext4, rsync, прямое соединение с основным сервером оптикой, и гигабитной медью через гигабитный свитч с остальными серверами.
> 3) Проверял фрагментацию записанного файла?
не, как это сделать?
и там не один файл, а множество больших и ещё большее множество мелких.
да, запись 3000 мегабит, чтение 300 мегабит.
Закажи на авито по 1,0-1,2 рулей за гиг. Я брал 16 тб и доволен.
backup# zpool get fragmentation
NAME PROPERTY VALUE SOURCE
backup fragmentation 0% -
не думаю, что дело в фрагментации, потому что во время восстановления из бэкапа скорость 300 мегабит была на протяжении всего восстановления, и когда качались большие файлы, и когда маленькие.
scrub делаю раз в месяц, проблем нет.
> scan: scrub repaired 0B in 05:55:42 with 0 errors on Sun Jan 12 06:19:44 2025
Всё же похоже на кэш, но с чтением действительно беда.
У меня как то так по искази расшарено оптика 10Гбит, размер записи 128K, сжатие LZ4, запись проседает когда кэш заканчивается, а чтение +- стабильно 400-500 Мб/с (но только там ещё всё в контейнере, это -15-20% скорости):
NAME PROPERTY VALUE SOURCE
RZ3 size 131T -
RZ3 capacity 98% -
RZ3 altroot /mnt local
RZ3 health ONLINE -
RZ3 version - default
RZ3 bootfs - default
RZ3 delegation on default
RZ3 autoreplace off default
RZ3 cachefile /data/zfs/zpool.cache local
RZ3 failmode continue local
RZ3 listsnapshots off default
RZ3 autoexpand on local
RZ3 dedupratio 1.00x -
RZ3 free 1.34T -
RZ3 allocated 130T -
RZ3 readonly off -
RZ3 ashift 12 local
RZ3 comment - default
RZ3 expandsize - -
RZ3 freeing 0 -
RZ3 fragmentation 30% -
RZ3 leaked 0 -
RZ3 multihost off default
RZ3 checkpoint - -
RZ3 autotrim off default
RZ3 compatibility off default
RZ3 feature@async_destroy enabled local
RZ3 feature@empty_bpobj active local
RZ3 feature@lz4_compress active local
RZ3 feature@multi_vdev_crash_dump enabled local
RZ3 feature@spacemap_histogram active local
RZ3 feature@enabled_txg active local
RZ3 feature@hole_birth active local
RZ3 feature@extensible_dataset active local
RZ3 feature@embedded_data active local
RZ3 feature@bookmarks enabled local
RZ3 feature@filesystem_limits enabled local
RZ3 feature@large_blocks enabled local
RZ3 feature@large_dnode enabled local
RZ3 feature@sha512 active local
RZ3 feature@skein enabled local
RZ3 feature@userobj_accounting active local
RZ3 feature@encryption enabled local
RZ3 feature@project_quota active local
RZ3 feature@device_removal enabled local
RZ3 feature@obsolete_counts enabled local
RZ3 feature@zpool_checkpoint enabled local
RZ3 feature@spacemap_v2 active local
RZ3 feature@allocation_classes enabled local
RZ3 feature@resilver_defer enabled local
RZ3 feature@bookmark_v2 enabled local
RZ3 feature@redaction_bookmarks enabled local
RZ3 feature@redacted_datasets enabled local
Всё же похоже на кэш, но с чтением действительно беда.
У меня как то так по искази расшарено оптика 10Гбит, размер записи 128K, сжатие LZ4, запись проседает когда кэш заканчивается, а чтение +- стабильно 400-500 Мб/с (но только там ещё всё в контейнере, это -15-20% скорости):
NAME PROPERTY VALUE SOURCE
RZ3 size 131T -
RZ3 capacity 98% -
RZ3 altroot /mnt local
RZ3 health ONLINE -
RZ3 version - default
RZ3 bootfs - default
RZ3 delegation on default
RZ3 autoreplace off default
RZ3 cachefile /data/zfs/zpool.cache local
RZ3 failmode continue local
RZ3 listsnapshots off default
RZ3 autoexpand on local
RZ3 dedupratio 1.00x -
RZ3 free 1.34T -
RZ3 allocated 130T -
RZ3 readonly off -
RZ3 ashift 12 local
RZ3 comment - default
RZ3 expandsize - -
RZ3 freeing 0 -
RZ3 fragmentation 30% -
RZ3 leaked 0 -
RZ3 multihost off default
RZ3 checkpoint - -
RZ3 autotrim off default
RZ3 compatibility off default
RZ3 feature@async_destroy enabled local
RZ3 feature@empty_bpobj active local
RZ3 feature@lz4_compress active local
RZ3 feature@multi_vdev_crash_dump enabled local
RZ3 feature@spacemap_histogram active local
RZ3 feature@enabled_txg active local
RZ3 feature@hole_birth active local
RZ3 feature@extensible_dataset active local
RZ3 feature@embedded_data active local
RZ3 feature@bookmarks enabled local
RZ3 feature@filesystem_limits enabled local
RZ3 feature@large_blocks enabled local
RZ3 feature@large_dnode enabled local
RZ3 feature@sha512 active local
RZ3 feature@skein enabled local
RZ3 feature@userobj_accounting active local
RZ3 feature@encryption enabled local
RZ3 feature@project_quota active local
RZ3 feature@device_removal enabled local
RZ3 feature@obsolete_counts enabled local
RZ3 feature@zpool_checkpoint enabled local
RZ3 feature@spacemap_v2 active local
RZ3 feature@allocation_classes enabled local
RZ3 feature@resilver_defer enabled local
RZ3 feature@bookmark_v2 enabled local
RZ3 feature@redaction_bookmarks enabled local
RZ3 feature@redacted_datasets enabled local
360x404, 0:01
> # dd status=progress bs=1M if=./sdb2.bin of=/dev/null
> 85548072960 bytes (86 GB, 80 GiB) copied, 419 s, 204 MB/s
чтение с диска почти 2 гигабита в секунду, и прочитано уже больше данных, чем у сервера оперативы.
пруфы того, что он не в кэше:
> # free -m
total used free shared buff/cache available
Mem: 64151 990 63526 3 180 63161
Swap: 0 0 0
> # arc_summary |grep -i cach
Most Frequently Used (MFU) cache size: 12.6 % 6.5 MiB
Most Recently Used (MRU) cache size: 87.4 % 45.3 MiB
Metadata cache size (hard limit): 75.0 % 23.5 GiB
Metadata cache size (current): 0.2 % 58.0 MiB
Dnode cache size (hard limit): 10.0 % 2.3 GiB
Dnode cache size (current): 0.1 % 3.2 MiB
L2 cached evictions: 0 Bytes
Cache hit ratio: 12.9 % 40.8k
Cache miss ratio: 87.1 % 274.1k
Cache hits by cache type:
Cache hits by data type:
Cache misses by data type:
spl_kmem_cache_kmem_threads 4
spl_kmem_cache_magazine_size 0
spl_kmem_cache_max_size 32
spl_kmem_cache_obj_per_slab 8
spl_kmem_cache_reclaim 0
spl_kmem_cache_slab_limit 16384
dbuf_cache_hiwater_pct 10
dbuf_cache_lowater_pct 10
dbuf_cache_max_bytes удалил_цифры_из-за_спамлиста
dbuf_cache_shift 5
dbuf_metadata_cache_max_bytes удалил_цифры_из-за_спамлиста
dbuf_metadata_cache_shift 6
spa_config_path /etc/zfs/zpool.cache
zfs_metaslab_max_size_cache_sec 3600
zfs_nocacheflush 0
zfs_vdev_cache_bshift 16
zfs_vdev_cache_max 16384
zfs_vdev_cache_size 0
zil_nocacheflush 0
VDEV cache disabled, skipping section
качаю его же на другой сервер.
rsync:
529,334,272 0% 45.88MB/s 1:23:13 ^C
scp:
sdb2.bin 0% 365MB 36.3MB/s 1:42:50 ETA^C
- скорость 300-400 мегабит.
кладу кусок этого файла в оперативу на бэкап сервере
> # mount -o remount,size=60G /dev/shm
> # dd status=progress bs=1M count=50k if=sdb2.bin of=/dev/shm/temp.bin
удалил_цифры_из-за_спамлиста bytes (54 GB, 50 GiB) copied, 293.215 s, 183 MB/s
- скорость чтения полтора гигабита в секунду.
качаю этот кусок на другой сервер
rsync:
temp.bin
удалил_цифры_из-за_спамлиста 7% 501.85MB/s 0:01:36 ^C
scp:
temp.bin 7% 3648MB 431.2MB/s 01:50 ETA^C
чтение из оперативы бэкап сервера = 3-4 гигабита, чтение с жёсткого диска бэкап сервера и передача по сети = 300-400 мегабит.
причём если читать с жёсткого диска и НЕ передавать по сети, а класть в оперативу или дропать в /dev/null, то скорость выходит от 1 гигабита >>24319
> = запись 3+ гигабита, чтение 1 гигабит
> тут почему-то чтение вышло в 3 раза быстрее, чем рсинкать на другой сервер.
до 2 гигабит
> чтение с диска почти 2 гигабита в секунду, и прочитано уже больше данных, чем у сервера оперативы.
подведу итоги:
- если читать данные с оперативы и передавать по сети, то скорость будет 3000-4000 мегабит
- если читать данные с ZFS и НЕ передавать по сети, то скорость будет 1000-2000 мегабит
- если читать данные с ZFS и передавать по сети, то скорость падает до 300 мегабит и выше 400 не поднимается.
пиздец, короче. кто виноват и что делать?
360x404, 0:01
> # dd status=progress bs=1M if=./sdb2.bin of=/dev/null
> 85548072960 bytes (86 GB, 80 GiB) copied, 419 s, 204 MB/s
чтение с диска почти 2 гигабита в секунду, и прочитано уже больше данных, чем у сервера оперативы.
пруфы того, что он не в кэше:
> # free -m
total used free shared buff/cache available
Mem: 64151 990 63526 3 180 63161
Swap: 0 0 0
> # arc_summary |grep -i cach
Most Frequently Used (MFU) cache size: 12.6 % 6.5 MiB
Most Recently Used (MRU) cache size: 87.4 % 45.3 MiB
Metadata cache size (hard limit): 75.0 % 23.5 GiB
Metadata cache size (current): 0.2 % 58.0 MiB
Dnode cache size (hard limit): 10.0 % 2.3 GiB
Dnode cache size (current): 0.1 % 3.2 MiB
L2 cached evictions: 0 Bytes
Cache hit ratio: 12.9 % 40.8k
Cache miss ratio: 87.1 % 274.1k
Cache hits by cache type:
Cache hits by data type:
Cache misses by data type:
spl_kmem_cache_kmem_threads 4
spl_kmem_cache_magazine_size 0
spl_kmem_cache_max_size 32
spl_kmem_cache_obj_per_slab 8
spl_kmem_cache_reclaim 0
spl_kmem_cache_slab_limit 16384
dbuf_cache_hiwater_pct 10
dbuf_cache_lowater_pct 10
dbuf_cache_max_bytes удалил_цифры_из-за_спамлиста
dbuf_cache_shift 5
dbuf_metadata_cache_max_bytes удалил_цифры_из-за_спамлиста
dbuf_metadata_cache_shift 6
spa_config_path /etc/zfs/zpool.cache
zfs_metaslab_max_size_cache_sec 3600
zfs_nocacheflush 0
zfs_vdev_cache_bshift 16
zfs_vdev_cache_max 16384
zfs_vdev_cache_size 0
zil_nocacheflush 0
VDEV cache disabled, skipping section
качаю его же на другой сервер.
rsync:
529,334,272 0% 45.88MB/s 1:23:13 ^C
scp:
sdb2.bin 0% 365MB 36.3MB/s 1:42:50 ETA^C
- скорость 300-400 мегабит.
кладу кусок этого файла в оперативу на бэкап сервере
> # mount -o remount,size=60G /dev/shm
> # dd status=progress bs=1M count=50k if=sdb2.bin of=/dev/shm/temp.bin
удалил_цифры_из-за_спамлиста bytes (54 GB, 50 GiB) copied, 293.215 s, 183 MB/s
- скорость чтения полтора гигабита в секунду.
качаю этот кусок на другой сервер
rsync:
temp.bin
удалил_цифры_из-за_спамлиста 7% 501.85MB/s 0:01:36 ^C
scp:
temp.bin 7% 3648MB 431.2MB/s 01:50 ETA^C
чтение из оперативы бэкап сервера = 3-4 гигабита, чтение с жёсткого диска бэкап сервера и передача по сети = 300-400 мегабит.
причём если читать с жёсткого диска и НЕ передавать по сети, а класть в оперативу или дропать в /dev/null, то скорость выходит от 1 гигабита >>24319
> = запись 3+ гигабита, чтение 1 гигабит
> тут почему-то чтение вышло в 3 раза быстрее, чем рсинкать на другой сервер.
до 2 гигабит
> чтение с диска почти 2 гигабита в секунду, и прочитано уже больше данных, чем у сервера оперативы.
подведу итоги:
- если читать данные с оперативы и передавать по сети, то скорость будет 3000-4000 мегабит
- если читать данные с ZFS и НЕ передавать по сети, то скорость будет 1000-2000 мегабит
- если читать данные с ZFS и передавать по сети, то скорость падает до 300 мегабит и выше 400 не поднимается.
пиздец, короче. кто виноват и что делать?
Да уж...
А что по железу? ЦП, опера сетевуха?
Можно ещё MTU везде на максимум выставить, да совсем немного, но прирост будет...
относительно современное, деллы 14го поколения с ксеноном е-21хх е-22хх е-23хх и оперативой 2666-3200, сетевуха встроенный броадком гигабит медь и соларфлейр 10 гбит оптика.
от мту толку не будет, дело в хардах:
> - если читать данные с оперативы и передавать по сети, то скорость будет 3000-4000 мегабит
>> - если читать данные с оперативы и передавать по сети, то скорость будет 3000-4000 мегабит
Если для ддр3 - то да. ддр4 уже должен десятку тянуть.
>Обязательно ли все диски должны быть одинакового размера
Не обязательно, но крайне желательно.
> Где почитать
В интернете.
> Обязательно ли
Почитаешь - узнаешь.
Если у тебя весь рейд будет меньше объема одного современного жесткого диска, то выкини/продай свои диски и купи один-два новых диска нужного объёма.
>ддр4 уже должен десятку тянуть
А DDR3 не может раскрыть 10Гигабит? Или в чём то другом проблема? А то скоро обновляться, не хотелось бы бутылочных горлышек.
мимодругойанон
пчел, мне хотя бы 3 гигабита вместо 300 мегабит получить, я уже пиздец как счастлив буду
>ддр3 безнадёжно устарел, не надо на него обновляться.
Да я понимаю, просто хочу понять как влияет.
У меня сейчас хранилка на старом железе - дэдээр 3 32Гб и 10Гигабит, вот и думаю обновлять платформу, или только диски.
Не знаю что вы все паритесь. Я 2,5 диски использую только под не важные, временные файлы, а точнее - в качестве прокладки между кудактером и зомбоящиком.
Взял из стопки самый объёмный, подключил, а он пищит, но даже не раскручивается, отключил, уебал пару раз по боковине, подключил обратно и начал крутить, видимо головка залипала. Проверил его - сыпется, ну и хуй с ним, подумал я и залил на него mkvшки. Ну и вот уже несколько лет служит прокладкой, сдохнет - вообще по хуй.
Просто не пойму на кой столько ебли на пустом месте себе устраиваете? Если посыпался - смирись и храни то что не жалко потерять, диск всё сам сделает, если нужно будет, тем более что это обычный расходник.
Да это не мой диск, знакомого. Перед тем как ему отдать думал может заремапить попробовать чтоб лучше работал.
*ёбаные кривые мои пальцы.
Спасибо.
в интернете сказали, что это рекомендуется для больших файлов, а у меня там в основном большие.
Это ещё покажи под нагрузкой
zpool iostat -v 5
zpool iostat -w 5
Ну и я зачем-то верю, что ты не даун и проверил все смарты
> ashift=12
>WD Ultrastar DC HC550 16TB
https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/data-center-drives/ultrastar-dc-hc500-series/product-brief-ultrastar-dc-hc550-gov.pdf
У тебя 4к диски. Зачем бездумно копируешь из инета?
>10 гигабит и ддр3 вытянет
Когда нужно было в своё время сделать этот подвиг - заебался приседать перед довольно неплохим железом в то время. Лучше не стоит заниматься некрофилией, закопайте стюардессу.
2^9=512
в результате, что btrfs оказалось говном мочи, что xfs, что zfs, только с ext4 всё работает из коробки, быстро, стабильно, и без танцев с бубном.
>у меня на древних серверах 6 гбит вытягивало c ext4 без особых приседаний. ты случайно не с zfs заебался?
dpdk, fullstate фаервол на серваке собирал
хуя ти, ну у меня там простая вебня была.
хуйней какой-то занимаешься. если жесткий умирает, сливай образ на такой же живой диск и там сканируй р-студией. если не умирает, сканируй прям с него той же р-студией. никаких дней и недель на живом жестком быть не должно, а если ему пизда, то дрочить его всякими сканированиями затея не оч
Как понять какой тип рэйда использовать и сколько дискового пространства брать в расчет? Блурэй рипы доходят до 100гб плюс нужно хранить бэкапы с рабочего ноута и иногда делать бекапы системы + телефона. Не хочется сильно тратиться на диски, т.к. если брать в расчет комбинированный юзкейкс когда диски используются как медихранилище и хранилище фоток/документов/бэкапов, то брать тип рейда где зеркалируются данные из расчета потери 50% дисков слишком накладно. Про 3/2.1 в курсе
Может оно тебе и не надо вообще, раз про 3-2-1 в курсе и хранишь блурей рипы?
Вообще же 2025 год, софтовые массивы, софтовые массивы делаются не из дисков, а из разделов, сто мегабайт (или сколько там тебе надо) раздел под документы делаешь и получаешь хоть десятикратное резервирование вообще без потерь. Ну и дальше по тому же принципу для фоточек раздел и так далее.
Норм вариант для файлопомойки? Только мне кажется он какой-то бракованый, раз последний был
Ну через 2 дня заберу, узнаю. Они же в теории должны принимать возвраты, если я просто викторией проверю и мне что-то там не понравится?
А еще, а еще в попу давать!
по китайским тошибам последние лет пять статистика печальная у меня, следи за смартом, будь готов отдавать по гарантии даже в первые месяцы
>Toshiba
Спустя 2,5 лет начала срать перенесенными секторами, за пол-года уже 22 штук. Если ничего не скачивать и не удалять - то ничего не меняется. Но если перевалит за 40 - куплю новый, ну его нахуй.
>порекомендуете
Ультрастары конечно же.
>тихие
Это понятие относительное. Ты уж реши, надёжность, скорость и объём, или "относительная бесшумность". Если денег - куры не клюют, то сосоди, он бесшумный и надёжный.
> каких производителей
Можно подумать у тебя есть выбор дохуя производителей. Сигей, вд, тошиба хэнди бук. Всё. Шо то говно, шо это говно... Везде сектанты. У одних сигейт отъебнул двадцать лет назад и они больше никогда его не возьмут. У других вд из магазина не завёлся. Третьи уронили работающий диск со стола и теперь считают что все хдд говно.
Я набрал сигейт эксос 16 тб с авито и доволен. Продублировал. Работают.
> тихие
Нет таких. Есть сигейт айронвульф 2 ТБ, именно 2 тб. Он тихий, тише чем все остальные 3,5" диски на 2 тб и больше. Я бы сказал что два таких диска тише чем один на 4 тб.
Хочешь тишины - бери ссд. Дорого, но совершенно бесшумно. И быстро, фоточки листать без задержки охуенно.
Я сейчас взял сасунг 4 тб, с авито естественно. Как же стало тихо! Это просто охуенно!
Привет, анончик.
Какого объема HDD можно подключать к современным телевизорам? У меня ТВ Samsung 2012 года, он читает HDD объема 3 ТБайт максимум. У меня есть HDD 2.5'' на 5 ТБайт. Он подойдет к каким-нибудь современным телекам? Какие еще могут быть требования в 2025 году от телевизора к внешнему ЖД (по файловой системе, GPT/MBR и т.д.)??
Хуй знает что у тебя за телевизор. Я к телефону самсунг с10е подключал сигейт 2,5" 5 тб без дополнительного питания, по-моему нужен был плугин к тотал коммандеру для работы с нтфс, но я не помню, оно мне никогда не надо было.