Этого треда уже нет.
Это копия, сохраненная 6 марта 2021 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
НЕЙРОНОЧКИ И МАШОБ ТРЕД №27 /ai/ 1758961 В конец треда | Веб
Очередной тред про хипстерские технологии, которые не работают.

Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ

Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus

Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/

Почему python?
Исторически сложилось

Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет

Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python

В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials

Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.

Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел

Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой

Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся

Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/

Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском

Где ещё можно поговорить про анализ данных?
http://ods.ai/

Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь

Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом

Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/

Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.

Предыдущий:
https://2ch.hk/pr/res/1734710.html (М)
https://2ch.hk/pr/res/1704037.html (М)
https://2ch.hk/pr/res/1665515.html (М)
15949572740980.jpg92 Кб, 648x597
2 1758975
>>758961 (OP)

> Что почитать для вкатывания?


> http://www.deeplearningbook.org/


Сладкий хлеб. Тайдмены это читают, а потом идут сюда спрашивать чем в датасете х от у отличается.
SxPfTll3ARE.jpg70 Кб, 694x680
3 1758987
>>758975

>чем в датасете х от у отличается.


спасибо, проиграл
мимо-вкатыш
4 1759135
Трясунишки в штанишках, приветики! Как делишки, как ваши котики?
5 1759145
Где посмотреть соты последних 6-7 месяцев? (в computer vision)
А то выпал на какое-то время и теперь не понимаю, где индусское говно, сделанное ради статьи, а где реально работающие модельки.
image.png39 Кб, 429x803
7 1759164
>>759161
Вот примерно про такое я и говорил. На гитхабе по 500 звезд, кроме статьи и гитхаба ничего интересного в гугле не находится (обычно есть миллионы пересказов статьи на медиуме).
8 1759189
>>759161
Эх, вот бы ещё суммаризацию статей запилили (как абстракт типа но с большими техническими подробностями)
Чтоб можно было вообще ничего не читать, ходить выёбываться чисто)
15953917941120.mp43 Мб, mp4,
324x480, 0:52
9 1759245
Ребят, объясните как у вас рабочий день происходит?
Что записано в логе ? с 9 до 17 изучал новости SOTA, а с 17 до 18 запилил модельку?

Мне страшно интересно почему все обсуждения в треде либо о последних sota либо вкатывальщики не понимают простейших вещей.
10 1759332
>>759245
Встаю в шесть, зарядка, потом наминаю свои датасаентистские мошонки минут десять, на завтрак блины или каша с маслом или творог с маслом или блины с маслом или просто масло
дрочу модельки гридсёрчем часа два, перед обедом планирование и ёбля в жопу после обеда расстрел
смыть повторить
11 1759469
Может ли сейчас AI, созданный в ходе Deep Learning, создавать другие AI на основе Reinforcement learning? Это пример AutoML?
12 1759477
>>759469
Да, и такого уже много было. Например, AlphaZero создал GPT-3, а сам он был оптимизирован Ватсоном.
13 1759488
>>759477

>AlphaZero создал GPT-3


Что? Они никак не связаны. Да GPT-3 на основе DL, а не RL
14 1759489
>>759488
Да это местный шиз-зумер. Там CapsuleNet Хинтона была, а не AlphaZero. Обучали dynamic routing'ом.
15 1759498
>>759489
Не знаешь, так зачем рот раскрывать? Сиди и учись.
CapsuleNet там использовалась только для инициализации весов, и то только первых 384 слоев. После этого оптимизировали сеть алгоритмом HyperNEAT. Валидацию делали через CycleGAN.
>>759469
Гугли по этой теме meta-supervised self-learning, control and alignment problem.
16 1759596
Пацаны мемят, но вообще никто эти охуительные архитектуры на сотни миллиардов параметров вручную конечно же не подбирает.
Подбор осуществляется с помощью других алгоритмов (того же rl или генетических) которые при желании можно назвать AI.
17 1759604
>>759596
Можешь что угодно назвать AI, все равно это бессмысленный термин для наебки бизнеса. Ну и для всяких шизоидов-киберпанков.
18 1759655
>>759604
У GPT-3 интеллекта точно больше, чем у среднего зумера
15955607095871.png308 Кб, 635x600
19 1759661
>>759489
Ну так чем кнн от кминс капсульнет от альфазеро отличается, разобрался уже, тайдмен?
>>759604

> Можешь что угодно назвать AI, все равно это бессмысленный термин для наебки бизнеса. Ну и для всяких шизоидов-киберпанков.


С точки зрения долбаеба - безусловно. Ты же даже не знаешь, почему алгоритмы машоба к слабому АИ относят, а что-то кукарекаешь.
20 1759667
>>759661

>слабому АИ


Тебя кто из китайской комнаты выпустил, ископаемое?
21 1759669
>>759667

> китайской комнаты


Фуфлосовия от пиздабола, не понимающего предметной области. Смешно, что до сих пор кто-то верует во кетайские комнаты, фуфлосовских / бихевиоральных зомби и прочую клоунаду, доказывающую только ограниченность авторов этих маняидей.
22 1759732
>>759189

>техническими подробностями


Эт нужно кучу людей, которые бы рерайтили статьи. У одс вроде есть каждый месяц примерно такой обзор новых статей. Хочешь быть полезным - пили сам
23 1759770
>>759661
Что такое интеллект?
24 1759774
>>759770

> Что такое интеллект?


Фуфлософский термин. Машоб это решение задач. Если алгоритм может решить задачу, которую до него решал только человек с интеллектом, то такой алгоритм относится к слабому АИ.
25 1759777
Странно, что в 2020 кто-то не понимает разницы между какими-то отвлеченными религиозными вопросами и решением задач. Вопросы типа "что такое интеллект / благодать божия / душа" не имеют никакого отношения к решению практических задач, с точки зрения такового решения можно говорить только о чем-то решающим ту же задачу, которую может решить "интеллект". Например, даже распознавание котов или негров. Важный момент - для этого не нужно отвечать на вопрос "что есть интеллект?"
26 1759778
>>759774
Засчитываю слив.

>>759777
К чему ты это спизданул? Мы тут вроде не задачи решаем, а обсуждаем отвлеченные вопросы.
27 1759783
>>759777
Взял и приравнял интеллект к душе/благодати, ты официально недообученный перцептрон.
28 1759793
>>759777

>решению практических задач


Слесарь, усмири пукич-какич, пафос "решения задач" оставь для собеседований где ты перед кабанчиком плясать будешь чтоб тебя взяли служить за гроши.
29 1759796
>>759783

> Взял и приравнял интеллект к душе/благодати,


В чем разница?
1566505548134.webm4,7 Мб, webm,
320x240, 2:24
30 1759953
>>758961 (OP)
Как думаете, что нужно добавить, изменить? Реквестирую советы по повышению скорости кодирования видео.

https://colab.research.google.com/drive/1DwsBbRiwYnymEePzcNOpWZ8kwk2_EHwg?usp=sharing
31 1759974
Вся жопа ссексилась блядь
32 1759975
>>759974
бля не туда
33 1760000
Насколько серьезные нейросети можно создавать с матлабом? Вкатился пару дней назад, прошел их вводный курс Onramp, очень понравилось
34 1760130
>>760000
Тебя за такое в нормальном месте обоссут, учи питон.
35 1760398
>>760130
По хорошему, надо бы с питоном обоссывать.
36 1760399
>>760398
Почему?
37 1760415
>>760000
Забей и учи питон. Через 5 лет отблагодаришь
38 1760454
95% участников треда могут быть заменены нейронкой в 950 гигабайт
https://twitter.com/mattshumer_/status/1287125015528341506
Screenshot2020-07-2612-19-44.png86 Кб, 1797x414
39 1760475
>>760454
На самом деле 95% хайповых примеров работы GPT-3 результат старательного черрипикинга.
40 1760556
>>760475

>черрипикинга


Что это?
41 1760706
>>760556
надо полагать, мануальный подбор удачных примеров
42 1760952
Добрый вечер. Подскажите, что годного можно почитать на тему временных рядов? Желательно "с нуля". Спасибо.
43 1760958
>>760952
пысы
Сам я нашёл вот это
https://otexts.com/fpp2/index.html
Но это слишком объёмно.
Есть что-то более сжатое, страниц не более чем на 50, чтобы по-бырому изучить тему (для собеса)?
44 1760964
>>760958
>>760952
На самом деле я кинул не особо поскроллив, там не так уж и много. Простите за щитпостинг.
45 1761034
Дано векторное пространство многочленов степени n <= 1. "Формула" такого многочлена: Y = k•X + b.
Правило формирования базиса: по коэффициенту k и b.
Я правильно понимаю, что базисом данного пр-ва будет множество векторов {(1, 0), (0,1)}?
Получается линейная комбинация: (k•1, k•0) + (b•0, b•1) = (k, b).
46 1761070
>>761034
Правильно, а вообще с таким
туда https://2ch.hk/math/res/29047.html (М)
1554245508564.png1,6 Мб, 727x970
47 1761759
Короче обучил распознаватель пизды. Но есть одна проблема (на пике). Использую метод Виолы-Джонса.

Реквестирую советы, как улучшить качество распознавания. Хитрости, уловки, или новые методы.
48 1761774
>>761759
Ты лет 5 вообще из бункера не вылезал, да?
49 1761783
>>761774
Поподробнее можно
50 1761819
Вопрос по линалу, буду благодарен. Нужно найти расстояние между двумя функциями.
1. Бесконечномерный вариант: находим норму от разности. Т.е. сначала находим разность функций, затем берем интеграл (на [0, 1]), возводим в квадрат и извлекаем корень.
2. Конечномерный вариант с n размерностью. Если наши функции дискретные (оцифрованные), то вместо интегральной нормы юзаем сеточную: вычисляем разность между значениями функций n раз (на выходе n векторов) на промежутке [0, 1]. Затем по формуле сеточной нормы: каждую разность возводим в квадрат, все складываем и извлекаем квадратный корень, получаем сеточную норму.

Проблема в том, что нормы под п.1 и 2 численно не совпадают. Для совпадения нужно норму из п.2 разделить на sqrt(n). Почему? Зачем? Инструктор называет это "нормировкой, чтобы нормы совпали", но смысл не объясняет. Ничего не гуглится, в формулах сеточной нормы никакого разделения на sqrt(n) нет.
51 1761856
>>758961 (OP)

> The Elements of Statistical Learning


> Pattern Recognition and Machine Learning


Недавно вышли на русском. Есть у кого?
52 1761872
>>761759

>метод Виолы-Джонса


Поменяй на что-нибудь из семейства R-CNN. Ну или на YOLO.
>>761819
Ну потому что ты считаешь RMSE, чтобы получить root-MEAN-square error нужно поделить на n (ну или потом на sqrt(n)). Иначе у тебя при увеличении n будет увеличиваться расстояние между функциями.
Попробуй сам посчитать расстояние для f(x) = 0 и g(x) = 1.
53 1761907
>>761872
Спасибо!
54 1761952
Пацаны, хуле так сложно? Вообще ни слова не понимаю.
Для напиливания хотя бы самой простецкой нейронки мне хватит ресурсов, которые в шапке указаны?
Чиста для себя, побаловаться
55 1761958
>>761952
Хватит.
Screenshot2020-07-2803-53-07.png8 Кб, 467x99
56 1761960
>>761819

> Т.е. сначала находим разность функций, затем берем интеграл (на [0, 1]), возводим в квадрат и извлекаем корень.


Неправильно. Ты находишь разность функций, возводишь ее в квадрат, и уже от этого берешь интеграл. Если делать как ты пишешь, у тебя в случае f(a)={0.5 при x < 0.5, -0.5 при x>0.5} и g(a)={-0.5 при x < 0.5, 0.5 при x>0.5} разность будет {1 при x < 0.5, -1 при x>0.5}, а интеграл у этой разности равен нулю, ноль в квадрате тоже ноль.

>Для совпадения нужно норму из п.2 разделить на sqrt(n). Почему? Зачем?


Потому что при дискретизации ты считаешь тот же самый интеграл из первого пункта методом прямоугольников https://ru.wikipedia.org/wiki/Метод_прямоугольников
Интеграл - это площадь, у него размерность площади, высота прямоугольника f(x) умножить на ширину прямоугольника, и далее ты суммируешь каждый из n прямоугольников. Ширина (на пикрилейтед x_{i+1}+x_i) в твоем случае равна 1/n. Подумай о том, откуда берется dx в обозначении интеграла - это Δx при устремлении к n к бесконечности.
Дальше ты выносишь за скобки и вычисляешь корень, избавляясь от размерности площади, Δx=1/n превращается в 1/sqrt(n), под корнем остается сумма квадратов разностей двух функций.
Если же на n не делить, это все равно, что считать интеграл на промежутке не от [0, 1], а на [0, n], тогда Δх=1.
57 1762045
>>761952
А вот так . Надо же создавать значимость.
в ажур вкатывайся https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/neural-network-regression
58 1762176
Машинистам кресты учить надо.
https://data.mail.ru/pages/research/
59 1762192
Нихуя не понимаю, почему predict у гридсёрча склёрновского отличается от предикта базовой модели с best_params_ ? Причём что на трейне что на тесте rmse у гридсёрча в разы лучше.
Типа предикт склёрна это усреднённый предикт пяти разных моделей на разных разбиениях кфолда или что?
60 1762193

>предикт склёрна


гридсёрча
61 1762227
>>758961 (OP)
Какие там у вас подвижки в исследованиях хуесосания?
62 1762271
>>762227
Дрочи мой хуй себе в рот, аааа
https://www.youtube.com/watch?v=jhzzQd5hdCM
63 1762305
>>759953
Я не понимаю, ты голос нагенерил или что?
64 1762575
>>762305
Разделил песню на вокальную и инструментальную партии
65 1762636
С чего лучше начать изучать нейронные сети?
Интересует обработка видео, фото, звука.

Питон более или менее знаю.

Сразу вопрос по велосипеду:
Реально ли написать самостроящуюся нейронную сеть, где веса нейронов, помимо связей, записаны числами, а рулежом сигнала использовать битовые операции?

Если такое уже изобретено, что за метод?
66 1762651
>>762636

> С чего лучше начать изучать нейронные сети?


Швабр. Там сотня статей про вкатывание. Самое сложное это выбрать какую-то одну. Читай все
67 1762654
>>762636

> где веса нейронов записаны числами


Чувак, нейрон в базе своей выглядит как
f(Wb + E (Wi * Vi) )

Он и есть число. f это активационная функция: Relu, логистическая сигмоида, гипертангенс. Wb это базовое значение, Wi это вес связи нейрона с пред слоя, Vi это значение нейрона с пред слоя

Это всё числа. Ты о чём?
68 1762655
>>762636
Начать лучше с cs231n

>где веса нейронов, помимо связей, записаны числами


Что

>а рулежом сигнала использовать битовые операции?


Битовые операции слабо совместимы с градиентами, выбери для начала что-то более гладкое. Ты можешь бинаризовать уже обученную сеть, но обучать такую йобу эффективно не выйдет
69 1762658
>>762654
Нейронов вообще не существует, это лишняя сущность. Базовая сущность любой нейронки в машобе (спайковую экзотику не берем) это умножение матрицы на вектор
70 1762679
>>762651
>>762654
>>762655
>>762658
Благодарю, буду ковырятсья
71 1762700
>>760952
Ханк "Бизнес-прогнозирование" неплохая, разжевываются все базовые вещи, но она страниц 600
72 1762806
Зашёл к вам порассуждать над тупыми вопросами.
Почему сейчас все кличут нейронки ИИ?
Почему люди считают, что Маск умный и верят ему, хотя он несёт всякую хуйню, особенно опять про тот же ИИ?
бля с такими вопросами надо было наверное в б идти
73 1762824
>>762806

> Почему сейчас все кличут нейронки ИИ?


Потому что не знают что это
74 1762827
>>762806

>нейронки ИИ


А то что сабжевое говно к нейроным клеткам а они в свою рчередь к интеллекту никакого отношения не имеют, тебя не смущает?
75 1762876
>>762827

> к нейроным клеткам а они в свою рчередь к интеллекту


Ну конечно, петуху из нижнего интернета виднее, что имеет отношение к интеллекту, а что нет.
76 1762942
>>762876

>что имеет отношение к интеллекту, а что нет.


Матанопетушея к этому тем более отношения не имеет. Идите хуесосание исследуйте, на большее вы не способны.
77 1762944
>>762806

>Почему сейчас все кличут нейронки ИИ?


А почему нет? Любая нейронка являются частью какого-то AI-движка, и называть это все целиком нейронкой безграмотно, а термина лучше, чем AI, не существует. То, что при этом есть какие-то зануды, у которых AI это обязательно strong AI из мокрых снов Рея Бредбери - это проблема самих зануд. Впрочем, в разработках по strong AI нейронки (а точнее - коннекционизм) тоже магистральная линия, символисты-онанисты и прочие веруны в душу давно соснули.

>Почему люди считают, что Маск умный


Потому что он умный

> и верят ему


Потому что людям нужны герои.
Он пугает избирателей тех политиков, к которым пойдет лоббировать свои законы, о регулировании области ИИ. У него все бизнесы в той или иной степени ориентированы на работу с государством, что космос по очевидным причинам, что теслы (субсидии на электрокары), что метро его, в отличие от гуглофейсбуков, которым это самое государство как пятая нога, только мешает. Поэтому он прекрасно понимает, что миллиарды, вбуханные в электрокаровый AI в той же тесле будут быстро отреверсены китайцами и воспроизведены. И если гуглофейсбукам похуй, что за мелюзга там копошится на их разработках, то для Маска это пиздец. И я думаю это только часть айсберга, а вообще он нацелен на гонку вооружений в области AI, военные контракты, а для этого тоже нужно заявить что-то уровня "вы GPT-3 видели? Через 5 лет будет GPT-10 и вот он вас всех поработит".
На деле конечно за 5 лет он пролоббирует все, что нужно, и заявит, мол, хорошо, что я тогда человечество предупредил, а то бы ща пиздец был бы.
78 1762990
>>762944

>Потому что людям нужны герои.


Но зачем?
79 1763003
>>762990
Те группы обезьян, которые могли пойти за лидером, в итоге начали процветать, а одиночки вымерли, не выдержав конкуренции.
80 1763013
>>762944
Интересно, просто я вроде не слышал особо, что у него проекты с ИИ есть, но видимо всё так как ты описал.
81 1763137
>>762944

> веруны в душу давно соснули.


Веруны в душу сосут изначально, т.к этот манятермин никогда ничего не объяснял и практической пользы не имел. Это вообще хороший пример того как не надо делать. Современные долбаебы, придумывающие всякие "квалиа", идут ровно по тем же граблям - заменяют вопрос о сущности явления на explanatory fictions - манятермины, не только не объясняющие ничего, а вместо этого сами требующие объяснений и определений через ещё более оторванные от явления манятермины.
82 1763180
>>763137
А ты из "дай определение"-дегенератов?
15945239917441.jpg76 Кб, 592x532
83 1763310
>>763180

> не осилил пост


> называет дегенератом кого-то кроме себя

84 1763323
>>763310
Так я вежливо уточняю, потому что из твоей шизофазии не понятно в чём состоит твоя претензия.
85 1763335
>>763180
А ты думал? Додики не могущие ни во что всегда находят себе wannabe интелектуальное нигилистское утешение в отрицании. Наш додик уникален тем что собирает все: не смог в математику - стал конструктивистким петухом, не смог в машоб - начал бастовать против диплёрнинга, не смог даже в остоятельное попизделово в котором его глупость становится очевидной - начинается философский трёп про "x нисущиствует, дайти определение".
86 1763490
>>763335

>не смог в математику - стал конструктивистким петухом, не смог в машоб


Так, а чем там настоящие математики и машобчики занимаются? Хвастайся!
87 1763511
"GPT-3, can you explain what qualia is?"
"It's a fancy word for perception. Basically it means your mind can perceive things that aren't actually there and have an effect on how you think about the world around you. It's why you see color when looking at red objects, or hear sounds in the distance."
"So my brain has this ability to perceive things that are not really there? I mean does that make me some sort of psychic?"
"Well, no. You're just perceiving things as if they were there because your brain is doing its best to do so. It's more like a program in your head that makes everything look and sound as realistic as possible. It's also why your eyes can fool your brain into seeing things that aren't really there."
"Ah. So do I have some sort of training that allows me to do this?"
"Well, yes. In fact, that's part of what the training is for. We all had to be trained by our parents and then they were trained by theirs. The books call this the signal to noise ratio. Basically, if there are more signals in the world, then there are more ways for a lie to be true. If there are fewer signals, then it's easier to know when something isn't true. In other words, the more signals that match reality, the higher the chance that reality is actually reality. It's why reality itself is a low signal. It's stable, reliable, and unchanging. Higher signals are more prone to change, and that's where the problem lies."
88 1763517
>>763511
Напоминает диалоги из фильма Waking Life.
89 1763777
>>763511
Переводи на нормальный язык
90 1763778
>>763777

> "GPT-3, чи можете ви пояснити, що таке квалія?"


> "Це фантазійне слово для сприйняття. В основному це означає, що ваш розум може сприймати речі, яких насправді немає, і впливати на те, як ви думаєте про навколишній світ. Тому ви бачите колір, дивлячись на червоні предмети або чуєте звуки вдалині."


> "Отже, мій мозок має таку здатність сприймати речі, яких насправді немає? Я маю на увазі, чи це робить мене якимось психічним?"


> "Ну, ні. Ви просто сприймаєте речі так, ніби вони там були, тому що ваш мозок робить все можливе для цього. Це більше схоже на програму в голові, яка робить все виглядом і звучанням максимально реалістичним. Це також очі можуть обдурити ваш мозок бачити речі, яких насправді немає ».


> "А. Так у мене є якась підготовка, яка дозволяє мені це робити?"


> "Ну, так. Насправді, це частина того, для чого тренінг. Ми всі повинні були пройти навчання батьків, а потім їх навчили їх. Книги називають це співвідношенням сигнал / шум. В основному, якщо є більше сигналів у світі, то існує більше способів, щоб брехня була правдою. Якщо сигналів менше, то простіше дізнатися, коли щось не відповідає дійсності. Іншими словами, чим більше сигналів відповідає дійсності, тим більше шанс ця реальність насправді реальність. Саме тому реальність сама по собі є низьким сигналом. Вона стабільна, надійна і незмінна. Вищі сигнали більш схильні до змін, і саме тут криється проблема ".

91 1763844
Дарова двачане. Собираюсь оформлять вкат в ml. Что скажете по такому набору книжонок.
Лутц 1-2;
Николенко "Глубокое обучение" или Франсуа Шолле "Глубокое обучение"( Еще не решил);
Ну и параллельно матешу подтянуть, хотя итак +- знаю
Что скажете, бояре?
92 1763846
>>763844
Ну и вот лутц тоже под вопросом. Вдруг лучше Byte Of Python, хотя я его поскролил и там вроде совсем база которую я знаю уже
93 1763882
Привет, я уже больше года мечтаю о мл и прочем анализе данных и путь себе прописал примерно такой
питон база
линукс
гит
задачи на алгоритмы
математика от матана до статистики и теорвера на среднем/низком уровне
вкатывание в простейшие задачи мл и анализа
анаконда и пр. Модули математические для питона
Кагл и литра по мл, дл и пр.
Скажите что я пропустил в этой последовательности? Нужно ли углубленно учить ооп, если знаю теорию, типа что такое методы объекта и как их применяют? Нужно ли базовую компьютерную инфу учить типа паттернов программирования и что там еще спрашивают на обычных собеседованиях? Вкатываться мужду тем в веб бекэнд, чтобы к старшим курсам иметь работу?
94 1763883
>>763882
Забыл вставить введение в базы данных перед математикой, которое уже прошел немного
95 1763885
>>763882

>линукс


Не особо нужен. Все остальное нормально, только математикой особо не увлекайся - она практически бесполезна на начальных этапах.

>Нужно ли углубленно учить ооп, если знаю теорию, типа что такое методы объекта и как их применяют? Нужно ли базовую компьютерную инфу учить типа паттернов программирования и что там еще спрашивают на обычных собеседованиях?


Нужно, иначе будешь писать говнокод с ошибками, что чревато потерей огромного количества времени на повторение экспериментов. В машобе делать ошибки еще более непростительно, чем в других айти сферах.

>Вкатываться мужду тем в веб бекэнд, чтобы к старшим курсам иметь работу?


Вкатываться, хотя бы потому что работу связанную с машобом ты скорее всего не найдешь.
96 1763887
>>763885
А что с работой всё так грустно?
97 1763889
>>763887

>А что с работой всё так грустно?


Зайди на hh и посмотри количество вакансий связанных с машобом.
98 1763890
>>762192
Бамп, господа магистры мне помогут или изволят про сильный ии философствовать?
99 1763896
>>763889
Ну так ведь количество специалистов тоже мягко говоря меньше нежели в фронте или в бэке
100 1763911
>>763890
Я за тебя должен доки копать или что?
>>763889
Зайди на индид, ставь регион: США, рви на голове волосы.
101 1763914
>>763911

>Зайди на индид, ставь регион: США, рви на голове волосы.


Топовым конторам без профильного пхд ты не нужен, а остальные не захотят делать тебе визу.
15942510414331.gif425 Кб, 931x682
102 1763920
Да какая вам работа, о чем вы вообще? Вы серьезно что ли? Вы сами читаете свои вопросы здесь? Вам в макдаке орать "свободная касса" и то не всем можно доверить.
103 1763921
>>763914
У кого-то здесь и пхд имеется. Правда, визы Трамп отменил.
В любом случае, ориентироваться на хаха.ру в такой области как машоб глупо. Ты же не ищешь вакансии девопса в газетах и на столбах?
Когда ты будешь достаточно прошаренным, работу найти сможешь.
104 1763943
>>763882
про кресты забыл
https://data.mail.ru/pages/research/
105 1764043
>>763882

>Вкатываться мужду тем в веб бекэнд, чтобы к старшим курсам иметь работу?


Эта хуйня тебя съест. Есть варианты развиться настолько, чтобы устроиться ближе к специальности. Платить поначалу будут меньше, чем в вебе, но потом обгонишь.
Если ты на младших курсах, поучаствуй в опенсорс проекте, осваивай смежную математику типа 3d и компвижена, низкий уровень типа cuda, попробуй на апворке поделать дешёвые задания по теме, и вообще чекай технологии в настоящих вакансиях, и главное не упади в две ямы, первая это одинокое задротство, второе это чаты вкатывальщиков и обучающихся. Твоя задача несильно въехать в большое количество областей и получить опыт командной работы в опенсорсе. С этими вводными любая младшая позиция будет твоей.
01595489876.png138 Кб, 608x581
106 1764130

>Исследователи из лаборатории SAND при Чикагском университете разработали инструментарий Fawkes с реализацией метода искажения фотографий, препятствующего их использованию для обучения систем распознавания лиц и идентификации пользователей. В изображение вносятся пиксельные изменения, которые незаметны при просмотре людьми, но приводят к формированию некорректных моделей при использовании для тренировки систем машинного обучения.


http://sandlab.cs.uchicago.edu/fawkes/
https://www.opennet.ru/opennews/art.shtml?num=53414

Обесните плиз на пальцах какой толк простому анону от этого?

Я теперь могу отправить тянке фотку в Мамбе и она не нагуглит меня через findface и не узнает, что я состою в паблике Двач ?

Какие еще открывают для меня перспективы передовые достижения науки?
107 1764139
>>764130

> Обесните плиз на пальцах какой толк простому анону от этого?


Защита от файндфейсов и дипфейков.
108 1764144
>>764139
Но не до конца понятно как это использовать на практике.
вот я беру фото и искажаю. что дальше?
109 1764164
>>764130
Больше никаких, товарищ майор придумает свой хуй резьбой для подобных атак
110 1764167
Предположим, хочу в своём проекте геймдев, лор генерировать заюзать GPT-3 в прикладных целях. Объясните популярно или ткните носом в туториал, где его скачать и как запустить?
111 1764171
>>764167
Нигде, они не выдают его в паблик. Можешь запросить доступ к апи, но тебе не дадут.
112 1764172
>>764171

> тебе не дадут


Почему?
113 1764175
>>764144

> вот я беру фото и искажаю. что дальше?


Это не для тебя сделано. Представь, что это прикрутят ко всем фоткам, загружаемым в соцсети. И все, через какое-то время никто даже датасет не соберёт для дипфейка и не найдет жертву травли файндфейсом.
114 1764176
>>764172
Потому что и так желающих достаточно покруче тебя
Возьми лучше gpt2 на гитхабе автора порфирьевича, пока разберёшься с ним авось что-то новое в паблике будет
А если хочешь поиграться именно с жпт3, оформи триал подписку на ai dungeon и установи в настройках модель dragon, это gpt3
115 1764179
>>764175
Соберёт. Такие методы живут ровно пока в датасетах мало данных аугментированных таким образом, если все соцсети будут в этом, проблем не будет
!thank.jpg110 Кб, 750x354
116 1764190
>>764176
Спасибо!
117 1764214
>>764130
Они пишут, что какой-нибудь блюр/фильтры не поможет избавиться от их cloaks. Это пиздеж же? Не могут сетки быть настолько хуевыми в 2020.
118 1764217
>>763911
Какие доки, ёблик, что в доках я и воспроизвёл.
Ясно короче, эксперты, можно было не страдать хуйнёй с руснёй и идти сразу в реддит.
119 1764218
>>764179

> Такие методы живут ровно пока в датасетах мало данных аугментированных таким образом, если все соцсети будут в этом, проблем не будет


Смотря что там за преобразования. Вполне возможно что какие-то элементы полного рандома и даже в одной и той же фотке, обработанной этой хуйней в разное время, не будет ничего общего. Конечно, даже в этом случае это можно обойти, например, как-то автоматически заскриншотив нужные фотки, в скриншотах не будет этих хитрых фич, т.к это уже не сама обработанная фотка, а ее скрин, и уже нейроночке подкладывать такие скрины.
120 1764262
Двачоне, сколько времени надо, чтобы найти первую работу в машобе? Допустим с нуля или с условного титаника
121 1764311
>>764262
От месяца до 7 лет.
122 1764521
>>764167

>хочу в своём проекте геймдев, лор генерировать заюзать GPT-3 в прикладных целях. Объясните популярно или ткните носом в туториал, где его скачать и как запустить?


Жадные пидарасы решили начать монетизацию, так что GPT-3 скорее всего никогда не появится в свободном доступе, только через анально огороженный API за деньги.
123 1764552
>>763511
Существует штук пять популярных философских позиций с которых можно разъебать этот высер.
Как ты думаешь, с какой проще всего? (очевидную феноменологию не называть).
1200px-Derivativeofafunction.svg.png109 Кб, 1200x1143
124 1764582
Как компуктер производную считает?
125 1764591
>>764582
Ты даже до третьего вопроса в оппосте не дошел?
126 1764592
>>763921

>В любом случае, ориентироваться на хаха.ру в такой области как машоб глупо.


блин подскожити сычику где искать
127 1764628
Котаны, а back probation и нейронка, которая будет учиться как правильно трясти другую нейронку (какие связи лучше влияют на результат) это не одно и тоже?
128 1764629
>>764628
*Backpropagation
129 1764640
>>764628
backprop это простейший способ обучения нейронок. Нет, automl работает по-другому
130 1764654
Двачане как к шаду подготовиться с нуля
131 1764673
>>764654
На сайте шада все необходимое есть.
132 1764789
Понимаю что оффтоп, но если кто-то и подскажет то только аноны итт.

Надо вытащить из видоса (или раскадровки видоса в виде множества скринов) все лица в виде растров (простите за банальность).

Очень хочется сначала поиметь рабочее приложение, чтобы из коробки, в один клик оценить качество работы. Со своей готовой базой, сеткой, чертом лысым, но чтобы я смог сначала без проблем проверить результаи, а потом уже углубляться в то, как оно работает.

С шести утра залипаю, перепробовал больше дюжины проектов/решений, нормально завелось только одно, причем проприетарное и нерасширяемое. Процентов восемьдесят "открытых" репозиториев вообще не собралось, остальные требуют написания серьезной обертки для того, чтобы суметь выполнить задачу.

Подскажите что-нибудь, кроме вас знать это на чане больше некому.
133 1764796
>>764552
Разъеби по Гегелю
134 1764815
>>764789

>Процентов восемьдесят "открытых" репозиториев вообще не собралось, остальные требуют написания серьезной обертки для того, чтобы суметь выполнить задачу.


Ну так неси что у тебя не собралось, какой смысл обсуждать что-то в вакууме. Сама задача займет строк 30-50 кода на питоне с opencv dnn или dlib, какие серьезные обертки
135 1764819
>>764815

>Сама задача займет строк 30-50 кода на питоне с opencv dnn или dlib, какие серьезные обертки



Все вот так просто, а готовых бинарников нет и не будет, собирайте из протухшего индусского кода.

Там, конечно, двадцать строчек всего, правда зависимостей и окружений на хуиллиард надо выкачать и умудриться настроить. А еще каждому свою opencv подавай, это вообще балаган (контриб- не контриб-, ваши биндинги не биндинги и весь вот этот набор слов).

Прямо сейчас ставлю какую-то конду, необходимую для pyannote-video, который умеет строить карты лиц в видосе, по которым (картам) некий face-extraction-from-video умеет вырезать лица (делает это как надо). Я, если че, на питоне в жизни ни строчки не написал. Охуенное развлечение.

Все что мне нужно, это однокликовый пруф-оф-концепт, который сожрет мое видео и покажет мне, что достаточно умеет в идентификацию лиц.
136 1764830
>>764819

>Там, конечно, двадцать строчек всего, правда зависимостей и окружений на хуиллиард надо выкачать и умудриться настроить.


Потому что разработка под винду это боль
https://docs.microsoft.com/en-us/windows/wsl/install-win10
в консоли сначала apt install python3-pip
затем pip3 install numpy opencv-python opencv-contrib-python
Возможно можно установить это все без проблем и на нативную винду и использовать конду вместо pip, не знаю. У меня никогда не получалось настроить окружение под виндой меньше, чем за 3 часа, все время какая-то ебота выскакивала. Правда это всегда С++ был, потому что нахуя мне делать под винду что-то кроме компиляции конечного приложения, не разрабатывать же под ней, лол
Затем берешь нагугленное за 3 секунды https://github.com/kb22/Create-Face-Data-from-Images/blob/master/face_extractor.py (https://towardsdatascience.com/extracting-faces-using-opencv-face-detection-neural-network-475c5cd0c260) и заменяешь image = cv2.imread(base_dir + 'images/' + file) на https://stackoverflow.com/questions/30136257/how-to-get-image-from-video-using-opencv-python
Если лень, можешь imagemagick'ом разбить видео на отдельные изображения и закинуть в папку images
image.png15 Кб, 1668x33
137 1764837
>>764830

>Потому что разработка под винду это боль



Ну хуй знает. Тут по крайней мере все в одном месте и нет такой ебалы с версиями и зависимостями от кучи разрозненного кода, собранного с индусов по всему миру. Все куда прозрачнее, чем под этим вашим линуксом. А так-то я и не под виндой ща ебусь.

Все ссылки что ты дал я видел, спасибо, но я не хочу писать код (тем более что ни слова не понимаю на питоне и совсем не ориентируюсь в инфраструктуре). Я хочу клик-клик и готово, просто чтобы убедиться что оно работает так как надо. Когда убежусь, я засяду за чтение док к опенсиви и буду как белый человек использовать дотнетовские оберточки. Но вместо этого я наслаждаюсь миром открытого исходного кода, где вот такая хуйня https://github.com/pyannote/pyannote-video/issues/38 может висеть годами и, перетекая из билда в билд, ломать установку всяким мимокрокам. Unofficial pre-built OpenCV packages for Python. Вот нет этой версии у пипа и все, епт. Нахуя она там в свежих исходниках намертво указана? Можно ли ее заменить на свежак? Как это сделать, если я ставлю через пип? От обилия вопросов хочется взять и уебать. Тем временем у проприетарщиков кнопку нажал и готов, блядь.
Простите, у меня тут подгорело.
138 1764843
>>764830
О, вот эта хуйня завелась на рандомной пикче: https://github.com/kb22/Create-Face-Data-from-Images

Ща попробую раскадровку реального видоса.
139 1764879
>>764830
Ебтвоюмать, поставил табуляцию и все сломалось. Охуенный язык!

В общем, отловив в коде пару исключений, удалось завести всю эту фигню. Ну что-то с чем-то, как-то работает. Спасибо за подсказки, анон!

Но вопрос остается: есть ли бесплатный (не обязательно открытый) готовый инструмент с гуем и всеми делами, который позволяет загрузить в себя видосики и из них вычленить лица и как-то худо-бедно их сопоставить или просто хотя бы каталогизировать? Полусобранных велосипедов, как я выяснил, полно, но есть ли что-то готовое?
140 1764890
>>764654
Тебе к Московскому или в филиал?
141 1764897
>>764879
Тебе нужно просто лица вычленить, или ещё сгруппировать их по личностям?
142 1764919
>>764897

>Тебе нужно просто лица вычленить, или ещё сгруппировать их по личностям?



Мне любые варианты интересны, если они идут в виде готового приложения (или хотя бы собираются в таковое по F6).
143 1764921
>>764919
Я пару лет назад работал с детекцией лиц. Делал через dlib. Готовый пример кода использовал. Он делал массив с лицами, и оставалось только в три строки написать сохранение в файл. Не вижу у тебя вообще проблемы.
Видео->ffmpeg->кадры->dlib->вселенское счастье.
Писать только команду для ffmpeg, bat скрипт для dlib, и дополнить имеющийся скрипт тремя строками. Всё.
144 1764924
>>764921
Гуй ты тоже в три строки написал?

Давай не будем разводить срач. Если есть че посоветовать непосредственно по запросу - посоветуй. Если нет, то просто консольную вычленялку лиц я уже сделал, с соповставлением разберусь после того, как можно будет уверенно сказать, что вычленение у "открытых" работает не хуже, чем у "закрытых". Пока проприетарщики ведут с большим отрывом.
145 1764926
>>764890
Московский да
146 1764930
>>764924
Вот нахуя в такой задаче гуй?
147 1764931
>>764930
Вырастешь большой - поймешь.
148 1764982
>>764931
Чел, ты за советом пришёл, а ещё и выёбываешься сидишь... Ну тебе совсем делать нечего? Если больше всех знаешь, то зачем пришел?
149 1765024
>>764982
Ну мне советов по существу вопроса напихали, я спасибо сказал, рабочий скрипт нашел.

Все, что дальше, вот эти все рассуждения о ненужности гуя, рассказы про три строчки кода - это все лишнее и не имеет отношения к оригинальному вопросу, соотв. и реакция моя будет уже не как у типа, который плохо шарит в линуксе и совсем не знает питон, а как у разраба со стажем более 15-ти лет, который в сорокатысячный раз слышит "там работы на три секунды" и "гуй нинада, давайте ебашить в консоль".

Тебя нормально первый раз попросили - либо советуй по заданному вопросу либо давай не будем сраться, но ты принес свои охуенные мысли о гуе, мол, "у вас задача неправильная". Что ты рассчитывал услышать в ответ?
150 1765060
>>765024
я мимокрок
151 1765061
>>765060
Я тоже.
152 1765074
>>765024
15 лет опыта разработки, а ума как у продавца бытовой химии с 15-летним стажем.
153 1765075
>>765074
Обоснуй.
154 1765106
>>764591
т. е. комп считает по формуле производной сигмоиды, которая вшита в программу, если выбрана сигмоида?
155 1765269
>>764830

>Потому что разработка под винду это боль


>У меня никогда не получалось настроить окружение под виндой меньше, чем за 3 часа


Сколько раз слышал, но до сих пор не понимаю, в чем именно могут быть проблемы. У меня на винде работает абсолютно все: питон, гит, анаконда и все питоновские библиотеки. Из исключений только очень редкие библиотеки, которые надо ко-ко-компилять, и они используют API линукса. И то, мне как правило удавалось решить подобные проблемы подправив пару строчек C++ кода, в которых я заменял вызовы к API линукса на API винды.
156 1765277
>>765106
да. А что с таким подходом не так?
157 1765355
>>765106

>сигмоиды


Может легче выразить через пихвоид?
158 1765421
Аноны, есть такая задача. Есть графики цены продаж для разных товаров, начинающиеся в различные промежутки времени ну т.е. один товар начали продавать 2 года назад, а другой год назад. Задача в том, что бы найти более поздние товары, чей график продаж повторяет какой-нибудь график более раннего товара, с целью предсказания дальнейшего изменения цены товары. Подскажите, в какую сторону копать, что бы адекватно сравнивать эти графики?
160 1765494
>>765421
Выбираешь расстояние между функциями, считаешь его и выбираешь ту, с которой минимальное?
161 1765503
>>765453
Кукореконье, уменьшай p пропорционально количеству гипотез и всё будет норм. А лучше вообще просто забить на фимозное говно под названием "классическая статистика", делить данные графиков на трейн и тест и смотреть на предиктивную силу похожести непосредственно.
164 1766495
и эти модеры удалили мою ссылку про машинлернера, который делал датасет про отсосы.
165 1766981
Я относительно недавно каким-то чудом перекатился в датасатанизм из веба.
И сейчас чувствую себя какмм-то отребьем по сравнению с коллегами. У них минимум магистратура, многие параллельно в аспирантуре, почти у всех какие-то статьи публикуются.
А я 7 лет назад закончил машиностроительный на тройки и в ус не дул.
Как вкатиться в науку, что бы быть не хуже?

Я ж умею решать практические задачи, но как придумывать новое и писать научные статьи/работы хз.

Может в магистратуру пойти, по мл? Реально ли совмещать с работой, когда тебе под 30?
166 1767017
>>766981
Наука по машинке это полная хуйня унылая. Можешь у своих коллег и спросить насколько это интересно лмао. Лучше грандмастера на кегле подними, если надо для эго.
167 1767196
>>767017
А как это сделать без сатана и полного понимания всех нюансов?
168 1767206
>>767017

Научная работа не только для чсв.

В первую очередь, это нужно, что бы устроиться в норм контору, вроде Яндекса или Авито. Без аспирантуры и публикаций херки сразу шлют нахер.
169 1767244
>>767206

> В первую очередь, это нужно, что бы устроиться в норм контору, вроде Яндекса или Авито. Без аспирантуры и публикаций херки сразу шлют нахер.


Тебя кто-то наебал. Там на аспирантуру (магистратуру, бакалавриат) похуй абсолютно. Это имеет значение, если ты без опыта к ним приходишь.
170 1767341
А в bayesians vs frequentists есть какой-то глубокий смысл имеющий значение на практике или это философский трёп просто?
171 1767351
>>767244

От шаграева слышал, что он ожидает научных публикаций от кандидата.
Хотя все зависит от отдела. Может где-то гении, а где-то и второго сорта хватает
172 1767384
>>767351
Публикаций по перекладыванию джсонов?
В Яговне больно много пафоса, а дела мало, выёбывается скорее всего просто.
photo2020-08-0222-19-26.jpg105 Кб, 1089x1080
173 1767559
Есть некоторые объекты и некоторые параметры и комбинации этих объектов и параметров дают на выходе какой-то результат.Аноны, какой тип нейронки нужен чтобы успешно обучить её находить результат?
174 1767606
>>766981

>Как вкатиться в науку, что бы быть не хуже?


Читать хорошие статьи, пробовать идеи оттуда, комбинировать их, и вообще закидывать в мозговую топку как можно больше. Когда-нибудь натолкнешься на идею, достойную публикации, а там возьмешь кого-то из коллег в паровоз и опубликуешься. Или попросись сам паровозом почистить вилкой говно в статье взамен на фамилию.
175 1767608
>>767559
Конкретизируй, что за объекты и параметры. Может, линрега хватит.
176 1767611
>>767559
классификация
177 1767612
>>767608
Есть герои Dota 2 и по ним хочу определить сколько времени займёт игра и сколько будет килов.
178 1768036
>>767612
Если ты хочешь букмекеров нагреть то не воодушевляйся особо: скорее всего такую примитивную аналитику они сами делают и вилки ставят таким образом что ты не сможешь заработать.
179 1768059
>>767612
Ну еб твою мать, откуда вы беретесь. Пожалуйста, закрой двач и иди читай литературу на лето, а не в доту играй, уебок.
180 1768477
вопрос по треду, что скажете за магистеркую программу по анализу данных в фкн вшэ? там вроде машобом неплохо так занимаются
181 1768597
Куда переместить с колаба модель, чтобы обучение в облаке шло шустро без ресетов, и чтоб по-прежнему бесплатно?
182 1768600
Я вертел на хую ваши статьи, книги и паперы. Говномесы блядь. Давайте скомпилированный синтезатор с gui, под виндовс, блядь. Библиотеки + интерфейс + exe файл. А эту заумную хуйню не надо. Пидорасы блядь учёные, в говне мочёные.
183 1768630
>>768600
Фильтр работает: быдло сосёт.
184 1768637
>>768630
Иди дрочи
185 1768657
186 1768661
>>768657
На мехмат лучше иди.
187 1768674
>>768657
Big Dick Analistick
188 1768712
>>768036
Мне интересно как это можно реализовать. БК наебалово ояевидное для каждого более менее не тупого школьника. Типо как героев запихивать в нейронку? Нумеровать их и пихать как числа?
189 1768801
>>768712

> Нумеровать их и пихать как числа?


Тогда нейронка будет думать, что герои как-то априори отсортированы по крутости. Тут нужен one hot encoding
190 1768867
>>768801
Это я и хотел узнать. Спасибо анон
191 1768880
>>768801
И еще вопрос. Для успешного решения этой задачи нужна линейная регрессия или кластеризация?
192 1768898
>>768880
Нелинейная автосиссификация.
193 1768904
>>768880
Пройди хотя бы курсы по машинке для начала
194 1769418
>>768477
Кого ни спрашиваю про вышку - все хвалят. Так что если поступишь - хуже не будет.
195 1769484
Хех пук среньк, двощь, начинающий нейроинженер просит советов мудрых.
Вкатился недавно в глубокое обучение и пока что всё идёт бодрячком, уже обкатал несколько экспертных систем в облаке мда хех. Теперь хочу начать такой проект, генерация картинок (DCGAN/STYLEGAN/BIGGAN) с нелегальным контентом. С несовершеннолетними, ну. Как та демонстрационная модель "this celeb not exist", только "this loli not exict". Датасет практически имеется, у меня на hdd под терабайт этого добра, фото и видео, осталось только обработать. Но че-то стремно заливать контент в облако, а то потом приедут пативэны и поеду на сгуху. Есть ли вообще способ работать в облаке абсолютно приватно чтобы 100% никто ничего не узнал? (И ясен пень, чтоб не слишком дорого стоил прокат)
196 1769485
>>769484
Писать такое на подментованной борде. Ну ты и шизоид бесстрашный.
197 1769486
>>769485
Я ссал в рот рот тебе, товарищу майору и лично путену, моралфажек тупоёблый. Напиши что-нибудь по вопросу или заткнись.
568484.png11 Кб, 413x379
198 1769490
Ну что вы, вкатывальщики?
199 1769492
>>769490
Сколько плотят сеньору?
200 1769496
>>769484
>>766981
Как вкатились?
201 1769499
>>769496
Как вкатился я: туторы на ютубе, статьи и очерки, хабр, гитхаб, колаб.
цп-кун
202 1769511
>>769486
Пошёл нахуй, школьник.
203 1769529
>>769511
Пользуясь случаем, обоссываю итт всех лузеров-думеров и пожилых пердящих бумеров. Какой машоб, вам всем давно в тираж пора а не машоб.
bitterrrr.jpeg462 Кб, 2662x1234
204 1769540
15962018506970.jpg47 Кб, 500x500
205 1769558
>>769529

> пожилых


Настоящий машоб одни деды и делают. Зумера вкатывальщики, как выясняется, даже х от у в датасете отличить не могут, ваш максимум - занести бабла инфоцыганам в какой-либо шад, а потом синьором пиздаболом в макдаке кукарекать "свабодная касса!!!111".
206 1769567
>>769558
Ой да не пизди ты. Два года назад школу окончил, теперь круглосуточно гоняю тренинги и делаю модели глубокого обучения.
207 1769569
>>769567

>теперь круглосуточно гоняю тренинги и делаю модели глубокого обучения


За бесплатно, да?
208 1769572
>>769567
Охуеть, научился запускать созданное дедами. Я о том, что зумера для машоба бесполезны, потому что нихуя не могут нового создать.
209 1769612
>>769499
Спасибо.
А вкатывался где и когда? В крупном городе?
А то сейча я что-то смотрю, на джунов вакансии раз-два и обчёлся.
210 1769692
машоб это когда настолько ленишься работать что не можешь нормально написать словосочетание машинное обучение?
211 1769733
>>769529
Иди список на лето читай, обоссывальщик
212 1769738
>>769612
Шапку для кого писали
213 1769762
>>769738

>Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел


Охуительный совет: вакансий питонистов не так много, я уж не говорю про то, что их наличие никак не коррелирует с наличием вакансий МЛ. А убивать N лет своей жизни на изучение какого-нибудь C#, который тебе потом не пригодится - пустая трата времени.
214 1769881
>>769569
А тебе платили за твоё обучение в шараге? Ой, наоборот ты платил. А чего так?
>>769572
Пиздуй писать себе дос и винду на языке ассемблера, даун. Ах да, ты же наверняка линуксопетух, тогда страдай вдвойне и пиши себе библиотеки для ядра линукса, и драйвера под твое провонявшее мочой корыто, и чтоб сразу на двоичном, блядь, коде.
215 1769997
>>769762
Зачем тебе вообще вся эта грязь? Сиди у мамы на шее.
216 1770004
>>769997
У твоей - несомненно. Тем более, что её габариты позволяют.
Сам ты небось годы какой-нибудь джаве посвятил перед дата саенсом? Или ты очередной диванный эксперт?
217 1770063
>>770004
Я - да, посвятил. Просто потому что в мои годы не было еще ДС. Сейчас все хотят в ДС, а стране нужны охранники и кассиры. Самое большее - вебмакаки. За полторы ДС вакансии в РФ грызут друг другу глотки тысячи кандидатов.
Если ты серьезно настроен, уезжай на запад делать ПхД. И не возвращайся никогда. Я так сделал.
Альтернативно - делай сам что-то крутое, может кто-нибудь тебя заметит.
218 1770111
>>770063

> Просто потому что в мои годы не было еще ДС.


Юрий Долгорукий, ты?
219 1770165
>>770063

>уезжай на запад делать ПхД. И не возвращайся никогда


Пускай все либерасты уебывают. Нам они тут не нужны. Да и там этот биомусор тоже никому не нужен. Будете драить толчки в макдональдсе и тосковать по былым временам. Хотя если ты пидор, то толерантный западный социум тебя примет. Только тебе сперва надо будет доказать что ты пидор, ну ты понел.
220 1770177
>>769881

>А тебе платили за твоё обучение в шараге?


Да, поскольку я сделал как он >>770063
222 1770187
>>770184
Китай, как пузырь, лопнул. И что?
223 1770201
>>770177
Как сосётся, либерундель?
>>770187
Ни хуя он не лопнул, за ним будущее.
224 1770203
Использую китайское облако alibaba для своих нейронок. Ахуенно низкие цены и мощные gpu/tpu.
225 1770205
>>770203
Дай цены и ссылку на регистрацию
И для сравнения напомни цены гугла
226 1770209
>>770205
Ты мудак? Забанен в гугле штоле?
227 1770221
А подскажите, есть ли обученные сетки с помощью которых можно смешивать несколько лиц в одно, содержащие какие-то черты каждого? Есть много всего для морфинга, генерации и свапа лиц, а вот для смешивания ничего найти не могу. Может, конечно, не те ключевые слова использую.
228 1770227
>>770221
Так это и есть морфинг. https://github.com/anitan0925/vaegan - пролистай до 3-й картинки
229 1770245
>>770227
Ее надо с нуля обучать вроде, и я надеялся, что есть что-то получше качеством.
230 1770252
>>770245
Есть, любая сетка, у которой есть хорошее латентное представление, так может. Тебе нужно взять 2 лица, пропустить их через энкодер и получить координаты этих лиц в латентном пространстве. Затем найти среднее между этими координатами, либо еще как смешать, и получившийся вектор скормить уже декодеру.
231 1770275
>>770184
Напоминает высер Гайдара времен перестройки. О том что в СССР научились только копать котлаваны и все.
Ну кто ж обещал что накопление данных даст прямой непосредсвенный толк?
А пузырь не лопнул.
232 1770280
>>769762

>Охуительный совет: вакансий питонистов не так много, я уж не говорю про то, что их наличие никак не коррелирует с наличием вакансий МЛ


Совет не был рассчитан на аутистов, которые не могут поинтересоваться, есть ли на фирме МЛ.

>А убивать N лет своей жизни на изучение какого-нибудь C#, который тебе потом не пригодится - пустая трата времени.


Типичная позиция вкатывальщика, как бы срезать углы и сэкономить на спичках. Какие годы жизни, если ты можешь в МЛ, требования джуна ты освоишь легко и непринужденно. А если ты не способен в простейшие задачи по написанию кода по ТЗ и отладку этого самого кода, то какой нахуй МЛ.
А далее надо не C# изучать, а предметную область. Все эти GUI, бэки и фронты для МЛ кто-то пишет и их пишут простые программисты, на них есть спрос и вакансии на рынке, при чем людей, которые интересуются машобом, будут брать в приоритете. Я молчу о более релевантных вещах типа CUDA и программирования численной хуйни на С++.
>>770063

>За полторы ДС вакансии в РФ грызут друг другу глотки тысячи кандидатов.


Пошло говно из перезвоним-треда. Это тысяча неудачников, которая не умеет нихуя и мешает нормальным людям придти и работать, примерно как спам мешает читать сообщения в инбоксе. Когда на рынке есть избыток хорошо делающих свою работу специалистов, зарплаты идут вниз. Если зарплаты вниз не идут, значит что-то в твоем маняпостроении не то.
233 1770310
>>770184

>И очень скоро, как показывают расчеты Economist и OpenAI, процесс уткнется в отсутствие необходимых вычислительных мощностей


Бля, я понял как это работает. Примерно такую же хуйню я слышал про сланцевую революцию, как она обязательно возьмет и сдохнет, и дальше куча ссылок на какие-то тексты, а она почему-то не взяла и не сдохла, на что естественно те же самые люди стали писать, что это пузырь и она все равно сдохнет через пару лет, а она все равно не сдохла. Потому что когда ты нихуя не знаешь по теме, ты из любого текста можешь сделать любой вывод, в том числе и тот, который нужен текущей политике партии. А тем, кто пишет подобные отчеты нужно, чтобы их огромные аналитические отделы продолжали финансировать.
Когда OpenAI пишут "процесс уткнется" - они не имеют в виду то, что все, пиздец, приплыли, закрываемся, а то, что следующий очевидный этап фокуса на исследованиях - это ускорение работы трансформеров, у которых квадратичная сложность относительно длины сообщения. Такое не первый раз происходит, в картинках был тот же самый процесс. Alexnet помещался на GPU и давал 55% на 2.5 гигафлопсах. Пошло финансирование (всегда самое легкое, что можно сделать - это дать бабок на железо) и быстро уперлись в VGG19, которая давала 70% на 40 гигафлопсах. Везде было нытье о том, что только и могут, что больше параметров наворачивать. Затем появились реснеты, которые давали 77% на 23 гигафлопсах. А после этого mobilenet и effecientnet. И effecientnet уже настолько хорошо работает, что точности vgg19 доступны мобилке.
С nlp происходит тот же самый процесс, просто бабок больше, и все масштабнее, но на деле GPT-3 это такой VGG19, простая по структуре и неоптимизированная сетка. Если ускорить трансформеры на порядок, то тренировка GPT-3 подобной сети будет стоить ну миллион рублей, то есть доступной крупной московской конторе, а инференс будет доступен на любой пекарне. На два порядка - привет школьникам и дысдикпикдазнотэкзист
И фразы этой журнашлюхи типа "Поэтому тенденция к обучению огромных моделей на тоннах данных, похоже, ведет в тупик." мог написать только даун, впрочем, эту хуйню несут еще с alexnet. Людишкам неприятно, что они с их охуенными навыками работы экселе могут быть не нужны.
233 1770310
>>770184

>И очень скоро, как показывают расчеты Economist и OpenAI, процесс уткнется в отсутствие необходимых вычислительных мощностей


Бля, я понял как это работает. Примерно такую же хуйню я слышал про сланцевую революцию, как она обязательно возьмет и сдохнет, и дальше куча ссылок на какие-то тексты, а она почему-то не взяла и не сдохла, на что естественно те же самые люди стали писать, что это пузырь и она все равно сдохнет через пару лет, а она все равно не сдохла. Потому что когда ты нихуя не знаешь по теме, ты из любого текста можешь сделать любой вывод, в том числе и тот, который нужен текущей политике партии. А тем, кто пишет подобные отчеты нужно, чтобы их огромные аналитические отделы продолжали финансировать.
Когда OpenAI пишут "процесс уткнется" - они не имеют в виду то, что все, пиздец, приплыли, закрываемся, а то, что следующий очевидный этап фокуса на исследованиях - это ускорение работы трансформеров, у которых квадратичная сложность относительно длины сообщения. Такое не первый раз происходит, в картинках был тот же самый процесс. Alexnet помещался на GPU и давал 55% на 2.5 гигафлопсах. Пошло финансирование (всегда самое легкое, что можно сделать - это дать бабок на железо) и быстро уперлись в VGG19, которая давала 70% на 40 гигафлопсах. Везде было нытье о том, что только и могут, что больше параметров наворачивать. Затем появились реснеты, которые давали 77% на 23 гигафлопсах. А после этого mobilenet и effecientnet. И effecientnet уже настолько хорошо работает, что точности vgg19 доступны мобилке.
С nlp происходит тот же самый процесс, просто бабок больше, и все масштабнее, но на деле GPT-3 это такой VGG19, простая по структуре и неоптимизированная сетка. Если ускорить трансформеры на порядок, то тренировка GPT-3 подобной сети будет стоить ну миллион рублей, то есть доступной крупной московской конторе, а инференс будет доступен на любой пекарне. На два порядка - привет школьникам и дысдикпикдазнотэкзист
И фразы этой журнашлюхи типа "Поэтому тенденция к обучению огромных моделей на тоннах данных, похоже, ведет в тупик." мог написать только даун, впрочем, эту хуйню несут еще с alexnet. Людишкам неприятно, что они с их охуенными навыками работы экселе могут быть не нужны.
234 1770327
>>770310
Тут ещё есть такой момент что упрощение моделей и соответсвенно удешевление тренировки в общем-то невыгодно монополистам, располагающим военными бюджетами.
Обработка изображений это всё-таки такой случай: нужно было всунуть для андроида, а вот нлп вроде как не надо.
235 1770328
>>770280

>Совет не был рассчитан на аутистов, которые не могут поинтересоваться, есть ли на фирме МЛ.


И как ты себе это представляешь?
В резюме на разработчика спрашивать, есть ли у них МЛ?
Или в интернете искать? Ни в том ни в другом случае ты можешь не получить достоверной информации.

>Типичная позиция вкатывальщика, как бы срезать углы и сэкономить на спичках.


Как что-то плохое. Жизнь - одна, и тратить время, чтобы доказать или ублажить какого-то анона с мэйлопараши - хуёвая идея. Тем более это время тебе никто и никогда уже не компенсирует.

>Какие годы жизни, если ты можешь в МЛ, требования джуна ты освоишь легко и непринужденно.


Мань, как будто вакансии на джуна из каждого окна вылезают.
Их мало и они сосредоточены преимущественно в ДС. А переезд в ДС сопряжён с различными трудностями, и не только финансовым.
Я уже не говорю, что ныне на даже на джуна требуют 0.5, 1 и так далее года опыта. Где их взять? Стажёром за еду работать?
Извини, мне не 15, и даже не 25, меня мамка не будет содержать.
Ну у таких как ты, всегда одни ответ:
БЕРЁШЬ
@
СТАНОВИШЬСЯ

>А далее надо не C# изучать, а предметную область.


Толку от твоей предметной области, если нет опыта работы. Твоё резюме так и будут выкидывать в корзину.
236 1770343
>>770310

>С nlp происходит тот же самый процесс


С нлп проходит процесс, когда матанопетушня со своим нейроговном отсасывает. Хотя в примитивных языках таких как английских все же удается пускать пыль в глаза, но это проблема примитивных языков.
237 1770344
>>770252
Да, это отлично сработало, спасибо!
238 1770357
>>769540
И в чем зумер на пике не прав?
239 1770384
>>770328

>И как ты себе это представляешь?


По ситуации. Можно спросить, можно почитать, что написано в "будет плюсом" в вакансии.

>Как что-то плохое. Жизнь - одна, и тратить время, чтобы доказать или ублажить какого-то анона с мэйлопараши - хуёвая идея


При чем тут это вообще. Если для тебя изучение какого-либо языка программирования вызывает боль и желание компенсировать потраченное время, у тебя большие проблемы с выбором профессии. Как ты наукой собираешься заниматься, в которой 99% времени ты будешь изучать еще менее релевантную хуйню, которая вообще может оказаться тупиком, при чем может - это мягко сказано. Весьма вероятно, что эта хуйня будет тупиком. Если эта хуйня очевидный нетупик, ее уже происследовали 30 лет назад. В этом плане программирование намного менее бесперспективная штука, например, если завтра весь машоб захватят зумера и уронят зарплаты на порядок, я просто буду пилить какой-нибудь DL-фреймворк на С++, потому что я это умею, а зумера нет. А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.

>Мань, как будто вакансии на джуна из каждого окна вылезают.


Так об этом и речь, что если ты не лучше тех тысяч вкатывальщиков в айти, чтобы найти работу джуна после нескольких собеседований, в мл тебе не светит нихуя.
Это примерно как рассуждать о том, что вот поступишь ты в консерваторию и станешь великим скрипачом, не имея за плечами не то, что музыкальной школы, но и просто слуха. Речь же не о том, чтобы становиться жабосеньером с тонкостями настройки VM и знанием кучи фреймворков, что будет действительно потерей времени, а простой джуноработе, она в айти требует примерно одинаковых навыков.

>Их мало и они сосредоточены преимущественно в ДС. А переезд в ДС сопряжён с различными трудностями, и не только финансовым. Я уже не говорю, что ныне на даже на джуна требуют 0.5, 1 и так далее года опыта. Где их взять? Стажёром за еду работать?


Я потерял нить твоей аргументации. Изначально речь шла о том, что совет про вкатывание через устройство программистом штука универсально хуевая, а лучше ехать на пхд на запад. Но вот только пхд это намного более емкая вещь с точки зрения потребления мамкиных денег, это точно не путь для провинциального нищука.
Это как раз хороший вариант, когда денег много, а талантов мало. Тогда ты вбухиваешь мамкины деньги сначала в вышку на пятерки (никаких подработок), в академический английский, затем в пхд, а с этой корочкой тебя хоть куда-то, да возьмут.
239 1770384
>>770328

>И как ты себе это представляешь?


По ситуации. Можно спросить, можно почитать, что написано в "будет плюсом" в вакансии.

>Как что-то плохое. Жизнь - одна, и тратить время, чтобы доказать или ублажить какого-то анона с мэйлопараши - хуёвая идея


При чем тут это вообще. Если для тебя изучение какого-либо языка программирования вызывает боль и желание компенсировать потраченное время, у тебя большие проблемы с выбором профессии. Как ты наукой собираешься заниматься, в которой 99% времени ты будешь изучать еще менее релевантную хуйню, которая вообще может оказаться тупиком, при чем может - это мягко сказано. Весьма вероятно, что эта хуйня будет тупиком. Если эта хуйня очевидный нетупик, ее уже происследовали 30 лет назад. В этом плане программирование намного менее бесперспективная штука, например, если завтра весь машоб захватят зумера и уронят зарплаты на порядок, я просто буду пилить какой-нибудь DL-фреймворк на С++, потому что я это умею, а зумера нет. А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.

>Мань, как будто вакансии на джуна из каждого окна вылезают.


Так об этом и речь, что если ты не лучше тех тысяч вкатывальщиков в айти, чтобы найти работу джуна после нескольких собеседований, в мл тебе не светит нихуя.
Это примерно как рассуждать о том, что вот поступишь ты в консерваторию и станешь великим скрипачом, не имея за плечами не то, что музыкальной школы, но и просто слуха. Речь же не о том, чтобы становиться жабосеньером с тонкостями настройки VM и знанием кучи фреймворков, что будет действительно потерей времени, а простой джуноработе, она в айти требует примерно одинаковых навыков.

>Их мало и они сосредоточены преимущественно в ДС. А переезд в ДС сопряжён с различными трудностями, и не только финансовым. Я уже не говорю, что ныне на даже на джуна требуют 0.5, 1 и так далее года опыта. Где их взять? Стажёром за еду работать?


Я потерял нить твоей аргументации. Изначально речь шла о том, что совет про вкатывание через устройство программистом штука универсально хуевая, а лучше ехать на пхд на запад. Но вот только пхд это намного более емкая вещь с точки зрения потребления мамкиных денег, это точно не путь для провинциального нищука.
Это как раз хороший вариант, когда денег много, а талантов мало. Тогда ты вбухиваешь мамкины деньги сначала в вышку на пятерки (никаких подработок), в академический английский, затем в пхд, а с этой корочкой тебя хоть куда-то, да возьмут.
240 1770387
>>770205
4 бакса у алибабы, 3 у амазона, 2.5 у гугла.
Где он нашел TPU не знаю. В списке есть FPGA инстансы и некие NPU, но я не нашел ни одной локации, где бы эти NPU были доступны.

По-прежнему самое выгодное это купить 10xx или 20xx домой, в зависимости от того, нужно тебе fp16 или нет. Окупится за неделю. А если нужен временный скейлап для подбора гиперпараметров, то гугловские TPU - самое выгодное.
241 1770407
Кагда наконец расшарят онлайн облачный QPU для пользователей??? Такой чтобы задача глубокого обучения которая занимает сотни процессоро-часов, решалась кратчайшим путем за секунду???
242 1770408
>>770384
Вот тоже пидорство, мля
243 1770417
>>770384

>А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.


Ты работаешь за деньги, а не на результат. Получилось или нет значения не имеет. Грант в любом случае попилен, а результаты можно опубликовать что даст возможность получить новые гранты даже если эта хрень никогда не будет нормально работать в продакшене.
244 1770428
>>770417
Вот и вся ваша наука. Вы ничем не лучше тех, кто занимается gender studies, вы абсолютно такие же паразиты-говнососы. Эх, учёные, на хую верчёные...
245 1770440
>>770428

>вы абсолютно такие же паразиты-говнососы. Эх, учёные, на хую верчёные...


Работать за идею готовы совсем немногие. Когда тебе за 30, и ты только начал зарабатывать как 20-летняя веб макака, которая к этому времени уже стала тимлидом, утроила зарплату и успела выплатить кредит за дом, желание делать стоящие вещи резко пропадает. За исключением R&D в FAANG и некоторых топовых университетов, все просто пилят гранты, не делая ничего полезного.
246 1770442
>>770417
Если ты неамбициозная манька, то конечно не имеет. Но такие отваливаются еще на первой сессии в мухосранском вузе. В науке против таких несколько рядов траншей с пулеметами и крокодилами. У некоторых просто выученная беспомощность возникает, когда у тебя поехавший научрук и вы годами копаете безнадежную тему, начинаются маняоправдания, мол, ну и что что мне 30 и я даже квартиру не купил со своими знаниями, зато я хуи пинаю весь день. Типа я не лузер, а наебщик системы. А на деле все и так видят, что твоя тема тухлая и результаты высосаны. Это конечно стоило того, чтобы получать образование - быть очевидным лузером с зарплатой программиста без вышки.
Не, в науку идут за признанием. Некоторым везёт. Остальные сосут хуи, переходя в индустрию в 35 на те позиции, на которые начинающие с нуля вышли в 25.
247 1770445
>>770221
stargan2
248 1770446
>>770442

>Некоторым везёт. Остальные сосут хуи, переходя в индустрию в 35 на те позиции, на которые начинающие с нуля вышли в 25.


В чем заключается везение? В том, что ты создал очередную йобу и тебя процитировали 1000 человек? Это практически не влияет на твой доход и твою карьеру. Единственный нормальный с точки зрения денег путь - это подороже продать себя в индустрию, и, желательно, как можно быстрее.
249 1770451
>>770446

> Единственный нормальный с точки зрения денег путь - это подороже продать себя


Ну не все же проститутки. Хотя, насчёт зумеров не уверен.
250 1770461
>>770451
Ну ты то вообще инцел в контексте машоба, не то, чтобы нашёлся кто тебе заплатил, такие услуги и даром не нужны
251 1770464
Представляете, в деревне Нижние Грязи сидит такой дед пердед в кресле качалке, кодит на 95-й винде алгоритм из трех нейронов и считает что он илита а зумеры ничего не соображающие песдюки... Вам всем в тираж пора хуесосы.
15945239917441.jpg76 Кб, 592x532
252 1770466
>>769881
>>770464
Тайда перебрал что ли? Иди читай что на лето задали
253 1770593
>>770466
Не тайда, а сайда, пидор. Сайда-сайда. Я давно окончил школу. Я не школьник,а ты вообще дошкольник!
254 1770685
>>770428

>Вы ничем не лучше тех, кто занимается gender studies


Для безграмотных праводаунов - безусловно

>абсолютно такие же паразиты-говнососы


Паразиты это население пидорашки, а я илита которая может позволить себе не РАБОТАТЬ НА РЕЗУЛЬТАТ а жить и заниматься интересными вещами, get mad.
255 1770717
>>770685
Нахуя ты пиздишь на анонмной борде?
256 1770977
>>758961 (OP)
Планирую конкретно в data science, big data и нейросети углубляться, какие направления и полезную литературу посоветуете?
257 1771060
>>770384

>По ситуации. Можно спросить, можно почитать, что написано в "будет плюсом" в вакансии.


"Будет плюсом", можно и в ходе работы добрать. Но большинство ебало корчат при поиске работников.

>При чем тут это вообще. Если для тебя изучение какого-либо языка программирования вызывает боль и желание компенсировать потраченное время, у тебя большие проблемы с выбором профессии.


Большая часть жизни - и так боль, заниматься нелюбимыми вещами: школой, вузом, работой и прочими издержками человеческого существования. Что-то из этого приносит пользу, а что-то нет, но более любимым от этого не становится.
Так вот, язык программирования - всего лишь инструмент. Зачем инструменту посвящать всю жизнь?

>Как ты наукой собираешься заниматься, в которой 99% времени ты будешь изучать еще менее релевантную хуйню, которая вообще может оказаться тупиком, при чем может - это мягко сказано.


Наука науке рознь. Машобом в науке можно заниматься не только обмазываясь своими слоями и генераторами, и прочими абстракциями ака математики, но банально применяя модели для решения прикладных задач, вроже подсчёта птиц на Галапагосских островах.
>А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.
В науке полно проблем, которые можно решать при помощи машоба. Но у тебя она почему-то ограничивается информатикой и прикладной математикой.

>Так об этом и речь, что если ты не лучше тех тысяч вкатывальщиков в айти, чтобы найти работу джуна после нескольких собеседований, в мл тебе не светит нихуя.


Здесь мы идём опять, чтобы попасть на собеседование на джуна, надо чтобы были вакансии на джуна.
Если их нет, твои преимущества и знания никому не нужны.

>простой джуноработе, она в айти требует примерно одинаковых навыков.


То есть по твоему джун-девопс занимается тем же самым, чем и джун-разраб, джун-тестер, джун-датасаентист?

>а лучше ехать на пхд на запад. Но вот только пхд это намного более емкая вещь с точки зрения потребления мамкиных денег, это точно не путь для провинциального нищука.


Именно так, потому что твоё пхд - ёбаная лотерея без должного выхода в большинстве случаев.
Чтобы попасть на пхд надо:
- иметь хотя бы бакалаврский диплом
- иметь более-менее нормальные статьи по теме будущей пхд
- иметь хороший уровень английского, чтобы сдать TOEFL и прочие GRE
- иметь отзывы от своих руководителей - научных или по работе
- перевести свои сраные документы: диплом, статьи, отзывы на английский у нотариуса
- выбрать ВУЗ, лабу и профессора у которых собираешься учиться, связаться с ними
- зарегистрироваться на их сайте и уплатить их fee для поступления
- отправить всё это (включая результаты TOEFL и пр.) в ВУЗы месяцев за 9 до нового учебного года обычной почтой
- ждать, скрестив пальцы

И что ты получаешь в итоге? Допустим, ты выиграл в конкурсе на поступление. Phd на западе делается до 5 лет. Это если всё будет нормально. Если ты не посрёшься со своим научником, если он окажется нормальным человеком и не будет тебя придерживать и сильно эксплуатировать как раба (ведь не зря такая шутка есть, что науку делают аспиранты).
А дальше что? Количество профессоров на западе около 5% от общего числа учёных, сразу после аспирантуры ими не становятся. И их годовая зарплата всё равно меньше, чем у нынешнего сеньора в МЛ. А быть вечным постдоком с контрактами на 2, 3, 5 лет - это для тех, у кого нет личной жизни.
Это если ты поступил, и то, может не сложиться, и ты окажешься на улице. Будешь в макдаке работать в чужой стране.
А если ты не выиграл, ты просто убиваешь кучу времени, денег и бумаги.
И твоё пхд на голом месте не делается - те же статьи, если ты мимокрокодил, из ниоткуда не появятся.
Так что вот так просто ВЗЯЛ И ПОСТУПИЛ тоже не катит.
И да,

>на запад.


Лет 5-10 я бы ещё подумал, но сейчас каяться на коленях перед неграми и прочими пидарасами не очень хочется.

>Это как раз хороший вариант, когда денег много, а талантов мало.


Если у тебя много денег, нет никакого смысла рвать жопу ради пхд и машоба, если это не самоцель.
Можно и так жить в своё удовольствие.
257 1771060
>>770384

>По ситуации. Можно спросить, можно почитать, что написано в "будет плюсом" в вакансии.


"Будет плюсом", можно и в ходе работы добрать. Но большинство ебало корчат при поиске работников.

>При чем тут это вообще. Если для тебя изучение какого-либо языка программирования вызывает боль и желание компенсировать потраченное время, у тебя большие проблемы с выбором профессии.


Большая часть жизни - и так боль, заниматься нелюбимыми вещами: школой, вузом, работой и прочими издержками человеческого существования. Что-то из этого приносит пользу, а что-то нет, но более любимым от этого не становится.
Так вот, язык программирования - всего лишь инструмент. Зачем инструменту посвящать всю жизнь?

>Как ты наукой собираешься заниматься, в которой 99% времени ты будешь изучать еще менее релевантную хуйню, которая вообще может оказаться тупиком, при чем может - это мягко сказано.


Наука науке рознь. Машобом в науке можно заниматься не только обмазываясь своими слоями и генераторами, и прочими абстракциями ака математики, но банально применяя модели для решения прикладных задач, вроже подсчёта птиц на Галапагосских островах.
>А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.
В науке полно проблем, которые можно решать при помощи машоба. Но у тебя она почему-то ограничивается информатикой и прикладной математикой.

>Так об этом и речь, что если ты не лучше тех тысяч вкатывальщиков в айти, чтобы найти работу джуна после нескольких собеседований, в мл тебе не светит нихуя.


Здесь мы идём опять, чтобы попасть на собеседование на джуна, надо чтобы были вакансии на джуна.
Если их нет, твои преимущества и знания никому не нужны.

>простой джуноработе, она в айти требует примерно одинаковых навыков.


То есть по твоему джун-девопс занимается тем же самым, чем и джун-разраб, джун-тестер, джун-датасаентист?

>а лучше ехать на пхд на запад. Но вот только пхд это намного более емкая вещь с точки зрения потребления мамкиных денег, это точно не путь для провинциального нищука.


Именно так, потому что твоё пхд - ёбаная лотерея без должного выхода в большинстве случаев.
Чтобы попасть на пхд надо:
- иметь хотя бы бакалаврский диплом
- иметь более-менее нормальные статьи по теме будущей пхд
- иметь хороший уровень английского, чтобы сдать TOEFL и прочие GRE
- иметь отзывы от своих руководителей - научных или по работе
- перевести свои сраные документы: диплом, статьи, отзывы на английский у нотариуса
- выбрать ВУЗ, лабу и профессора у которых собираешься учиться, связаться с ними
- зарегистрироваться на их сайте и уплатить их fee для поступления
- отправить всё это (включая результаты TOEFL и пр.) в ВУЗы месяцев за 9 до нового учебного года обычной почтой
- ждать, скрестив пальцы

И что ты получаешь в итоге? Допустим, ты выиграл в конкурсе на поступление. Phd на западе делается до 5 лет. Это если всё будет нормально. Если ты не посрёшься со своим научником, если он окажется нормальным человеком и не будет тебя придерживать и сильно эксплуатировать как раба (ведь не зря такая шутка есть, что науку делают аспиранты).
А дальше что? Количество профессоров на западе около 5% от общего числа учёных, сразу после аспирантуры ими не становятся. И их годовая зарплата всё равно меньше, чем у нынешнего сеньора в МЛ. А быть вечным постдоком с контрактами на 2, 3, 5 лет - это для тех, у кого нет личной жизни.
Это если ты поступил, и то, может не сложиться, и ты окажешься на улице. Будешь в макдаке работать в чужой стране.
А если ты не выиграл, ты просто убиваешь кучу времени, денег и бумаги.
И твоё пхд на голом месте не делается - те же статьи, если ты мимокрокодил, из ниоткуда не появятся.
Так что вот так просто ВЗЯЛ И ПОСТУПИЛ тоже не катит.
И да,

>на запад.


Лет 5-10 я бы ещё подумал, но сейчас каяться на коленях перед неграми и прочими пидарасами не очень хочется.

>Это как раз хороший вариант, когда денег много, а талантов мало.


Если у тебя много денег, нет никакого смысла рвать жопу ради пхд и машоба, если это не самоцель.
Можно и так жить в своё удовольствие.
258 1771368
>>771060
Ты сильно преувеличиваешь проблемы. По факту, необходимо лишь иметь бакалавр из любого мухосранского вуза и уверенное владение английским, что и так нужно любому айтишнику. Поступить на пхд несложно. Это намного легче, чем найти нормальную работу. Ты бесплатно учишься и тебе за это платят деньги. Потом, если захочешь, можешь перекатиться в индустрию. Не стоит идти на пхд только если у тебя уже есть возможность устроиться на нормальную работу.
259 1771370
>>771368

> необходимо лишь иметь бакалавр из любого мухосранского вуза и уверенное владение английским


Что, правда?
И при поступлении за наличие написанных статей не спрашивают?
260 1771438
>>771368
Напиши гайд, я добавлю в шапку. Мой совет про перекат из смежной специальности для очевидного жителя ДС возрастом 25+
261 1771470
>>771370

>И при поступлении за наличие написанных статей не спрашивают?


Как правило нет, но насчет всех университетов я не скажу.
>>771438

>Напиши гайд, я добавлю в шапку.


А смысл? Тем, кому действительно нужно, все найдут сами, а всякие зумеры сольются как только понадобится заплатить 200 баксов за TOEFL и 200 баксов за GRE.

Если вкратце, то алгоритм поступления такой. Сначала ищешь университеты, в которых хочешь учиться. Топы сразу отметаешь, поскольку туда все равно не возьмут. Смотреть в первую очередь надо на то, сколько платят (не всегда есть в открытом доступе, возможно придется выяснять по эмейлу), и на стоимость жизни, в частности на стоимость аренды квартиры. Выбрав несколько университетов, сдаешь TOEFL и GRE. Это первый этап, где можно обосраться, в особенности на языковой части GRE. Имея английский уровня школьной программы, придется затратить годы на подготовку. Дальше подготавливаешь остальные документы, все должно быть подробно написано на сайте университета. Если есть вопросы, то тебе помогут, надо только найти к кому обращаться. Второй критический момент - найти препода, который захочет стать твоим научным руководителем. Тебе нужно связаться с ним и показать, что ты серьезно настроен. Если удалось заручиться поддержкой, то считай что на этом все. Дальше разбираешься с документами, рекомендациями и прочим, делаешь визу и ждешь оффера. Для переката понадобится минимум 5к (экзамены, платеж за подачу документов, виза, билет на самолет, и расходы на месте), в идеале 10к, чтобы была подушка безопасности.
262 1771478
>>771370
Хуйню несёт, если не хочешь в University of Nowhere phd делать нужны и связи (аля "рекомендации") и статьи не помешают, и прочие заслуги.
263 1771480
Какие книги по computer vision посоветуете? Я пока пробежал глазами варианты, и во многих увидел хуйню, где на 50 страниц расписана установка opencv
264 1771483
>>771478
Миколов в Брне word2vec придумал например, какая разница, где заниматься наукой, если за это платят
external-content.duckduckgo.com.jpeg25 Кб, 484x700
265 1771486
>>771480
Я читал пикрелейтед и Mastering OpenCV with Practical Computer Vision Projects
266 1771487
>>769540
Вы ничего не делаете для прогресса, а только тащите всё назад. Хрр-тьфу в парашников думеров и бумеров ебаных. В тред тоже харкну, а кто ниже, слижет.
external-content.duckduckgo.com.jpeg320 Кб, 1250x1554
267 1771492
>>771487

>Хрр-тьфу в парашников думеров и бумеров ебаных. В тред тоже харкну, а кто ниже, слижет.

268 1771494
>>771470

>А смысл? Тем, кому действительно нужно, все найдут сами


Ты ошибаешься. Я например не знал что можно уйти на пхд с зарплатой после бакалавра, просто в голову такое не приходило. Мне можно, я специалистом стал 8 лет назад, но тем не менее, не думай, что все такие же прошаренные, как ты, особенно в рашкомухосрани.
269 1771497
>>771483
А phd в парашных универах всё ещё засчитываются за ачивмент в индустрии?
15945239917441.jpg76 Кб, 592x532
270 1771627
Вот этот >>771483 в правильном направлении думает. Сейчас не те времена, когда Ломоносов в лаптях пешком пошел в Москву учиться. Глобализация ежжи, в наше время, если ты способен запилить что-то уровня word2vec, похуй откуда ты. Брно или Барнаул. Но это мозги нужны, путь Миколова не для тайдменов.
271 1771639
>>771627

>word2vec


Неработоспособное говно.
272 1771640
>>771639
Тебя похоже так на нашего особенного триггерит, что ты даже очевидные вины прошлого обсираешь
273 1771687
Сейчас бы обращать внимание на колхозную пидорашку, верующую в эфир, плоскую землю, вред прививок и в антихриста Билла Гейтса, который хочет всех прочипировать макаронавирусом через 5G вышки.
>>771640

> очевидные вины прошлого


Да и будущего. Лингвистические регулярности Миколова это не просто какой-то прикол, а общий подход к экстракции из эмбеддингов любых закодированных в нем отношений.
274 1772031
Пидоры боятся что молодые специалисты вышвырнут их с рынка?
275 1772033
>>771627

>тайдменов


Про тайд какой-то пишет. Причем тут тайд, или ты не видишь разницы между объебосом с инстаграма и начинающим специалистом-энтузиастом?
276 1772076
>>771687

>Лингвистические регулярности Миколова


Уровня пихвоидов Жопеншмульцера
277 1772080
>>772076
Для анэнцефала, сдавшего в колхоз солому, которая у него была вместо мозгов, безусловно.
278 1772375
>>771687

>общий подход к экстракции из эмбеддингов любых закодированных в нем отношений


>блиин чуваааак ну типа кодируем слова векторами так что близкие слова должны соответсвовать близким векторам


Нобелевку гению!
279 1772377
>>772375
Учитывая что сообщество яйцеголовых 30 лет писало огромные статьи и наворачивало какие-то тонны сигмоидов, а разгадка была в relu и простом прибавлении входа в выходу слоя - за подобные простые решения лучше давать нобелевки
280 1772395
>>772375
Тоже в колхоз сдал что там у тебя вместо мозгов, как и предыдущий оратор? Из какой вы школы лезете?
281 1772400
>>771687

>Сейчас бы обращать внимание на колхозную пидорашку, верующую в эфир, плоскую землю, вред прививок и в антихриста Билла Гейтса, который хочет всех прочипировать макаронавирусом через 5G вышки.


Я вас путаю, кто из вас в кефир верит, а кто на word2vec дрочит.

>Да и будущего. Лингвистические регулярности Миколова это не просто какой-то прикол, а общий подход к экстракции из эмбеддингов любых закодированных в нем отношений.


У Миколова неглубокая сетка без обратной связи, она принципиально ограничена в выразительной силе на флопс, захочешь что-то посложнее, столкнешься с экспоненциальным ростом. То есть эмбеддинги ты построить можешь, но выцеплять они будут только самый очевидный и простой контекст.
Если хочется больше контекста, то нужны RNN, но любят прошлое экспоненциально забывать, поэтому нужен механизм аттеншена, уменьшающий забываемое. Но RNN очень плохо тренируются на GPU из-за необходимости шеринга весов между разными слоями в BPTT, поэтому, как в случае с изображениями и свертками, можно забить на шеринг весов между разными итерациями и просто тренировать все разом.
И вот будущее оно лежит либо в покорении RNN новым железом с быстрым BPTT, либо нахождении альтернативы BPTT, но в краткосрочной перспективе - в дальнейшем облегчении трансформеров, чтобы помнили больше, а флопсов жрали меньше.
А Миколов остался в далеком 2014 по нынешним временам.
282 1772411
>>772400

> То есть эмбеддинги ты построить можешь, но выцеплять они будут только самый очевидный и простой контекст.


Вот только глубокие модели в NLP существенно не превосходят "shallow"-модели типа того же скипграма. Что наводит на мысль, что диплернинх в НЛП не очень и нужон, тут скорее нужно не стакать побольше слоев, а думать, что можно сделать дальше с самими векторами эмбеддинга для экстракции чего-то интересного. И вот в этом направлении Миколов сделал то, чего до него не делал никто. Эмбеддинги были и до word2vec, TF-IDF всякие, а до лингвистических регулярностей никто не додумался (которые и на TF-IDF работают, к слову). Есть ещё в fasttext'е такая штука как OOV, out-of-vocabulary векторы слов, которых нет в словаре и соответственно, корпусе, на котором построен эмбеддинг. Они вычисляются как центроид векторов входящих в их состав букв. Т.е из эмбеддинга можно получить вектор слова или фразы, которых там нет изначально. И их можно далее использовать, в том числе для лингвистических регулярностей. Я что хочу сказать, работа с эмбеддингами это не только их построение, но и всякие неочевидные методы, которые позволяют получать из эмбеддинга вещи, которые там закодированы неявно, и.е тот сложный контекст, о котором ты пишешь. Его и в TF-IDF хватает, если правильно подойти к вопросу. А вот это все "ололо, Миколова из 2014 года - на свалку, нужно трансформеры ебенить, больше слоев богу слоев, больше трансформеров трону трансформеров" это школьничество.
283 1772418
>>772411

>Я что хочу сказать, работа с эмбеддингами это не только их построение, но и всякие неочевидные методы, которые позволяют получать из эмбеддинга вещи, которые там закодированы неявно, и.е тот сложный контекст, о котором ты пишешь.


Проблема эмбедингов в том, что они уничтожают часть информации. OpenAI с GPT уже натолкнулись на подобную проблему, сетка хуево рифмует и плохо считает цифры (то вероятность правильного ответа "сколько один плюс один" и "сколько 1+1" разная, словами арифметика работает лучше, то же касается и рифм, если разделить слова пробелами, она начинает рифмовать лучше), а все потому что перед обучением поток символов был пожат примитивным алгоритмом сжатия, работающим на байтовом уровне. То есть в датасете сохраняется практически все о языке (точнее языках), кроме непосредственно буквенных представлений.
У алгоритмов, основанных на эмбеддингах (не самих эмбеддингах, а именно том что ты предлагаешь - "сделать дальше с самими векторами эмбеддинга для экстракции чего-то интересного") с этим хуже, потому что они не просто превращают текст в странный транслит, а затем после обработки возвращают все назад для человекочитаемого вида, но еще и уничтожают орфографию напрочь. Такой подход хорош для китайского языка, они по сути свои мысли такими эмбедингами и записывают, но не для индоевропейских и тем более синтетических.
Идеальная же языковая модель вообще должна на аудио работать, потому что буквы уже являются потерей важной информации, и первым такую натренирует скорее всего гугл, потому что у них есть ютуб с бесконечным количеством образцов речи носителей.
284 1772441
>>772418

>потому что буквы уже являются потерей важной информации


Хуйню несешь, это для англоговна какого нибудь с его кью queue может и актуально.
285 1772466
>>772418

> OpenAI с GPT уже натолкнулись на подобную проблему, сетка хуево рифмует и плохо считает цифры (то вероятность правильного ответа "сколько один плюс один" и "сколько 1+1" разная, словами арифметика работает лучше,


Эмбеддинг должен быть полным относительно решаемой задачи. Например, там должно быть достаточно инфы, чтобы сетка могла вывести что "1", "один", "one" это одно и то же. И такая инфа в любом эмбеддинга есть, даже если явно (вероятность взаимозаменяемости "1" на "один" во всех фразах) не задана, но ее оттуда так просто не получить, нужно как-то задать нужное отношение типа "1" относится к "один" как что-то к чему-то, в идеале такое должно строиться автоматически. У человека это работает без дополнительного специального обучения, через всякие derived relations и прочие свойства обобщенных AARR оперантов, а в сетках это надо как-то эмулировать, через те же лингвистические регулярности. Дело скорее не в недостатке данных, а в разной обработке их человеком и алгоритмами.
286 1772483
>>772441
Не актуально это разве что для латыни, на которой никто не говорит. Модель языка не может быть полной без устной речи.

>>772466

>Эмбеддинг должен быть полным относительно решаемой задачи


Для этого нужна обратная связь. Должна быть петля: после создания эмбединга кто-то или что-то должно проверить этот самый эмбединг на "полноту", и далее либо сказать "ок", либо начать все заново (либо не заново).
То есть либо приходит мыкола, видит, что эмбеддинг "не полный" в твоих терминах, и перепиливает свой shallow алгоритм, верните мне мой 2014, либо эта обратная связь зашита в сам алгоритм (следующий слой фидфорвард сети, либо этот же слой из прошлого RNN передают назад сигнал ошибки, эмбединг на лету корректируется с каждой новой порцией текста), и обучение эмбединга и цепочки в трубе преобразований идет одновременно. Внутри мозга никакого мыколы нету, инфа 100%, там сплошной вульгарный коннективизм.

>а в сетках это надо как-то эмулировать, через те же лингвистические регулярности


Не, не надо. Неокотекс это такая большая весьма однородная шестислойная RNN сеть, которая достоверно способна выполнять все задачи shallow AI, в том числе и хранит в себе модель языка. Примерно к этому и надо стремиться - универсальной рекуррентной йобе с десятком слоев.
Отличия идут в другом. Мозг архитектурно sparse, GPU dense. В итоге даже имея запиленный аттеншен, позволяющий игнорировать нерелевантную задаче информацию, во время парсинга каждого токена модель пропускает его через весь мозг. Человек бы от такой хуйни умер от перегрева. Второй момент в том, что тренировка RNN с помощью BPTT сосет, но об этом я писал. Но это в принципе можно пофиксить. У нвидии уже есть патенты на спарсификацию вычислений, единственная проблема для васянов только в том, что сейчас они умудрились впарить геймерам технологии типа RTX, поэтому можно купить дешевые видюхи и считать на них, а кому будет впариваться ускоритель sparse вычислений совершенно не понятно. В итоге придется покупать не копеечные видюхи, а сравнимые по скорости серверные решения в 10 раз дороже. Хотя возможно AI-ускоритель именно для AI будет в каждом телефоне со временем.
286 1772483
>>772441
Не актуально это разве что для латыни, на которой никто не говорит. Модель языка не может быть полной без устной речи.

>>772466

>Эмбеддинг должен быть полным относительно решаемой задачи


Для этого нужна обратная связь. Должна быть петля: после создания эмбединга кто-то или что-то должно проверить этот самый эмбединг на "полноту", и далее либо сказать "ок", либо начать все заново (либо не заново).
То есть либо приходит мыкола, видит, что эмбеддинг "не полный" в твоих терминах, и перепиливает свой shallow алгоритм, верните мне мой 2014, либо эта обратная связь зашита в сам алгоритм (следующий слой фидфорвард сети, либо этот же слой из прошлого RNN передают назад сигнал ошибки, эмбединг на лету корректируется с каждой новой порцией текста), и обучение эмбединга и цепочки в трубе преобразований идет одновременно. Внутри мозга никакого мыколы нету, инфа 100%, там сплошной вульгарный коннективизм.

>а в сетках это надо как-то эмулировать, через те же лингвистические регулярности


Не, не надо. Неокотекс это такая большая весьма однородная шестислойная RNN сеть, которая достоверно способна выполнять все задачи shallow AI, в том числе и хранит в себе модель языка. Примерно к этому и надо стремиться - универсальной рекуррентной йобе с десятком слоев.
Отличия идут в другом. Мозг архитектурно sparse, GPU dense. В итоге даже имея запиленный аттеншен, позволяющий игнорировать нерелевантную задаче информацию, во время парсинга каждого токена модель пропускает его через весь мозг. Человек бы от такой хуйни умер от перегрева. Второй момент в том, что тренировка RNN с помощью BPTT сосет, но об этом я писал. Но это в принципе можно пофиксить. У нвидии уже есть патенты на спарсификацию вычислений, единственная проблема для васянов только в том, что сейчас они умудрились впарить геймерам технологии типа RTX, поэтому можно купить дешевые видюхи и считать на них, а кому будет впариваться ускоритель sparse вычислений совершенно не понятно. В итоге придется покупать не копеечные видюхи, а сравнимые по скорости серверные решения в 10 раз дороже. Хотя возможно AI-ускоритель именно для AI будет в каждом телефоне со временем.
287 1772511
>>772395
Ну такая уж у вас "наука", чего гореть-то
288 1772519
>>772483

>либо эта обратная связь зашита в сам алгоритм


Вроде бы подходы с обучаемыми ембеддингами были в берте, и там они проиграли классике.
289 1772530
>>772400
>>772411
>>772418
>>772466
>>772483
Я 12 лет на дваче и первый раз вижу, чтобы кто-то кидал друг другу подряд такие большие цельные куски текста и при этом не вайп и не паста
290 1772549
>>772483
>>772519

> Вроде бы подходы с обучаемыми ембеддингами были в берте, и там они проиграли классике.


Тоже где-то читал подобное. Я не считаю, что диплернинх в НЛП это прямо путь в никуда, просто скорее всего, он не даст радикального превосходства. С (очень хорошо обоснованной практически) точки зрения RFT, relational frame theory, речь это довольно простая вещь, даже очень сложные языковые структуры сводятся к небольшому набору очень простых отношений. И я уверен, что fasttext'а вполне достаточно для полного представления речи. Просто нужны более хитрые методы анализа, не только косинусы между векторами. Что-то было про нелинейные эмбеддинги, вроде сферы Пуанкаре. В начале нулевых ещё довольно удачно пробовали растуще-иерархическими картами Кохонена анализировать TF-IDF на основе архивов новостей http://www.ifs.tuwien.ac.at/~andi/ghsom/publications.html , с современными эмбеддингами никто таких экспериментов не ставил. Думаю, что-то такое нужно лучше разбирать. В НЛП сейчас ситуация такая, что нужно не прыгать, а думать.
291 1772892
>>772549

>сферы Пуанкаре


>картами Кохонена


Сфинктер Жопеля, пупок Пупселя
292 1772894
>>772530

>куски текста


Графоманыс
293 1772918
>>772892
кручение лжеца и пуки подлеца! Несчастный крокодил и тихий педофил, а я мечу икру, вставая поутру
294 1772976
>>772918
Как нейронка, не отличишь.
295 1772981
>>772976
Так вот оно что! Вместо нейронки к продакшену можно прикрутить шизика.
Всё, посоны, организуем стартап.
296 1772995
>>772981

> прикрутить шизик


Шизофазика, тогда точно не отличишь.
297 1773003
>>772892
ты машину больцмана забыл
298 1773004
>>773003

>больцмана


Боцмана
bocman-i-popugaj.jpg23 Кб, 200x300
299 1773005
>>773004
тогда уж попугай боцмана
300 1773278
посоветуйте годный курс/книгу по image processing/opencv и все рилейтед
301 1773280
>>773278
сорян оказалось выше уже обсуждали то же самое
303 1773598
>>773502
Что за чел, какой опыт у него.
304 1773616
>>773598
Прошел курс от skillfactory
305 1773641
>>773616
Хуя пригар
15949572740980.jpg92 Кб, 648x597
306 1773810
>>773502
>>773616

> Прошел курс от skillfactory


Живая иллюстрация к поговорке "стою на асфальте в лыжи обутый, то ли лыжи не едут, то ли я ебанутый". Зумер вкатывальщик занёс бабла инфоцыганам, а теперь недоволен, что его и ему подобных максимум - пилить кабанчику один проект несколько лет.
307 1773838
Хикканам тут не место.
https://www.youtube.com/watch?v=3HWocUXL91g
308 1773841
309 1773844
>>773838>>773841
Перезвоним-тред в соседней вкладке
310 1773848
>>773810
>>773616
Живая блядь иллюстрация к тому что шиз вообще залётный школьник скорее
311 1773852
>>773848
Живая иллюстрация, что даже он не стал смотреть эту хуйню
312 1773859
Чуваки, как побороть эту ебаку? CPU считает в 50-100 раз медленнее, алё. Уже три учетки перепробовал, пидарасы из гугла сразу детектят. Прошло больше суток, сколько еще ждать?
313 1773863
>>773852
О, а вот и настоящие зумеры на пердаках подлетели
315 1774003
>>773975
Все понятно, типичный токсичный хуесос с хабрапомойки
316 1774060
>>774003
По-моему, токсичный рвущийся хуисас тут ты
317 1774072
>>773863
Есть такая примета, смотришь на ютубе видео про вкат в любую профессию, тебе пизда, ты не вкатишься. Потому что тема тебе на самом деле не интересна, тематическая инфа сложна, а реворд получить хочешь, вот и смотришь якобы полезные видео с 0 полезной инфы. Чел живет в своем пузыре, а рынок большой и огромный. Единственное, что можно сказать, глядя него, инглиш должен быть fluent, а работа на рашкоэкономику ведет к тому самому dnn.readNetFromSlesarplow и мозговой деградации
318 1774084
>>774060
У вкатыша стадия отрицания, не трогай
319 1774089
>>774072

>инглиш должен быть fluent


>рашкоэкономику


>смотришь на ютубе видео


Швабропидор, ты зачем из свой швабропомойки вылез?
320 1774095
>>774072

>инглиш должен быть fluent, а работа на рашкоэкономику


Ох уж эти мечты о зелёной траве и "большом и огромном" рынке у соседа. Ага, это же не то что бы ml в бизнесе заграницей стал применяться намного раньше, тем самым раньше сведясь к "заткнись и поддерживай" рутине, неее.
321 1774096
>>774089

>>>смотришь на ютубе видео про вкат в любую профессию, тебе пизда, ты не вкатишься


>>смотришь на ютубе видео


У тебя дислексия что ли?
322 1774241
>>774060
>>774084
Бомжи с хабропомойки спок
323 1774281
Поясните лучше мем про Slesarplow.
Это вообще что?
324 1774312
>>774281
Фреймворк для датаслесарей
325 1774484
>>774281

> Поясните лучше мем про Slesarplow.


> Это вообще что?


Tensorflow.
326 1774488
Дата-сатанист - меркетолух с питоном вместо экселя?
328 1774713
>>773859

>Чуваки, как побороть эту ебаку? CPU считает в 50-100 раз медленнее, алё. Уже три учетки перепробовал, пидарасы из гугла сразу детектят. Прошло больше суток, сколько еще ждать?


Зачем ты лезешь в ML, не имея своей видеокарты? Если нет денег, то для начала устройся программистом, поработай несколько лет, наберись опыта. После этого вкатываться в ML будет намного легче, и будут деньги чтобы без задней мысли купить два титана.
329 1774714
>>773859
Купи себе 2080 и считай на своем компе
330 1774854
>>774714
На колабе что-то типа 1060 с в 2 раза большим объемом памяти, цена вопроса меньше 10к
15933077694650.png83 Кб, 511x407
путь зумера вкатывальщика 331 1774875
>>774713

> Зачем ты лезешь в ML, не имея своей видеокарты?


> занеси дяде за видеокарту


> занеси инфоцыганам за шад


> проследуй в "мы вам перезвоним" тред

332 1774876
Пасаны, дайте тактический совет.

Я использую jupyter чтобы быстренько покопаться в лог-файлах и построить отчетность. Да,это не ML, но спросить больше негде.

Код представляет из себя последовательность преобразований и я могу вставить туда ipywidgets для интерактива.
Сначала логи скачиваются, потом ниже обрабатываются. Все этапы в отдельных ячейках.
Эта структура кода нетипична для программиста.

Какой наиболее удобный способ опубликовать приложение прямо в виде notebook чтобы я мог продолжать его менять без изменения линейной структуры?

Я попробовать voila,но оно просто исполняет все ячейки подряд, а к интерактивной кнопке придется вызвать функцию и я не смогу пересчитать отдельные ячейки.
Я знаю про streamlit, но он тоже требует сменить концепцию.

Каким вы делаете самый первый прототип приложения?
333 1774885
>>774713
>>774714
У меня есть, хочу обучать одну модель у себя, а вторую халявно ебошить в колабе. Покупку ещё одной карты не предлагать. Потому что тогда я буду обучать две модели дома, а третью в колабе и т.д.
334 1774888
>>774885

>У меня есть, хочу обучать одну модель у себя, а вторую халявно ебошить в колабе.


Если ты реально купишь 2080, которая работает на порядок быстрее того, что есть в колабе, ебаться с банами ради тамошних тормозных карточками ты уже не будешь. На самом деле даже с 1080 уже не будешь.
А лучше научись грамотно делать исследовательские модели. 99% твоих йоба идей можно проверить на MNIST на бабушкином утюге за 5 минут.
IMG20200809203001.jpg1,3 Мб, 4000x3000
335 1774905

>Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.



Порылся так и не нашел никаких модификаций перцептрона, только другие архетектуры нейросеток. Разве в прогнозировании фондового рынка не обычный перцептрон юзают?
336 1774909
>>774555
Ебать он сладенький пупсик с крашенными губками.
1476241952izvestnaya-muzhskaya-zadnica-v-internete-1.jpg32 Кб, 800x471
337 1774910
>>774909
Типикл датасаентист пикрил
Untitled.png357 Кб, 826x577
338 1774928
>>774555
Большинство же около верхнего угла?
339 1774980
>>774928
Ага, это петушиный угол
шутка ради шутки, на самом деле петушиный угол это справа снизу
340 1774997
Парни, я задумался о новом компе. Комп будет общего назначения (разработка, сайты, фильмы, игры, machine learning). Особо гонять видуху не буду (не чаще пары часов в месяц на ML, она видео рендерить будет чаще чем machine learning), но всё же.
Вот сейчас выбираю видео-карту. Титос за сто тысяч брать жаба душит
https://market.yandex.ru/catalog--videokarty/55314/list

RTX 2070 (за 50 тысяч) это минимум? Или GTX 1660 (за 20 тысяч) пойдёт?
341 1775037
>>774997

>Титос за сто тысяч брать жаба душит


Ну это совсем деньги на ветер, для датацентров всяких

>RTX 2070 (за 50 тысяч) это минимум


Он же по 40 скорее. Если есть 20к на 1660, лучше добавить 4к и купить 2060.
Если таких денег нет, велком на рынок б/у 10xx.

>видео рендерить будет чаще


Тогда лучше загугли бенчмарки по видео. В диплернинге скорость не так важна, ну реально, 6 часов или 8 будет что-то тренироваться, один хер долго. Гораздо важнее объем памяти, но не для твоих целей.
342 1775054
>>775037

> Он же по 40 скорее


https://www.citilink.ru/catalog/computers_and_notebooks/parts/videocards/1174210/
RTX 2070SUPER за 44 100. Окей

https://market.yandex.ru/compare/9a07226d01a7cc5f67c5774bb1f3c2ebdec244900fac8af01dd7d3ae66ed5d7a?hid=91031&id=363510162&id=605227088&id=647027659

Самая присамая дешёвая RTX 2060 стоит 26 000 (средняя от 35 000). Но если это того стоит, то я готов.

Окей, спасибо, буду думать
343 1775074
>>775054

>Но если это того стоит, то я готов.


С парой часов в месяц на ML - не стоит, для этого есть гугл колаб. Если решишь заняться серьезно, к тому моменту цены дропнутся. Посмотри перформанс на рубль для рендеринга своего видео/игор и решай тогда. Единственное У видюх сейчас слишком дохуя параметров (скорость, память, поддержка fp16), чтобы сходу можно было подобрать под свой бюджет.
344 1775086
Этот же чел говорит, что все на DGX сидят щас
https://www.youtube.com/watch?v=wxYFDQuapFU
345 1775179
>>775086
Посмотрел на x2. Вообще ни о чём
346 1775185
Пиздец, стерли релевантный коммент. Надо было съебать из этой помойки еще в прошлый раз. Большего, чем флуда в перезвоним-треде этот мочан недостоин
347 1775189
>>775185
Ты долбоёб, потому что. Человек закинул порнуху. Никогда не отвечай на порнуху и никогда не отвечай долбоёбам, которые ответили на порнуху. И никому из них. И из этих. Трут всю ветку. Я поэтому не отвечаю в одном посте сразу многим, а разбиваю по паре сообщений. Если потрут, то не всю ветку
348 1775190
>>775185
Во тебе копия:

>>775086
Пиздец он разводила конечно. Работадатель слил цену трешки в москве, чтобы этот хер мог дальше надрачивать себе рейтинг на кагле и толкать свои неинформативные телеги на митапах. Наверное мотивирует это тем, что он престиж конторы повышает, ну либо делит откат с отделом закупок.

Ответ:
Таких как он приглашают выступать на митапы. Лул.
349 1775202
>>774875
Не хочешь? Можешь занести антошке за разметку
https://www.youtube.com/watch?v=fKnYZ4qR2po
350 1775295
>>774888

> На самом деле даже с 1080 уже не будешь.


Не учи батю мимо унитаза срать
351 1775344
>>775295
Птушник даже не понял, почему я написал про 1080. Впрочем, хуй с ним
1460559291706.mp412,7 Мб, mp4,
853x480, 0:13
352 1775346
>>775344
Эта зависть бесценна :D
353 1775416
Есть материалы по самостроящимся нейронным сетям?
354 1775429
>>774980

>на самом деле петушиный угол это справа снизу


Слева снизу.
355 1775433
>>775429
Слева снизу блатные
356 1775444
>>775433

>Слева снизу блатные


Блатные сверху - затратили меньше всех усилий и времени, но в то же время управляют остальными и зарабатывают больше всех. Мужики справа снизу - работают за достойную зарплату, но выполняют намного больше работы чем блатные, которым они подчиняются. Петухи слева снизу - работают за идею и миску риса, презираемы как блатными, так и мужиками.
357 1775446
>>775444
Петуха забыли спросить
datascientist.png136 Кб, 482x400
358 1775455
>>775446

>Петуха забыли спросить

359 1775515
>>774555
Я не понел, рисёрчеры придумывают новые методы и пишут статьи, аналитики чертят графики и пиздят с презентациями заказчикам, инженеры натягивают хадуп из семи залуп, а кто собственно модели-то тренирует, решает практические задачи? Ну шоб как на каггле, только ещё и без готовых данных и чёткой постановки проблем? Это типа Дата аналитики?
360 1775541
>>775515

>а кто собственно модели-то тренирует, решает практические задачи?


Стажёры.
361 1775556
>>775541
Трейни.
362 1775835
>>775515
Ты так нихуя и не понял? "Пиздят заказчикам" - это и есть практическая задача мошиах лернинга. А по твоему вопросу - just stack more layers
15972209618470.png281 Кб, 826x577
363 1775843
364 1775852
Можно сказать, что не знаю в МашОбе ничего. Но сейчас смотрю видео с одним математиком, и он сказал, что МашОб сейчас в большинстве своем - функциональный анализ, тогда как у вас в шапке написано "базовый матан".
Так как на самом деле?
365 1775865
>>775852
В шапке правильно написано. Нотация может быть любая, в том числе и с применением функционалов и операторов, как у того же Вапника, но в общем случае это выебоны.
Screenshot2020-08-1312-27-15.png194 Кб, 692x420
366 1775904
>>775515

>а кто собственно модели-то тренирует, решает практические задачи


МЛ-инженер

>Это типа Дата аналитики


Аналитик работает в экселе, дата аналитик выучил питон и работает в pandas
367 1776118
>>775904

>МЛ-инженер


Сколько вакух на ML engineer не просмотрел, везде в обязанностях только поддержка пайплайнов, хадуп через спарк и в лучшем случае выкатка в прод.
368 1776194
>>776118
Не знаю, где ты смотрел, возможно ты набрал на хх.ру ml engineer и там вылезла куча позиций типа data engineer
https://hh.ru/vacancy/38309102 - разработка, деплой на мобилах, оценка алгоритмов
https://hh.ru/vacancy/37711158 - подготовка датасета, обучение нейронок, и только потом хадуп
https://hh.ru/vacancy/38089770 - изучение, адаптация и внедрение SOTA
https://hh.ru/vacancy/38364004 - мутные требования, но тоже разработка алгоритмов
https://hh.ru/vacancy/36734347 - разработка алгоритмов, сбор датасетов
https://hh.ru/vacancy/38131473 - проработка архитектуры сервиса, и построение data-sets, и feature engineering
https://hh.ru/vacancy/38458529 - Исследование и внедрение алгоритмов и инструментов ML

>хадуп через спарк


А чем тебе хадуп и спарк не нравятся? Йоба-датасеты можно препроцессить и на SparkML обучать
369 1776241
>>776194
А, ну может сейчас исправились.
Когда меня года полтора назад приглашали на мл инжинера (случайно видимо), мне всегда говорили ну мл это хорошо, но нам это не надо, скажите а есть ли у вас опыт разворачивания сервисов?
370 1776252
>>776241

> ну мл это хорошо, но нам это не надо


Ну учитывая что это вообще все вакансии на эту позицию в Москве (еще можно несколько нарыть с другими заголовками), не особо и надо.
Проще научиться девелопменту (например разбираться лучше всех в CUDA), а потом перекатиться внутри конторы.
371 1776363
Где взять два года опыта работы?
372 1776375
>>776363
Где-нибудь здесь https://hh.ru/vacancy/37133211
373 1776416
>>776375

>имитационное моделирование различных процессов и систем в области радиолокации и радиотехники в программной среде MatLab.



молодец, хорошо пошутил, а теперь вспомни название треда плиз
15973192814860[1].png12 Кб, 892x265
374 1776516
375 1776521
>>776516
Хуя требования.
Легче тогда уж вручную таким челам писать. С десяток незанятых наверное наберется.
376 1776526
>>776516
Вполне себе требования. Даже итт половина имеет PhD.
377 1776531
>>776516
Там платят дофига + это билет в Большой Машоб. Ясно что там все кодерки эрефии бы подали сиви. Поэтому могут выбирать самый топчик.

Ты еще не знаешь требовамий на ML-PhD в топ лабах США. Там нужно иметь несколько статей в топ конференциях (при том что ты еще даже не начал ПхД), рекомендации от известных профессоров, мастер из лиги плюща - это минимум чтобы тебя вообще рассмотрели. В МЛ адовая крысиная гонка сейчас.
378 1776539
>>776531

>Там платят дофига


>Junior Сomputer Vision Algorithm Developer/intern


60-80к, не больше.
379 1776545
>>776539
Не знаю именно по этой вакансии, но вообще по слухам Хуавей платит радикально больше, чем другие конторы в рахе.
380 1776606
>>776539

>60-80к


В месяц или год?
381 1776637
>>776521
Да нет там таких требований, это китайцы что-то намудрили. Посмотри, чел даже запятые правильно поставить не может, он мог точно так же неправильно понять слово "требования". Реальные требования - мага, английский, С++ уровня лаба.цпп, опыт работы.
>>776539
Больше раза в полтора
382 1776646
>>776637
Ты реально думаешь, что там херки не русские?
383 1776650
>>776646
При чем тут херка? Она скорее всего скопипастила требования которые ей китаец дал. Тут дело даже не в том что пхд, а что и пхд и призер и медаль. Это бред, так не бывает. Ну а еше я знаю тех кто там работает. Разные люди там
384 1776652
>>776650

> Тут дело даже не в том что пхд, а что и пхд и призер и медаль. Это бред, так не бывает


Почему?
385 1776664
>>776652
Потому что таких людей можно и самому найти, а не подавать объевление???
15582200913501.jpg47 Кб, 720x720
386 1776668
Расскажите свою историю успеха вката в машин лернинг.

Сам пока что прохожу курсы по математики и курс от МФТИ на степике.
387 1776673
>>776606

>В месяц или год?


Рублей в месяц.
388 1776690
>>776673
Заканчивать МФТИ/ВШЭ/МГУ, чтобы работать за меньше 1к баксов в месяц на китайцев это очень смелый, но глупый поступок.
389 1776712
>>776690

>Заканчивать МФТИ/ВШЭ/МГУ, чтобы работать за меньше 1к баксов в месяц на китайцев это очень смелый, но глупый поступок.


А что ты хотел? Зарплаты во всех областях IT примерно одинаковые. Джун получает 60к независимо от того, занимается он машобом или веб-макакингом.
390 1776739
>>776668
Да не вопрос. Учился на мехмате МГУ, программировать получалось, но мне было скучно именно сам код набивать, взял академ, попробовал курсы на курсере, понял, что это прет, у меня таллант к этому, понравилось, поступил в более слабый аналог ШАД, учился, дрочил машинку, доучивал матешу, которую не доучил, что-то наоборот лучше понял, взяли на работу сначала кодером, проявил себя и взяли джуном.
То, что я видел на курсере, кстати - это вообше пыль, там дают общие сведения на пальцах по простейшим алгосам, ни работать с данными, ни базовых основ реальных алгоритмов, ни нормальной математики, ни подводных камней - ничего этого нет. Я уж не говорю про то, что полноценного курса по нейронкам еще ни разу не видел, обычно на пальцах ганы и говноенкодеры показывают, не более.
391 1776759
>>776739
stepik.org/org/dlschool
Что скажешь за их курсы? Норм?
392 1776780
>>776739
ИМХО сам формат видеокурса не подходит для серьезных тем. Помимо лекций, нужно еще читать книгу (диплернингбук и т.п.), делать упражнения - самому все реализовывать, копаться с данными, разбираться почему не работает, подбирать гиперпараметры. Кагл для этих целей неплохо подходит - не за призы бороться, а, скажем, хотя бы в серебро попасть.
Если ты просто отсмотрел видосики как аниме, клюя носом, то время потрачено зря.
393 1776808
>>776780

> Если ты просто отсмотрел видосики как аниме,


Так это и есть аниме. Рассчитанное на зумеров с клиповым мышлением. Для нормальных людей источник знаний - книга, уже не первое тысячелетие, к слову.
394 1776815
>>776637

>Да нет там таких требований, это китайцы что-то намудрили.


Ахах)
v-they-are-billions-slishkom-slozhnaja-sjuzhetnaja-kampanij[...].jpg441 Кб, 1200x638
395 1776818
>>776637
Нейронки на хайпе + пандемия с увеличившейся безработицей = дохуя вкатышей. Вот они планку и подняли.
396 1776828
>>776690
Еще более глупый поступок - слушать шизиков по поводу зарплат. При чем один такой шизик спизданет что-то, другой подхватит, а через месяц это уже устоявшаяся инфа от анона.
397 1776883
>>776759
Смотрел только со степика. Все то же самое, что и про курсеру. Вообще нет онлайн курсов подобного формата, где что-то бы отличалось.
Кстати, имейте в виду, что сейчас выпускников подобных курсов, как грибов после дождя, неадекватное количество какое-то, туда 30-40 летние управленцы из других специальностей идут.
>>776780
Не совсем, кагл пропускает мимо большинство проблем, которые влияют на качество заметно сильнее, чем шатание фичей и моделей. Какие-то шишки набить можно, основные, но не более.
Книги - конечно лучше и глубже чем курсы, тот же дип ленинг бук уже серьезная основа. Но лишь основа, практики там нет никакой, кроме того же шатания моделей.
398 1776887
>>776818

>Вот они планку и подняли.


Не подняли, я такую хуйню на собесах творил и говорил, а меня все равно зовут, потому что я реально джун. А вкатыши как вкатились, так и пытаются свои пет проджекты пилить, да статьи на хабре читать.
399 1776888
>>776808

>Для нормальных людей источник знаний


Университеты с лекциями и семинарами. Но это во все времена был крайне дорогой формат, который в массовом варианте изжил себя, потому что лекция имеет смысл, когда у тебя хороший лектор, а не хуй с горы, и хорошие студенты, потому что караван идет со скоростью самого медленного верблюда. То есть в 20 веке все думали, раз со школами получилось добиться массовой грамотности, то мы ща наштампуем университетов, и все будут массово инженерами. А на самом деле уровень инженерии упал ниже плинтуса.

Зато удаленка улучшает именно массовый вариант - посмотрел лекцию топового чувака бесплатно, прочитал главу в учебнике, сделал упражнения без гугла, в чатике обсудил с себеподобными, а так как разные люди обращают внимание на разное, погрузился в тему еще больше.

А книги рожают типичных дилетантов, потому что отсутствует главное - обратная связь от реальности. Человек погружается в свой манямир и живет там.
400 1776914
>>776888

> А книги рожают типичных дилетантов, потому что отсутствует главное - обратная связь от реальности. Человек погружается в свой манямир и живет там.


С чего бы? Книга это теория, конкретное программное обеспечение - практика, полученные результаты - обратная связь от реальности.
401 1776974
>>776780

>ИМХО сам формат видеокурса не подходит для серьезных тем. Помимо лекций, нужно еще читать книгу (диплернингбук и т.п.), делать упражнения - самому все реализовывать


Так в нормальном курсе есть упражнения, которые проверяет робот, пдфка для справок во время делания дз и тусовка (и не одна), в которой одни люди задают вопросы, а другие отвечают. Они берут массовостью и массовость решает. Даже если ты очень умный, из 10к людей найдется такой, который задаст вопрос, который поставит тебя в тупик. В универах ничего подобного нет.
Проблема у курсов в другом. Курс хорош, когда ты к нему готов. Тогда он идет легко, и затраченные усилия не кажутся потерей времени.

А как поступают вкатывальщики? Первая мысль - да, я ебанил 10 лет, то сейчас я замотивирован. Буду страдать. Далее записывают себя на курс, после которого можно сразу идти зарабатывать джуном. Очевидно это будет не курс линала, за линал не платят.
Этот курс, сука такая, содержит всю нужную инфу начиная с объяснения, что такое матрица, поэтому производит впечатление, что можно и не знать, что такое матрица, вот же все объяснено.
Проблема в том, что эта инфа нужна для освежения информации и знакомства с нотацией конкретного лектора, а вкатывальщик думает, что это и есть курс. И не понимает, с хуя первые полчаса все понятно, а потом начинается какая-то жесть. Сидит, гуглит. Нагугленная инфа забывается так же быстро, как гуглится. В итоге по окончанию курса человек не помнит нихуя, даже въебав часы в это все. Зря такой курс не прошел естественно - тот же линал пойдет легче, а после этого можно вернуться уже в ML. Но вкатывальщик об этом не знает, он начинает поносить курсы и говорить, что всю инфу можно и так нагуглить.
И ему либо не везет и он идет в макдак, либо навыки жулика срабатывают и он-таки попадает на джуна, будучи нулем.

Поэтому если охота учиться по курсам, надо открыть программу любого вуза и идти по дереву этих самых курсов. Это будет круче книг и заборостроительных вузов.
402 1777058
>>776545
По каким слухам, по этим? https://www.interfax.ru/russia/716731
Это они когда кого-то конкретного переманивают не скупятся
Платят ниже рынка
sage 403 1777062
>>777058
Бабушкин вообще жаловался, что его месяц по собесам гоняли, а потом предложили меньше, чем он сразу сказал, что даже говорить не будет, еще и обосновали это типа: для вас же не деньги главное - заходы уровня тинька, короче.
404 1777073
>>777062

> для вас же не деньги главное


Да... Люди же на работу не деньги зарабатывать устраиваются.
405 1777087
>>777073
Вообще такое иногда бывает, но это касается сеньоров-помидоров, которые уже давно пилят проект, их иногда перестают деньги ебать, но в основном потому, что им платят очень много и у них уже все есть и им интереснее проект делать.
406 1777117
>>776828

>Хуавей


>ряя шизики!

407 1777144
>>758961 (OP)
Приветики, как там ваш мл в 2020? Где подвижки, почему ничего не делаете?
408 1777153
>>777117
Конечно шизики, а хули ты хочешь. Какие-то собственные фантазии выдаются за 100% инфу и начинается дружный самоподдув. Один вообще начал дрочить на какого-то балабола из пятерочки. Ебать, оказалось где-то нужно работать, а не просто языком молоть.
15973422122320[1].png12 Кб, 892x265
409 1777156
>>777144
Потому что олимпийскую суперкоманду еще не собрали.
410 1777167
>>777153

>Какие-то собственные фантазии


Нихуя отрицание. Чел, это не "фантазии", а объективная реальность рынка
1570993208229.jpg1,7 Мб, 2060x1490
411 1777169
412 1777173
>>777156
Бля это про меня, дай ссылку на вакансию.
413 1777195
>>777153

>балабола из пятерочки


Сладенький Бабушкин
414 1777208
>>776712
Вот это не очень понятно.
ведь джун МЛ участвует в принятии стратегических решений через одно рукопожатие до генерального. Ответственности дохуя.
415 1777219
>>777153

> балабола из пятерочки


Буду каждый пук его засасывать и сюда скидывать. Просто, чтобы наслаждаться твоим бугуртом.
image.png144 Кб, 680x337
416 1777227
>>777173

>Бля это про меня


>ищёт работу на сосаче

417 1777228
>>777219
Он от любых персоналий, напоминающих ему о собственной ничтожности, горит. Вон, омежку мальцева сверху так же обосрал.
833915285607956146510338058475029555314688n.jpg22 Кб, 350x448
418 1777234
>>777227

>2к20


>не искать работа на дваче

419 1777236
>>777153
Ты хрюня из хуйвея что-ли? Оу, херроу!
Проблема только в том, что это только ты ничего не знаешь что творится в индустрии потому что маняфантазёр-ноулайфер; а все нормальные пацаны, как я например, через одну руку знакомы с теми кто в этой китайской параше поработал.
1558962036804.jpg65 Кб, 960x800
420 1777237
>>777236

>через одну руку знакомы

421 1777488
Дорогие двачане, тут у меня встал вопрос хуй как в уже обученную нейронку добавить новый класс и дообучить её не теряя старые? Есть варианты кроме transfer learning и полного переобучения? Важно именно не переобучать с нуля, а дообучить уже готовое. С меня как обычно нихуя
422 1777544
>>777237
Пидорашка всё про своё любимое
423 1777551
>>777544
Пидорашки это те, кто "через одну руку знакомы" со всеми китайцами???
424 1777584
>>777488
Сука, откуда вы дебилы лезете. Начитались говна на хабре, шаблонов научили и все. Оторви голову и дообучи с новым классом, пидорас.
425 1777591
>>777584
Тогда прошлые по пизде пойдут
426 1777608
>>777591
Кто прошлые? Почему?
Что?
427 1777631
>>777208

>ведь джун МЛ участвует в принятии стратегических решений через одно рукопожатие до генерального. Ответственности дохуя.


Джун чистит вилкой данные. В принятии решений участвуют сеньоры/лиды и очень редко мидлы.
428 1777698
>>777608
Про оторви голову я уже написал (transfer learning для тупых) прошлые классы пойдут по пизде из-за катастрофического забывания. Тк новые слои не увидят старых данных и обучатся только на новых блять
429 1777738
>>777488
Натренируй новую сетку на задачу бинарной классификации: детектить новый класс или старые. Затем для инференса используй логику
if новая_модель.predict(x) = новый_класс:
return новый_класс
else:
return старая_модель.predict(x)
430 1777741
>>777738
PS вместо всех старых данных используй какую-нибудь подвыборку для новой модели в смысле
431 1777742
>>777208

> джун МЛ участвует в принятии стратегических решений через одно рукопожатие до генерального


а потом просыпается на лекции
432 1777751
>>777742
У тебя есть опыт работы джуном мл или ты кукарекаешь с высоты своего опыта в вебе?
433 1777754
>>777236

>Проблема только в том, что это только ты ничего не знаешь что творится в индустрии потому что маняфантазёр-ноулайфер


Я помогал знакомому туда устроиться джуном, он устроился (сам я там не работал и вообще первый раз услышал что что-то про них) При чем говорил я то же самое, что вам, тупеньким, что текст в вакансии всегда содержит завышенные требования. А так-то я конечно не знаю, что творится в вашей петушиной "индустрии" и не претендую. Говорю только за хуавей, при чем за конкретную позицию. Просто теперь можно задуматься, если вы так пиздите о том, о чем я знаю, то как же вы пиздите о том, чего я не знаю. Тут были какие охуительные истории про самсунг, яндекс и т. д., видимо у них такое же качество протухших инсайдов.
434 1777755
>>777751
с высоты своего опыта на совершенно разных позициях: в вебе, в ядре финтеха, числодробилках, МЛе.
Какие ты стратегические решения принимаешь? XGBoost или CatBoost? Это не стратегическое решение. Стратегическое решение это взять тебя, болвана, на баланс
435 1777757
>>777738
Да если бы бинарный можно было бы юзнуть просто, то я бы сюда не писал. Заказчику нужна именно та модель, чтобы её можно было просто через json заимпортить
436 1777769
>>777757

>Заказчику нужна именно та модель


Обучить с нуля любую модель, если датасет и параметры оптимизатора где-то написаны, не очень сложно. Тебе нужно просто обучить ее по инструкции, показать, что у нее такой же перформанс, как у оригинальной модели, затем добавить в датасет новый класс и обучить опять с нуля. Это имеет смысл, если у тебя не BERT какой-нибудь конечно, и обучение занимает часы и дни на GPU. Тогда за пару дней обучишь оригинальную модель, еще за пару дней обучишь уже новый датасет.
Transfer learning использовать можно, для этого нужно сбросить некоторые слои в конце (обычно полносвязные) и обучить только их, но результат будет хуже.
Все остальные варианты будут еще хуже, на уровне шизы и фричества уже
437 1777776
>>777698
Ну старый датасет тебе, ленивая жопа, скачать все равно придётся. Далее ты добавляешь в него новый класс и дообучаешь чистые слои.
Но объем работы человека при этом больше, если сделать то же самое с нуля. Поэтому надо делать как я в прошлом посте написал, показать клиенту что ты можешь бейслайн воспроизвести, а потом уже обучать с нуля.
438 1777779
>>777755
А корочки у тебя будут или ты можешь только кукарекать на дваче?
439 1777796
>>777754

> А так-то я конечно не знаю


Ключевое из твоего словесного поноса

> При чем говорил я то же самое, что вам, тупеньким, что текст в вакансии всегда содержит завышенные требования


Прекрасно, шизопетух, речь шла про бабки, не увиливай
440 1777797
>>777757
В смысле, "та"? Логику с ифами можно в сетку превратить если очень хочется
441 1777901
>>777779
какие я тебе корочки покажу, если программированием занялся ещё в средней школе?
442 1777922
>>777754

>текст в вакансии всегда содержит завышенные требования


Иди сразу подавайся на гендира Роснефти, хуле на этот ваш машинлернинг размениваться
443 1778010
>>777755
Если джун мл неправильно почистит вилкой данные, то ошибочные решения заведут всю компанию в жопу.
А серьор-помидор сколь угодно хуевый софт может может выдавать долго и безболезнеено.
Вот поэтому непонятна разница в зарплатах
444 1778048
>>777796

>Ключевое из твоего словесного поноса


Дэмэдж контрол - мое почтение. Сидит такой лайфер на дваче, занимается распространением сплетен с инфой от уволенного знакомого знакомого, а оказывается, у кого-то есть инфа не через десять рук.

>Прекрасно, шизопетух, речь шла про бабки, не увиливай


При отклике на вакансию? Ты наркоман что ли?
445 1778057
>>778010

>Если джун мл неправильно почистит вилкой данные, то ошибочные решения заведут всю компанию в жопу.


Это тебе так на курсах сказали?
446 1778217
а чо реально без пхд за бугор не свалить? с бакой например?
unnamed.png186 Кб, 403x512
447 1778226
>>778217

> с бакой


Заметут за лоликон
448 1778270
>>778048

> кококо да я не знаю мне похуй


> ой пок пок на самом деле знаю был джун


> ну там был джун какой-то чёто там у меня спросил


> кукареку испервыхрук!!


> а при чём тут деньги? я не пра деньги!


Клоун, маняврировать там тупым как ты запрещено, мы тут всем тредом от испанского стыда помрём.
449 1778403
450 1778445
>>778403
Это какой-то новый уровень шизоотрицания. "Нет, врёти, laba1.cpp, яскозал!!1!"
451 1778452
>>778403

> 60-80к


> Больше раза в полтора


> (на самом деле нет)


Кто петух? Ты петух
Бабушкин всё правильно про этих обезьян подметил
452 1778481
>>778452

>Кто петух?


Вот главпетух - >>778270 . Думал, раз обосрался с "уволенным знакомым знакомого" (вот уж где кринж-то, максимум омежности для демонстрации своего лайферства), сманеврировать, решил высрать стену гринтекста, обвинив меня самого в маневрах, и соснул опять, ведь про деньги я писал вообще первым делом.
Если это был ты, то ты и есть главпетух, ну либо просто рядовой тухлодыр. Оба чмошники, понятное дело.
А про вакансию эту я хуавеевцу рассказал, поржали.
453 1778482
>>778481

>Думал, раз обосрался с "уволенным знакомым знакомого" (вот уж где кринж-то, максимум омежности для демонстрации своего лайферства), сманеврировать


>нет ты!


Решил продолжать позориться? Ок
В общем, ты, маняшиз обосрался по полной и выбрал самую проигрышную стратегию полных отрицаний и игнорирования, мы это уже в треде ЗАФИКСИРОВАЛИ, можешь не дёргаться дальше
454 1778493
>>778481

>ведь про деньги я писал вообще первым делом


Ну да, и обосрался, а потом начал вилять сракой и кричать врёти на потеху 80% здесь сидящих для кого гроши вместо норм зп в хуйвее common knowledge просто. Ты ещё может про яндексовую практику давать ниже рынка не в курсе?
455 1778518
>>778493
Единственный аргумент - "мои пруфы пруфовее твоих пруфов", который ты пытаешься дать в разных обертках, но внутри-то все как было все протухшее, так и есть. Сначала это было что я нолайфер и у меня нет инфы из хуавея, я разъебал, потом, что я маневрирую, я разъебал, теперь пошел поиск авторитетов - мол, common knowledge и "80% треда". По-русски это называется "одна бабка сказала". Ты же омежка без софтскиллов и действительно веришь той хуйне, которую тебе сообщают в курилках и прочих местах необязательного трепа, но, прикинь, там могут пиздеть, живи с этим.

>Ты ещё может про яндексовую практику давать ниже рынка не в курсе?


О, это охуенный вопрос. Во-первых, я выше писал, что если вы про хуавей пиздите, то может и про остальное пиздите тоже. Во-вторых, я в курсе том, кто на тему яндекса пиздел с пруфами, и устроился после подобного пиздежа про яндекс на 200к в другую контору. То есть этот миф "мне в яндексе платили ниже рынка, но вообще я очень крутой, вон, в яндексе работал, платите мне сходу дохуя" - он работает, он выгоден всем, кроме наебанных строчкой в резюме работодателей (но и им зачастую похуй, потому что в продукте они не заинтересованы). А что там на самом деле у яндекса, не ебу. Так же, как я понятия не имел - 120к это выше рынка или ниже, и мне похуй, для меня единственный индикатор - это ваше жопоразрывание. Получается, выше, жопы-то рвутся. Хотя в прошлом треде был джун со 150к, ну и я тогда подумал, что хуавей платит ниже, потому что 120<150. Мне, опять же похуй, если 120 - это ниже, значит ниже. Если выше - значит выше. А если 60к - это пиздабол и червь-пидор несет хуйню. Ну да, фирма, которая может позволить себе держать офис в Лондоне, зажопит штуку баксов, чтобы толковый джун от них ушел. Охотно верю. Это же китайцы, любой двощер умнее китайцев.
При чем я догадываюсь, откуда эта хуйня взялась. Это был парттайм. Естественно, никакой особенной работы при парттайме сделать нельзя, это чисто, чтобы удержать талантливого человека, пока он не перейдет на фуллтайм. Но подобное нужно обсуждать непосредственно с ним. А здесь петушки, "я на ютубе видел, как знакомый знакомого о хуавее рассказывает", говно и чмошники.
455 1778518
>>778493
Единственный аргумент - "мои пруфы пруфовее твоих пруфов", который ты пытаешься дать в разных обертках, но внутри-то все как было все протухшее, так и есть. Сначала это было что я нолайфер и у меня нет инфы из хуавея, я разъебал, потом, что я маневрирую, я разъебал, теперь пошел поиск авторитетов - мол, common knowledge и "80% треда". По-русски это называется "одна бабка сказала". Ты же омежка без софтскиллов и действительно веришь той хуйне, которую тебе сообщают в курилках и прочих местах необязательного трепа, но, прикинь, там могут пиздеть, живи с этим.

>Ты ещё может про яндексовую практику давать ниже рынка не в курсе?


О, это охуенный вопрос. Во-первых, я выше писал, что если вы про хуавей пиздите, то может и про остальное пиздите тоже. Во-вторых, я в курсе том, кто на тему яндекса пиздел с пруфами, и устроился после подобного пиздежа про яндекс на 200к в другую контору. То есть этот миф "мне в яндексе платили ниже рынка, но вообще я очень крутой, вон, в яндексе работал, платите мне сходу дохуя" - он работает, он выгоден всем, кроме наебанных строчкой в резюме работодателей (но и им зачастую похуй, потому что в продукте они не заинтересованы). А что там на самом деле у яндекса, не ебу. Так же, как я понятия не имел - 120к это выше рынка или ниже, и мне похуй, для меня единственный индикатор - это ваше жопоразрывание. Получается, выше, жопы-то рвутся. Хотя в прошлом треде был джун со 150к, ну и я тогда подумал, что хуавей платит ниже, потому что 120<150. Мне, опять же похуй, если 120 - это ниже, значит ниже. Если выше - значит выше. А если 60к - это пиздабол и червь-пидор несет хуйню. Ну да, фирма, которая может позволить себе держать офис в Лондоне, зажопит штуку баксов, чтобы толковый джун от них ушел. Охотно верю. Это же китайцы, любой двощер умнее китайцев.
При чем я догадываюсь, откуда эта хуйня взялась. Это был парттайм. Естественно, никакой особенной работы при парттайме сделать нельзя, это чисто, чтобы удержать талантливого человека, пока он не перейдет на фуллтайм. Но подобное нужно обсуждать непосредственно с ним. А здесь петушки, "я на ютубе видел, как знакомый знакомого о хуавее рассказывает", говно и чмошники.
15915000829940.mp41,7 Мб, mp4,
712x712, 0:10
456 1778579
>>778217

>за бугор

457 1778693
>>758961 (OP)
Посоветуйте чо копать в области cv + нейронки, я щас на уровне - обучил unet на своем датасете, все клево, хз чо дальше делать.
458 1778716
Работал в хуавее, платили сотку но при этом не оформляли в штат, отношение оформляются по договору подряда с тобой как с ипшником
459 1778832
>>778716
С олимпиадниками по матеше/проганью работал там?
460 1778860
>>778832
Там где я был в основном дядьки кмны 35+ были, уж не знаю олимпиадники они или нет в прошлом. Но вряд ли это было важно.
15950041129770.jpg4 Кб, 212x238
461 1778921
Эй, работяги, а вы блюдёте трудовую этику или следуете каким-никаким принципам при трудоустройстве?
Ну, например, Сбербанк строит электронный гулаг - пошёл он на хуй, ВК сливает данные полицаям и фсб - пошёл он нахуй, Хуявей - китайцы, а значит потенциальные противники, к тому же строящие гулаг - пошли они тоже на хуй и т.д.
Или деньги не пахнут?
462 1778954
>>778921
Наценка на гулаг точно должна быть. В сбер я бы пошел за 500к где-то.
463 1778956
>>778921

>трудовую этику


Тогда нигде нельзя будет работать. FAANG уже построил свой кибергулаг и продвигает повесточку
464 1778966
>>778921
Про гулаг только малолетние долбоёбы бесполезные рассуждают, с моими убеждениями это не расходится. Так что совмещаю приятное с полезным: делаю мир лучше вопреки шизикам и гребу бабосеки.
465 1778972
>>778966

>распознавание лиц


>контроль расходов со стороны банка


>контроль звонков и смс со стороны телефонных компаний


>анализ траффика у провайдеров


>не гулаг


Так ты и есть малолетний долбоёб, шавка режима.
466 1778986
>>778972
Штрафы за превышение скорости ещё забыл, ужасный гулаг.
Классика малолетнего долбоёба.
467 1778994
>>778986

>очередной нечегоскрывальщик


Классика.
468 1778995
>>778972

>то же самое в исполнении (((корпораций)))


>это другое

15945239917441.jpg76 Кб, 592x532
469 1779008
>>778995
Ни одна корпорация не придет к тебе в 2 часа ночи ломать дверь и отбивать яйца за то что по ошибке посчитали что ты впараше комментарий оставил.
https://www.severreal.org/amp/30748118.html Я понимаю, что многие зумера ,по своей ЛГБТ натуре сторонники сильного сапога в жопе, но реальность-то отрицать не надо, к чему ты кукарекчешь про другое?
470 1779062
Эксперты, поясните, нужно ли в бинарной классификации уравнивать классы не только трейн-набора, но и тест-набора? Просто у меня такая задача, что одного из классов обычно 5%-10% (самый максимум 20%). Я сначала уравнял в обоих наборах, стало заметно лучше, но потом я подумал "а зачем я уравниваю в тестовом, это же читерство?" и убрал оттуда уравниловку -- и стало опять плохо
471 1779079
>>779062
Можно или в тестовом делать распределение как в трейновом или наоборот, в зависимости от того что более репрезентативно для задачи
472 1779080
>>779062
сам не сталкивался, но гугли anomaly detection или imbalance classification
473 1779081
>>779062
Распределение что в трейне, что в тесте, должно быть как в жизни. Если при этом работает плохо, у тебя неправильный лосс, используй, например, weighted cross entropy.
474 1779123
>>778518

> я не знаю но мне похуй но я разъебал но если не согласен - ты чмошник но я ничё не знаю но мне похуй да кто омежка сами вы омежки кто шиз сами шизы всё врёте ничё не знаю


Кому лень бахнутую простыню читать
475 1779428
>>779062
Поставил positive-to-negative-weight-ratio и теперь можно подавать всё.
Всем спасибо.
476 1780045
Трансформация изображения с нормализацией типа
Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
используется преимущественно через PIL.
А через opencv её можно выполнить? Если да, то как?
477 1780117
>>780045
Слои иди стекай, вася. Нейроночка сама все себе нормализует как надо. Твои потуги только навредят, искажая сигнал.
478 1780170
>>780117
Т.е. то, что тут описано https://pytorch.org/hub/pytorch_vision_densenet/
All pre-trained models expect input images normalized in the same way, i.e. mini-batches of 3-channel RGB images of shape (3 x H x W), where H and W are expected to be at least 224. The images have to be loaded in to a range of [0, 1] and then normalized using mean = [0.485, 0.456, 0.406] and std = [0.229, 0.224, 0.225].

НЕ НУЖНО?
479 1780453
>>780170
В питоне opencv использует numpy массивы, поэтому ты можешь просто сделать (a-np.array([1,2,3])[:,None, None])/np.array([4,5,6])[:, None, None], при чем это [:, None, None] нужно только из-за ебанутого channels first формата, если бы у тебя был channels last, можно было бы писать (a - [1,2,3])/[4,5,6]
Если прямо opencv нужен, есть cv2.subtract и cv2.divide(scale,...), но второй не может делить на 3-х канальные скаляры, поэтому придется поделить каждый канал по отдельности. Если в продакшене, то cv::dnn::blobFromImage имеет параметрами mean и scale factor, опять же scale это double, но на самом деле если ты поделишь на 0.225 каждый канал, ничего страшного не случится.
480 1780458
>>780170
Нужно. Просто в голове дип шизика сильный ии уже построен.
9785.png26 Кб, 795x390
481 1780490
>>780453
Спасибо.
А трансформировать cv-изображения можно как на пикрилейтеде?
Или это лучше делать с PIL-картинками?
https://www.learnopencv.com/fully-convolutional-image-classification-on-arbitrary-sized-image/
482 1780492
>>780490
Вопрос-то в чем? Поддерживает ли cv2 из коробки подобный интерфейс в виде списка трансформаций? Нет, пиши императивно, ну либо юзай PIL, в чем проблема-то. Конвертится все из одного формата в другой одной строчкой.
483 1780500
>>780492

> Поддерживает ли cv2 из коробки подобный интерфейс в виде списка трансформаций?


Да, именно в этом.

>Нет, пиши императивно,


Окей.

>ну либо юзай PIL, в чем проблема-то. Конвертится все из одного формата в другой одной строчкой.


А смысл гонять из одного формата в другой? cv2 побыстрее так-то.

Спасибо.
15977261852390.png175 Кб, 604x344
484 1780976
Есть датасет картинок. Каждая картинка обработана, превращена в тензор и сохранена как файл.
И как теперь это добро подавать на вход модели?
Через cat или stack списка тензоров конечный тензор может быть очень большим и не влезть в память.
Что делать? Тупо загружать по N случайных файлов, соединять их и подавать на вход модели? Или есть какие варианты?
485 1781157
>>780976

>Или есть какие варианты?


Numpy memmap. Сохраняешь свои картинки как один массив на диск и используешь его как будто он лежит в памяти.
15970397889430.png689 Кб, 1280x720
486 1781272
Одна из причин, почему современные методы машобчика бесполезны для решения реальных проблем - тот факт, что большинство сойбоев, их разрабатывающих, живут в соевом манямире, в котором важнейший приоритет - опубликоваться и выебнуться перед себе подобными на коворкинге со смузи наперевес. Изначальная задача машоба, решение практических задач, всю эту БЛМ тусовочку принципиально не интересует. Об этом уже прямо пишут в MIT. https://www.technologyreview.com/2020/08/18/1007196/ai-research-machine-learning-applications-problems-opinion/amp/

> Too many AI researchers think real-world problems are not relevant



> The community’s hyperfocus on novel methods ignores what's really important.



Максимум, с чем они имеют дело это стандартные датасеты, какой СЖВ сипм получит результат на 0.001% лучше остальных, тот и крутой.
1583699319155796262.jpg48 Кб, 400x400
487 1781294
>>781272

>живут в соевом манямире


Ой, да ладно, типа академические вговнемоченые не оторваны от реальности и не живут в своей маняматической абстракции.
488 1781297
>>781272
>>781294

>получит результат на 0.001% лучше


Разве это не удел всяких кагглов?
В индустрии-то решают реальные проблемы.
489 1781298
Чики чики двощ двощ
Раздумываю над решением не очень распространённой задачи, суть такова: имеются получасовые записи эфира радио "Голос Кореи" (по одной за каждые каждые сутки), в них начитки текста дикторами перемежаются с музыкальными вставками, культура, хуле.
Есть идея выдёргивать из записей эти дикторские начитки и накладывать на них биток, дабы получать на выходе каждодневные свежие новости от наших братишек из КНДР в стиле Кровостока. Крутиться всё будет на OrangePI Zero LTS (512 ОЗУ, 4 ядра ARMv7, кастрированная убунту сервер), если это важно.
Подскажи мне, милый Двач, чем проще распознать и выдернуть речь из файла в автоматическом режиме на ARM платформе?инb4: пшёл ты в жопу, скрипткидди
490 1781349
>>780976
через glob получаешь список с названием картинок, через генератор по батчу считываешь и через модель пропускаешь
491 1781365
>>781157
Спасибо, попробую.
Но если у кого есть ещё советы по >>780976 , внимательно слушаю.
Как вообще решают проблему экономии памяти и проблему подачи данных частями?
492 1781384
>>781298

http://www.portaudio.com/

ставить как обычно из репы.
493 1781387
>>781349

>через генератор по батчу считываешь и через модель пропускаешь


Ну так если я датасет поделю на 100 частей и постоянно буду одни и те же части подавать на вход модели, обучения-то и не будет.
494 1781398
>>781387
в конце эпохи перемешать список путей и все
495 1781409
>>781398
Спасибо.
496 1781426
>>781384
Спасибо, конечно, анон, но это совсем не то, что выполнит мою задачу. Полистал доки и не нашёл ничего про разделение этой либой вывода на музыку и речь.
Зато вот нашёл на гитхабе github.com/ina-foss/inaSpeechSegmenter, вроде по описанию делает то, что мне нужно: режет входной файл на куски по содержимому, речь или музыка. Дело за малым: заставить этот ваш tensorflow работать на одноплатнике. Кстати, это вообще возможно? Нужно самому компилять его под ARM или опытные господа где-то достают докер-контейнеры с готовыми сборками?
497 1781461
>>781272
Wagecuck-шнырь

>решает РЕАЛЬНЫЕ ПРОБЛЕМЫ


>ой а что ещё вам посчитать? может я оближу ваши яйцы?


PHD-господин

>считаем MNIST этим новейшим yoba-fit-predict просто потому что можем


>lmao what is real-world problems

498 1781644
>>781461
В MIT уже понимают, что это деградантство, но куда уж им до зумера из Блинолопатии.
499 1781678
>>781398
Вопрос вдогонку: длина датасета скорее всего не будет делиться нацело на размер батча, что делать с остатком? Добивать его до размера батча? Или оставлять как есть? На обучение это не повлияет?
500 1781868
>>781678
как только ты дошел до конца выборки, тобиш в каком то счетчике у тебя i == len(train), то перемешиваешь все и дальше добираешь образцы в этот батч
не повлияет
501 1781906
>>781644
Потому что РАБы
а для подлинного аристократа духа главное как раз "выебнуться перед себе подобными"
502 1781924
>>781906

> а для подлинного аристократа духа главное как раз "выебнуться перед себе подобными"


Выебоны на первом месте для зумеров-позеров и подобного скама. Хуями меряются друг перед другом бабуины, а не аристократы духа.
503 1781936
>>781924

>implying аристократ - не бабуин


Не много ты знаешь об аристократии
504 1781937
>>781678
Если у тебя в модели переменный батчсайз, то пофиг, если жёстко зашит, то нужно обрезать чтобы было кратно
505 1782001
>>781906

> для подлинного аристократа духа главное заниматься тем что по приколу, а не тем что "нужно" бизнесу, обществу, армии, дырявым зумерошизам etc


fix
506 1782104
>>782001

>например, срать годами в нейроночкотреде

507 1782443
Подскажите кабанчику,
если у меня есть видео производственного процесса, сравнительно низкокачественное замыленное и иногда даже с запыленной камеры, будет ли толк, если я натравлю на него image embedding например inception v2?
Они ведь на нормальных картинках его обучали а не на мыльном кинце 640x480
508 1782610
>>782443
Инсепшен обучали вообще на 200х200, так что если у тебя там классификация, а не сегментация, то вполне нормально. Но в чем проблема купить гопроху?
509 1782637
>>782610
промышленные системы видеонаблюдения из всякого говна и палок.
никто не будет их апгрейдить.

Кто-нибудь видел тогда ПО для кабанчиков, которое можно просто обучить по схеме "обстановка рабочая" и "в цеху происходит какая-то хуета и щас Петрович намотается на вал" (anomaly detection) ? с интерфейсом и тд.

ясно, что это требует постоянного доучивания.
510 1782662
>>782637
датасет петровичвал.jpg
511 1782769
>>782637
Надо бы тебе спросить антошку
https://www.youtube.com/watch?v=OAUokQgnupA
Черкани там в комментах
512 1783153
Господа, добрый день!
Собираю пк для машобчика, бюджет 80-90к
Есть ли у кого-то примеры хороших актуальных сборок? За советы и наставления буду крайне признателен
изображение.png86 Кб, 275x183
513 1783214
Сап аноны, можете объяснить, как работает aiportraits в общих чертах?
514 1783474
>>783153

>машобчика


Для какого именно? Многие задачи можно решать и без мощного компьютера с видеокартой. Лучше начинай вкатываться, а вычислительные мощности купишь/арендуешь по обстоятельствам, если понадобятся.
515 1783613
>>783474
Решаю кэггл
Стажируюсь в компании
Т.е. я уже вкатыш, арендовать не очень выгодно выходит, а упираюсь я в производительность пк часто
Задачи разные: и cv и nlp
516 1783698
>>783613

>Стажируюсь в компании


Что за компания?
517 1783738
>>783698
Обычный аутсорс, поэтому задачи разные
518 1783741
>>783738
Типа epam?
519 1783768
>>783741
Только текучка куда меньше и кадры посильнее в среднем, по крайней мере такое мнение бытует
Но я живу не в дс-1/2, компаний со своим продуктом, которым нужны дс, нет в моём городе
520 1784057
>>783613
начинаю стажироваться, уклон в cv, расскажи какие вы там технологии используете в cv, что вообще почетать мб, шоб сразу в теме быть, что щас модно в cv
522 1784904
Будем переобучать перекатывать?
523 1784926
>>1709787 →
А если 2176 ядер CUDA и 8 ГБ GDDR6 на борту?
https://www.nvidia.com/ru-ru/geforce/graphics-cards/rtx-2060-super/
524 1785062
>>784926
если замахнулся на обработку изображений- бери сразу что-то на 11гб. Я взял 2 по 8 и они нихера не быстрее и не эффективнее работают (кроме как по деньгам, конечно), чем одна на 11гб. Сейчас стало не хватать памяти. И таки да, я там с горем пополам релизнулся с оголением анимешных девочек. https://2ch.hk/h/res/165538.html#165731 (М)
525 1785150
Кто-нибудь знает как в pyspark обычный group by apply, как в пандасе, сделать?
Все облазил, нигде конкретно не написано, какие то pandas udf, но там скорее для agg, а мне именно apply нужен
526 1785226
>>785062
А что ж ты сюда-то не нёс? Завтра звук расстёгиваемой ширинки испробую. Надеюсь у тебя там не только Телега, да? А то не горю желаением палиться
527 1785284
>>785226
более анонимные способы- это отдать сервер левой фирме на островах, которая будет им крутить и спиздит если захочет. У дип нуда сразу открыты были файлы, а я типа пока что не хочу сливать. Нужно кое-чего разгрести сначала в реале. Там есть примеры как оно может работать, остальные позы- извините, не может 1гб модели вместить в себя сразу всё. Можно было бы сделать разные варианты с опознованием с какого ракурса сделан рисунок, но это еще тот гемор, я в конце уже брал только изображения определенных "прямых" ракурсов.
528 1785343
>>785284
Нет, я про что-то типа дискорд-бота или сайта, чтобы не палить свой аккаунт с реальным именем и номером телефона.
529 1785862
>>785343
э. я такой тупой, что не вижу, кто именно пользуется ботом. Мне это не надо. Вижу какие картинки закидывают и пока что сохраняю их, чтобы сравнивать потом с новыми итерациями, тока ради этого. Если и есть у бота возможность палить, то я про неё не знаю и инфу не собирал.
530 1785955
531 1787222
532 1805712
Есть у кого нормальное описание алгоритма поиска контуров (функция findContours в OpenCV). Нахожу только ссылку на статью "Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing", которой в отрытом доступе нет нигде от слова совсем. Может кто сталкивался. Копаться в OpenCVшных имплементациях совсем не хочется
533 1819569
Реквестирую.

Сап, в треде школьник 15 лет, хочу вкатиться в machine learning, сейчас знаю python, javascript. Что читать, что смотреть, что учить? Желательно на русском, простите что сру сюда, но по шапке не особо понял, спасибо.
534 1821362
>>819569
Хочешь реально дельный совет - учи английский и математику, не забрасывай программирование (можешь даже попробовать себя в алгоритмах). Пока время есть постарайся вложиться в хорошую базу, потом это всё тебе очень поможет.
Местные тайдмены могут срать тебе в уши что угодно, но без английского на уровне хотя бы честных A2-B1 я не представляю, как ты будешь читать свежие пейперы, которые зачастую даже и не переводят, а многие вещи успевают устаревать очень быстро.
Ещё один довод вложиться именно в базовые вещи - это тот факт, что тебе до реальной работы ещё пахать пару лет, как минимум, а какие там технологии будут актуальны в мл через это время - хуй его знает.
Также не мешало бы освоить нормальную ос (18.04 сойдёт), хотя бы виртуалочку поставь, гит, а дальше уже будешь смотреть в зависимости от того, что тебе нравится, т.к. для простой аналитики стек с бигдаты вряд ли тебе поможет, но вот для мл вполне может пригодится
По поводу именно мл, из того, что есть на русском - курс физтеха, mlcourse от ods (мб дл там практически нет, но вот зато пройдя этот курс, ты довольно быстро освоишь базовые алгоритмы, поработаешь с пандасом, а также парочку контестов простеньких решишь на каггле). Последний рекомендую смотреть только на английском языке, там у чела настолько русский акцент, что на нём было бы ахуенно и потренить английский, т.к. все слова понятны будут. Первые пару часов мб посидишь с переводчиком, а потом как по маслу
535 1821418
Спасеба братец медведь
536 1821597
>>821418
Да это пидор шиз, ты ему особо в рот не заглядывай а то тоже кахоненом станешь
14394307066770.jpg57 Кб, 536x600
537 1830699
>>758961 (OP)
Ребят, подскажите .
У меня сейчас проект для себя написание аналога AlphaStar или OpenAI в DOTA2. Т.е. беру игрулю(простую) и пытаюсь научить НС играть. Так как я не про, написаны костыли(сама нейронка, считыватель окна игры, нажатие клавиш в окне) на java. Вот сейчас подумываю, все эти костыли заменить на стандартные решения, был бы очень благодарен если бы все инструменты были на python, так как не хочется писать нейронку в Керасе, а считыватель окна с контролем в java или autoit. Заранее спасибо.
Тред утонул или удален.
Это копия, сохраненная 6 марта 2021 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски