Этого треда уже нет.
Это копия, сохраненная 9 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 9 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Очередной тред про хипстерские технологии, которые не работают.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
На сентябрь 2020 ждем 30хх серию в магазинах и падение цен на 20xx на авито, /hw/ в помощь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
МА наш-то продолжает разматывать
https://www.youtube.com/watch?v=pGbyTtWRRmo
https://www.youtube.com/watch?v=pGbyTtWRRmo
>>17388
Да нормальный контент, обзор докладов всяко лучше этой А КАК УСТРОИТЬСЯ КО МНЕ НА РАБОТУ параши, которую он приносил раньше
Да нормальный контент, обзор докладов всяко лучше этой А КАК УСТРОИТЬСЯ КО МНЕ НА РАБОТУ параши, которую он приносил раньше
>>17376
Это еще веселее, чем в прошлый раз. У половины докладов видео нет, остальные видео unlisted, для просмотра некоторых нужно бить челом отдельно. При этом контент уровня сельского митапа.
Главное Data Science событие года, я ебал.
Это еще веселее, чем в прошлый раз. У половины докладов видео нет, остальные видео unlisted, для просмотра некоторых нужно бить челом отдельно. При этом контент уровня сельского митапа.
Главное Data Science событие года, я ебал.
>>17424
ОК, бумер
ОК, бумер
>>17320 (OP)
Фигасе четкая детекция на втором пике.
Фигасе четкая детекция на втором пике.
Если марковкой цепи привить многоуровневую память, то будет ли прирост адекватности текстов? Имею в виду учитывать не только последнее слово, но и последние 2,3,4, и т.д слов.
>>17907
Да, будет, но (кто-бы мог подумать) только до какого-то момента.
Да, будет, но (кто-бы мог подумать) только до какого-то момента.
543 Кб, 760x380Удивительно, но я всё ещё не забил.
Читал про разные типы моделей и не понял пару моментов:
1. Есть модели, которые относят объект к одному из двух классов. Есть модели, которые относят объект к одному из множества классов. Есть модели, в которых есть один класс и все остальное. Чем это отличается от модели с двумя классами? Возможно, я ответил на это во втором вопросе.
2. Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож". Если в модели есть один класс и "все остальное", то как определяется, отнести объект к этому одному классу или нет? По некоторому порогу чувствительности? То есть, если объект отдален от класса более чем на n, то он уже не относится к этому единственному классу? Если да, то как находится это n?
1. Есть модели, которые относят объект к одному из двух классов. Есть модели, которые относят объект к одному из множества классов. Есть модели, в которых есть один класс и все остальное. Чем это отличается от модели с двумя классами? Возможно, я ответил на это во втором вопросе.
2. Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож". Если в модели есть один класс и "все остальное", то как определяется, отнести объект к этому одному классу или нет? По некоторому порогу чувствительности? То есть, если объект отдален от класса более чем на n, то он уже не относится к этому единственному классу? Если да, то как находится это n?
>>18189
На практике у тебя как правило X позитивных примеров (картинка с котом) и X*100 негативных примеров (картинка без кота - с собакой, травкой, домом). Из-за этого алгоритм получает на входе перекос в распределении и без дополнительных усилий (например, присваивания примерам с котами большей значимости при обучении) работать будет плохо. В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99% - котов-то в датасете в 100 раз меньше. Это практическая разница. Для знаний теории же не забивай голову.
Нет, модель выдает тебе вероятности каждого класса. Если у тебя 2 класса (не важно, второй класс это "не-кот" или что-то другое), она выдает тебе одно число - вероятность p (от 0 до 1) либо какое-то другое число, которое можно пересчитать в вероятность. Если 3 класса - то 3 числа, сумма которых будет равна 1. Допустим, она выдает тебе, что 50% на картинке кот, 50% собака и 0% - травка.
В зависимости от ТЗ. Если ты преступников-террористов ловишь, то тебе выгоднее занизить порог обнаружения, и посадить отдел сержантов, которые будут уже вручную сверять кто на картинке - террорист, или ложное срабатывание. А если ты по фейсу определяешь покупателя в пятерочке, то лучше пусть никакого срабатывания, чем ложное. Если модель идеальна и обучена без перекосов, то ставишь порог 0.5.
>Чем это отличается от модели с двумя классами?
На практике у тебя как правило X позитивных примеров (картинка с котом) и X*100 негативных примеров (картинка без кота - с собакой, травкой, домом). Из-за этого алгоритм получает на входе перекос в распределении и без дополнительных усилий (например, присваивания примерам с котами большей значимости при обучении) работать будет плохо. В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99% - котов-то в датасете в 100 раз меньше. Это практическая разница. Для знаний теории же не забивай голову.
>Если у модели 2+ классов, то она относит объект к тому классу, на который объект больше "похож".
Нет, модель выдает тебе вероятности каждого класса. Если у тебя 2 класса (не важно, второй класс это "не-кот" или что-то другое), она выдает тебе одно число - вероятность p (от 0 до 1) либо какое-то другое число, которое можно пересчитать в вероятность. Если 3 класса - то 3 числа, сумма которых будет равна 1. Допустим, она выдает тебе, что 50% на картинке кот, 50% собака и 0% - травка.
>Если да, то как находится это n?
В зависимости от ТЗ. Если ты преступников-террористов ловишь, то тебе выгоднее занизить порог обнаружения, и посадить отдел сержантов, которые будут уже вручную сверять кто на картинке - террорист, или ложное срабатывание. А если ты по фейсу определяешь покупателя в пятерочке, то лучше пусть никакого срабатывания, чем ложное. Если модель идеальна и обучена без перекосов, то ставишь порог 0.5.
>>18215
В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам? Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому? Второй вариант не подходит, потому что у "не-котов" будет слишком много разных признаков, верно?
В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам? Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому? Второй вариант не подходит, потому что у "не-котов" будет слишком много разных признаков, верно?
>>18215
А надо брать F1 по котам и всё будет в порядке
>В частности, он может выдавать "не кот" в 100% случаев и получить точность в 99%
А надо брать F1 по котам и всё будет в порядке
>>18246
Это мера, которая считается как средняя гармоническая от точности и полноты модели, верно?
>F1
Это мера, которая считается как средняя гармоническая от точности и полноты модели, верно?
>>18244
Ты пойми, при supervised обучении классы в датасете определяет пользователь. Нейроночка учится на готовом датасете, она не задаёт классы. Как напишешь, так и будет. Другой вопрос, что эффективность обучения будет разной.
Ты пойми, при supervised обучении классы в датасете определяет пользователь. Нейроночка учится на готовом датасете, она не задаёт классы. Как напишешь, так и будет. Другой вопрос, что эффективность обучения будет разной.
>>18257
Скорее всего, я буду использовать не нейронки (байес, логистическая регрессия, опорные вектора, случайный лес), потому что данные не очень сложные. Я читал, что в scikit-learn есть гиперпараметры, которые задают количество классов для модели. Отсюда были вопросы. Пока что разобрался, спасибо.
Скорее всего, я буду использовать не нейронки (байес, логистическая регрессия, опорные вектора, случайный лес), потому что данные не очень сложные. Я читал, что в scikit-learn есть гиперпараметры, которые задают количество классов для модели. Отсюда были вопросы. Пока что разобрался, спасибо.
>>18263
Нужна вообще другая сущность - веса классов. Грубо говоря, ошибка в предсказании одного класса должна вызывать у модели во много раз больший шухер и апдейт весов. Для этого модифицируется целевая функция, как вариант - с помощью весов. Отношение весов настраивается так, чтобы максимизировать например >>18246 или какую-то еще важную тебе метрику.
У тебя по определению если вероятность кота p, вероятность не-кота (1-p). Если у тебя вероятность кота p, вероятность не-кота q, и p+q не равно 1, значит это не вероятность, а какая-то хуета.
>В твоем примере с котами и не-котами нужно сделать один класс "коты" и дальше настраивать порог срабатывания, насколько близко к котам?
Нужна вообще другая сущность - веса классов. Грубо говоря, ошибка в предсказании одного класса должна вызывать у модели во много раз больший шухер и апдейт весов. Для этого модифицируется целевая функция, как вариант - с помощью весов. Отношение весов настраивается так, чтобы максимизировать например >>18246 или какую-то еще важную тебе метрику.
>Или нужно сделать 2 класса: "коты" и "не-коты" и определять вероятность по каждому?
У тебя по определению если вероятность кота p, вероятность не-кота (1-p). Если у тебя вероятность кота p, вероятность не-кота q, и p+q не равно 1, значит это не вероятность, а какая-то хуета.
>>18268
Понятно, спасибо. Про веса классов в теории пока не встречал, почитаю.
Понятно, спасибо. Про веса классов в теории пока не встречал, почитаю.
>>17402
Тоха говорил не про его работу, а про работу ds вообще
https://www.youtube.com/watch?v=iBO9YDLYGj8
Для вкатышей это видео куда полезней всяких cv докладов
Тоха говорил не про его работу, а про работу ds вообще
https://www.youtube.com/watch?v=iBO9YDLYGj8
Для вкатышей это видео куда полезней всяких cv докладов
Здравствуйте многоуважаемые программисты, я новичок в этом деле, но получилось так что мне нужно углубляться в нейронные сети. И у меня возникла проблема с видом нейронной сети нужной для решения моей задачи. Работаю со шрифтами. Есть две нейронки, первая ищет у символа отличительные черты, такие как плавные изгибы, острые углы и подобное; вторая должна создавать символ по стилистике схожий с тем, который был на входе у первой нейронной сети. Не могу понять, какой вид должен быть у второй нейронной сети. Хелпанете?
>>18442
если что, то первая нейронная сеть нужна для того чтобы вторая понимала, что конкретно ей нужно генерировать.
если что, то первая нейронная сеть нужна для того чтобы вторая понимала, что конкретно ей нужно генерировать.
>>18442
Я бы смотрел на style transfer, а не на две нейронки с непонятным функционалом.
А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
Я бы смотрел на style transfer, а не на две нейронки с непонятным функционалом.
А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
>>18455
Возможно ему что-то типа StyleGAN нужно
https://twitter.com/hardmaru/status/1095639937842638849
>А ешё есть подозрение, что ты никогда в жизни достаточно данных не соберешь.
Возможно ему что-то типа StyleGAN нужно
https://twitter.com/hardmaru/status/1095639937842638849
>>18456
Видел код Эрика, он просто генерирует новые шрифты как я понял, может ошибаюсь. Ну, я в общем ушел от его кода, может в этом я и ошибся.
Видел код Эрика, он просто генерирует новые шрифты как я понял, может ошибаюсь. Ну, я в общем ушел от его кода, может в этом я и ошибся.
>>18455
Начал сейчас гуглить и мне кажется из этого многое может выйти.
Начал сейчас гуглить и мне кажется из этого многое может выйти.
>>18484
Я не тебе отвечал, это был ответ на вопрос, как обойтись без прямого датасета - использовать GAN
Я не тебе отвечал, это был ответ на вопрос, как обойтись без прямого датасета - использовать GAN
>>18494
Извиняюсь. Я как раз таки и пришел к выводу, что это можно использовать для создания датасета.
Извиняюсь. Я как раз таки и пришел к выводу, что это можно использовать для создания датасета.
>>18455
Я почитал. А это точно будет работать со шрифтами? Что-то меня сомнения огромные постигают.
Я почитал. А это точно будет работать со шрифтами? Что-то меня сомнения огромные постигают.
>>18522
А если без шуток... Я нашел некоторый сурс http://www.cvc.uab.es/~marcal/pdfs/ICDAR19.pdf
Вроде бы как неплохо получается, мне примерно тоже самое и нужно.
А если без шуток... Я нашел некоторый сурс http://www.cvc.uab.es/~marcal/pdfs/ICDAR19.pdf
Вроде бы как неплохо получается, мне примерно тоже самое и нужно.
>>18530
Хохолка и андеркатов не хватает, зумеридзе?
Хохолка и андеркатов не хватает, зумеридзе?
>>18630
По картинкам херня вышла. Стайл транфер хорошо переносит текстуры, а шрифты сложно назвать текстурами.
По картинкам херня вышла. Стайл транфер хорошо переносит текстуры, а шрифты сложно назвать текстурами.
>>18845
Мне в любом случае уже что то нужно делать. Поэтому скорее всего попробую правильно обучить нейронку по style transfer, мб что нибудь да выйдет
Мне в любом случае уже что то нужно делать. Поэтому скорее всего попробую правильно обучить нейронку по style transfer, мб что нибудь да выйдет
Нейронки нужны!
https://youtu.be/ArnwQdGHwOM?t=203
https://youtu.be/ArnwQdGHwOM?t=203
>>19011
Ща бы на телеги шликать
Ща бы на телеги шликать
Что думаете насчет GP(Genetic Programming). Заставляем генетический алгоритм найти функцию, которая будет входе X выдавать Y. Думаю это оооочень полезно для декларативного и ленивого программирования. Говори машине что хочешь сделать, а не как это сделать.
К примеру:
inc(1) -> inc(2)
dec(2) -> dec(1)
Задача компилятора: найти определение функции inc и dec используя примитивные функции.
К примеру:
inc(1) -> inc(2)
dec(2) -> dec(1)
Задача компилятора: найти определение функции inc и dec используя примитивные функции.
437 Кб, 350x409>>19828
Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время. Более-менее будет работать на языках с 1.5 операциями, например с лямбда исчислением. Но генетическое программирование сейчас уже не в моде, есть т.н grammatic evolution, эта тема поинтереснее. Общая идея в том, что нужная грамматика задаётся в виде BNF (форма Бэкуса - Наура), ну и дальше подбирается нужное решение по заданной функции приспособленности. Можно генетическим алгоритмом, можно тупо перебором, там много вариантов. Но это не для зумеров вкатывальщиков тема, там мозги надо.
Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время. Более-менее будет работать на языках с 1.5 операциями, например с лямбда исчислением. Но генетическое программирование сейчас уже не в моде, есть т.н grammatic evolution, эта тема поинтереснее. Общая идея в том, что нужная грамматика задаётся в виде BNF (форма Бэкуса - Наура), ну и дальше подбирается нужное решение по заданной функции приспособленности. Можно генетическим алгоритмом, можно тупо перебором, там много вариантов. Но это не для зумеров вкатывальщиков тема, там мозги надо.
91 Кб, 604x453>>19828
Есть ещё property-based testing, например, quickcheck, но это больше для функционального программирования, хотя за 20 лет этот квикчек куда только не портировали с хачкиля, даже в пистон и coq. Там вообще без всяких генетических алгоритмов и прочего машобчика обошлись.
Есть ещё property-based testing, например, quickcheck, но это больше для функционального программирования, хотя за 20 лет этот квикчек куда только не портировали с хачкиля, даже в пистон и coq. Там вообще без всяких генетических алгоритмов и прочего машобчика обошлись.
>>19840
Ну, смотря что решаем. Большая часть времени уйдёт на компиляцию (нахождение функций).
Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную. Это может очень сильно повысить производительность как программ, так и программистов.
> Сама идея правильная, проблема в том что требует неподьемных вычислительных мощностей даже в наше время.
Ну, смотря что решаем. Большая часть времени уйдёт на компиляцию (нахождение функций).
Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную. Это может очень сильно повысить производительность как программ, так и программистов.
>>19853
Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
> property-based testing
Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
>>19866
Я бы не сказал, что никак не связано. В том же коке оно может генерировать пруф-обьекты для доказательства обитаемости заданного типа. Это вполне можно рассматривать как генерацию алгоритма, если само задание нужного типа это спецификация программы, т.е описание того, что программа должна получать на вход и что выдавать на выходе.
>>19863
Ну так-то да, если на этих принципах вымутить оптимизирующий компилятор, знатная бы штука получилась. Но наверное давно бы уже сделали, если бы все так просто было. Ящитаю, все упирается в вычислительные требования.
> Никак не связано с сабжем. GP про генерацию алгоритмов, а не про их проверку.
Я бы не сказал, что никак не связано. В том же коке оно может генерировать пруф-обьекты для доказательства обитаемости заданного типа. Это вполне можно рассматривать как генерацию алгоритма, если само задание нужного типа это спецификация программы, т.е описание того, что программа должна получать на вход и что выдавать на выходе.
>>19863
> Но зато какие огромные возможности! Компилятор будет выдавать из всех верных функций для X -> Y самую эффективную
Ну так-то да, если на этих принципах вымутить оптимизирующий компилятор, знатная бы штука получилась. Но наверное давно бы уже сделали, если бы все так просто было. Ящитаю, все упирается в вычислительные требования.
>>19863
Опять же, вместо непосредственной компиляции можно использовать аксиоматическую семантику (VST в коке, почти полноценный С), что сократило бы время проверки процентов на 95+. Если к VST прикрутить grammatical evolution или хотя бы тот же quickchick, получилось бы интересно. Я как-то давно пробовал, но там нотация несовместимая, одно импортируешь - другое отваливается, лол, надо разбираться, возможно авторов трясти, а мне лень. В итоге просто забил.
> Большая часть времени уйдёт на компиляцию (нахождение функций).
Опять же, вместо непосредственной компиляции можно использовать аксиоматическую семантику (VST в коке, почти полноценный С), что сократило бы время проверки процентов на 95+. Если к VST прикрутить grammatical evolution или хотя бы тот же quickchick, получилось бы интересно. Я как-то давно пробовал, но там нотация несовместимая, одно импортируешь - другое отваливается, лол, надо разбираться, возможно авторов трясти, а мне лень. В итоге просто забил.
>>19901
В GP под копиляцией я подразумевал нахождение алгоритма нужного алгоритма. По крайней мере, в GP процесс нахождерия алгоритма бвдет происходть в компил-тайм, а запуск итоговой функции, соответсвенно, в рантайм.
> использовать аксиоматическую семантику
В GP под копиляцией я подразумевал нахождение алгоритма нужного алгоритма. По крайней мере, в GP процесс нахождерия алгоритма бвдет происходть в компил-тайм, а запуск итоговой функции, соответсвенно, в рантайм.
75 Кб, 900x507>>17320 (OP)
Сап двач. Реквестирую соус распознавания лиц. С меня как обычно
Сап двач. Реквестирую соус распознавания лиц. С меня как обычно
>>19951
Что тебе нужно-то? Сурс пикчи, такая же разметка типа хакир цифравойй, любая подходящая модель-распознавалка?
Что тебе нужно-то? Сурс пикчи, такая же разметка типа хакир цифравойй, любая подходящая модель-распознавалка?
>>19828
Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора. Любые ухищрения уменьшат константу, но не экспоненту.
> Что думаете насчет GP(Genetic Programming).
Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора. Любые ухищрения уменьшат константу, но не экспоненту.
>>19986
Прологом другие дела обстоят. Он ахуенен, но автоматический вывод там не полон. Программист всё должен формализовать. А если задача плохо формализуется?
Прологом другие дела обстоят. Он ахуенен, но автоматический вывод там не полон. Программист всё должен формализовать. А если задача плохо формализуется?
>>19993
Этот подход(GP) можно использовать для прикладного программирования, чтобы снизить когнитивную нагрузку на программиста? Насколько это будет оправдано?
Этот подход(GP) можно использовать для прикладного программирования, чтобы снизить когнитивную нагрузку на программиста? Насколько это будет оправдано?
>>19990
Да мне нужно more! Просто хочу несколько разных. Не понял что тут написано: хакир цифравойй. Интересуюсь вопросом. Хочу разобраться как работает с математической точки зрения.
Да мне нужно more! Просто хочу несколько разных. Не понял что тут написано: хакир цифравойй. Интересуюсь вопросом. Хочу разобраться как работает с математической точки зрения.
>>20021
Сосешь ты либераха и будешь сосать всю жизнь. Иди в po и реви очком там. Меня интересуют алгоритмы а не гулаг, гулаг можно и без этого устроить как товарищ Сталин заделал.
Сосешь ты либераха и будешь сосать всю жизнь. Иди в po и реви очком там. Меня интересуют алгоритмы а не гулаг, гулаг можно и без этого устроить как товарищ Сталин заделал.
Все эти генетические алгоритмы, RL и прочие попытки наебать систему страдают от одной и той же проблемы: придумать фиттинг функцию/реворд такие чтоб няронкам сложно было их хакнуть не интересным нам способом не легче чем решить саму задачу, а вернее это почти эквивалентные вещи.
>>20001
Не, нельзя. В 2020 году оправдано смотреть в сторону трансформеров, которым будет скормлен гитхаб, а оно будет предлагать автодополнение. Так как гитхаб принадлежит микрософту, думаю они что-то подобное выкатят в ближайшие лет 5
Не, нельзя. В 2020 году оправдано смотреть в сторону трансформеров, которым будет скормлен гитхаб, а оно будет предлагать автодополнение. Так как гитхаб принадлежит микрософту, думаю они что-то подобное выкатят в ближайшие лет 5
https://new.geekbrains.ru/machine-learning
Ну чё, парни, вот ради чего вы учили machine learning. Ради зарплаты в 100 тысяч
Ну чё, парни, вот ради чего вы учили machine learning. Ради зарплаты в 100 тысяч
>>20085
Кто сказал что парень будет устраиваться на работу?
Кто сказал что парень будет устраиваться на работу?
>>17320 (OP)
Фу, блять, уносите это говно нахуй.
мимо-не-прогрессивный-быдло-программист-без-гироскутера
> хипстерские
Фу, блять, уносите это говно нахуй.
мимо-не-прогрессивный-быдло-программист-без-гироскутера
>>20090
Какие? Чо?
Лол, я вообще не из ML и ничего против него не имею, я просто хипстеров недолюбливаю и меня триггернуло это слово.
И вообще...
Нах ты мне отвечаешь? Я ЖЕ ПРОСТО ТОЛСТЫЙ МИМОКРОКОДЯЩИЙ, ЛОЛ
Какие? Чо?
Лол, я вообще не из ML и ничего против него не имею, я просто хипстеров недолюбливаю и меня триггернуло это слово.
И вообще...
Нах ты мне отвечаешь? Я ЖЕ ПРОСТО ТОЛСТЫЙ МИМОКРОКОДЯЩИЙ, ЛОЛ
>>20085
Как я понял, они намекают что это стартовая зарплата. Веб-макака в ДС стартует с ~60к, так что вполне нормально.
> Ради зарплаты в 100 тысяч
Как я понял, они намекают что это стартовая зарплата. Веб-макака в ДС стартует с ~60к, так что вполне нормально.
>>20094
Я бот на задании мне хозяин поручил изучить что такое машинное обучение и научиться ему
Я бот на задании мне хозяин поручил изучить что такое машинное обучение и научиться ему
>>20104
Ответ на вопрос "Зачем для распознавания лиц фильтруют цвет?" - для распознавания лиц ничего не фильтруют, ебашут данные как есть.
Ответ на вопрос "Зачем для распознавания лиц фильтруют цвет?" - для распознавания лиц ничего не фильтруют, ебашут данные как есть.
>>20108
Прочитал про фильтр вот здесь.
https://www.popmech.ru/technologies/402352-na-lice-napisano-kak-rabotaet-kompyuternoe-raspoznavanie-lic/
Прочитал про фильтр вот здесь.
https://www.popmech.ru/technologies/402352-na-lice-napisano-kak-rabotaet-kompyuternoe-raspoznavanie-lic/
>>20113
Какой еще найс ептаю ты не видишь тут противоречия мясной мешок.
Какой еще найс ептаю ты не видишь тут противоречия мясной мешок.
>>20112
Ну там подход из нулевых описан. Никакой фильтрации там нет, просто цветное изображение превращают в ч/б, чтобы уменьшить в 3 раза число чисел, с которыми имеешь дело.
Ну там подход из нулевых описан. Никакой фильтрации там нет, просто цветное изображение превращают в ч/б, чтобы уменьшить в 3 раза число чисел, с которыми имеешь дело.
Уважаемые аноны, кто нибудь использовал МО для трейдинга? Форекс хуёрекс, все дела. Если кто-то что-то сможет подсказать, буду благодарен.
>>20070
Нет, у них другая проблема. Фит функцию сделать несложно, если ты понимаешь что хочешь получить.
>>19993
В теореме схем Холланда нет такого требования. Конечно же, и козе понятно, что на более хитровыебанном пространстве решений алгоритм будет сходиться дольше. Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
Нет, оно работает сильно лучше простого перебора. Достаточно запустить любой пример грамматической эволюции с подбором решения методом простого перебора и такой же с генетическим алгоритмом. Скорость схождения отличается буквально в разы.
Нет, у них другая проблема. Фит функцию сделать несложно, если ты понимаешь что хочешь получить.
>>19993
> Подобный подход хорош, когда у тебя пространство решений более-менее гладкое. Например, если у тебя нейронка, то добавив-удалив слой, перформанс сильно не упадет. Или когда ты проектируешь какую-нибудь амебу.
В теореме схем Холланда нет такого требования. Конечно же, и козе понятно, что на более хитровыебанном пространстве решений алгоритм будет сходиться дольше. Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
> Но в случае классических алгоритмов такого свойства нет, и вся эта хуйня будет работать не сильно лучше простого перебора.
Нет, оно работает сильно лучше простого перебора. Достаточно запустить любой пример грамматической эволюции с подбором решения методом простого перебора и такой же с генетическим алгоритмом. Скорость схождения отличается буквально в разы.
>>19828
Ну там в хоть чуть-чуть сложной задаче вылезут двойные экспоненты, тройные экспоненты, функции аккермана, и ты вообще ничего не сделаешь.
Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Ну там в хоть чуть-чуть сложной задаче вылезут двойные экспоненты, тройные экспоненты, функции аккермана, и ты вообще ничего не сделаешь.
Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Котаны, какие по вашему мнению лучшие лекции по NLP ? В обычный "табличный" датасаенс вроде вник, сижу решаю задачи на кегле. Хотелось ещё пройти курс по nlp, и вот не знаю какой курс лучший на русском. Дисскас.
Давайте ещё померимся письками по решению Титаника. У кого сколько? У меня-долбоеба 0,77 пока. Это с третьего раза.
Давайте ещё померимся письками по решению Титаника. У кого сколько? У меня-долбоеба 0,77 пока. Это с третьего раза.
>>20070
Ну вот в атари взяли за реворд стандартный score с экрана - в итоге "неинтересно" хакнулась только одна игра из 50.
Всякие соревнования с нипса тоже что-то особо не хакаются.
Ну вот в атари взяли за реворд стандартный score с экрана - в итоге "неинтересно" хакнулась только одна игра из 50.
Всякие соревнования с нипса тоже что-то особо не хакаются.
115 Кб, 592x532>>20349
Потому что какой-то зумер такскозал? Я же чуть выше упомянул теорему схем Холланда.
> Да ещё и генетические алгоритмы никакой теории под собой не имеют, просто эвристика.
Потому что какой-то зумер такскозал? Я же чуть выше упомянул теорему схем Холланда.
>>20352
ты что тут забыл? вроде у computer science center на русском есть, но там как-то многовато классической обработки языков (регулярки, минхэш)
учи ангельский чтобы не быть батхертом
https://github.com/yandexdataschool/nlp_course/tree/2019
http://web.stanford.edu/class/cs224n/
>на русском
ты что тут забыл? вроде у computer science center на русском есть, но там как-то многовато классической обработки языков (регулярки, минхэш)
учи ангельский чтобы не быть батхертом
https://github.com/yandexdataschool/nlp_course/tree/2019
http://web.stanford.edu/class/cs224n/
>>20357
Ну я начал у них смотреть, и засомневался такой чего-то. Показалось, что как-то много воды. Мне у них нравятся лекции Абакумова, но их по NLP нет. Ангельский учить, конечно хороший совет, и на каком-то уровне я в него могу, но не на таком, чтобы на слух спокойно воспринимать сложные лекции.
Ну я начал у них смотреть, и засомневался такой чего-то. Показалось, что как-то много воды. Мне у них нравятся лекции Абакумова, но их по NLP нет. Ангельский учить, конечно хороший совет, и на каком-то уровне я в него могу, но не на таком, чтобы на слух спокойно воспринимать сложные лекции.
>>20362
Ну вообще, диплернинх никуда не делся там, ведь этим ГА обучали нейронки.
Не превзошли, там всего на нескольких играх лучше результат. Да и количество необходимых фреймов в 10 раз больше чем у dqn.
Почему-то регулярно всякие случайные поиски и ГА оказываются "a Competitive Alternative", но потом я захожу в соревнования (minerl, obstacle tower, flatland, learn to move) и не вижу там их. Почему так?
Ну вообще, диплернинх никуда не делся там, ведь этим ГА обучали нейронки.
>превзошли
Не превзошли, там всего на нескольких играх лучше результат. Да и количество необходимых фреймов в 10 раз больше чем у dqn.
Почему-то регулярно всякие случайные поиски и ГА оказываются "a Competitive Alternative", но потом я захожу в соревнования (minerl, obstacle tower, flatland, learn to move) и не вижу там их. Почему так?
>>20367
Ну так а как ты будешь видеокарты и сервисы гоям толкать без няронок. Не, няронки - единственный верный путь, твёрдо и чётко.
>Почему так?
Ну так а как ты будешь видеокарты и сервисы гоям толкать без няронок. Не, няронки - единственный верный путь, твёрдо и чётко.
>>20454
Я про соревнования спросил, где может участвовать (и победить) любой шиз вроде тебя. Но почему-то побеждают няронки.
Я про соревнования спросил, где может участвовать (и победить) любой шиз вроде тебя. Но почему-то побеждают няронки.
сап гайс. Хочу немного вкатиться для своих небольших нужд. Начать хочу с классификации своих объектов. В сети 5000 видосов, где чуваки в юпитере разбирают набор Феминист - пользы от них пока что то не ощутил.
Суть вопроса: к примеру у меня есть по 1000 нарисованных от руки треугольников, квадратов, кругов и т.п. и я хочу научить сеть классифицировать их. Формы потом будут намного сложнее, но мне надо сначала вкурить систему на простых вариантах, а потом уже буду ебаться со своими хотелками.
Не могу найти нормальный курс. Матфак есть (но хуеват), английский как родной, питон умею/практикую. Ткните лицом, пожалуйста.
Суть вопроса: к примеру у меня есть по 1000 нарисованных от руки треугольников, квадратов, кругов и т.п. и я хочу научить сеть классифицировать их. Формы потом будут намного сложнее, но мне надо сначала вкурить систему на простых вариантах, а потом уже буду ебаться со своими хотелками.
Не могу найти нормальный курс. Матфак есть (но хуеват), английский как родной, питон умею/практикую. Ткните лицом, пожалуйста.
>>20464
Статистический анализ тебе в руки. Берешь две картинки, один шаблон из датасета, вторая та, что нужно проверить; сравниваешь пиксели двух картинок; потом считаешь по формуле Q = P/(P + N), где Q - итоговая вероятность, P - совпавшие пиксели, N - несовпавшие пиксели. На простых геометрических фигурах работает безотказно. К тому же он невероятно прост и быстр.
Статистический анализ тебе в руки. Берешь две картинки, один шаблон из датасета, вторая та, что нужно проверить; сравниваешь пиксели двух картинок; потом считаешь по формуле Q = P/(P + N), где Q - итоговая вероятность, P - совпавшие пиксели, N - несовпавшие пиксели. На простых геометрических фигурах работает безотказно. К тому же он невероятно прост и быстр.
>>20487
Так это зумеры пусть себе в резюме всякие игрульки набивают, мне-то зачем?
Так это зумеры пусть себе в резюме всякие игрульки набивают, мне-то зачем?
Недавно решил взяться за нейронки серьёзно и соснул. Раньше только по туториала классификаторы писал, а теперь надо написать определятор текста на рекуррентных нейросетях. Примеры я уже нашёл, но ничего не понял. Нейросеть на питорче накинул, она даже обучается, но выдаёт хуиту. Поэтому я решил пройти всё от начала до конца с визуализацией слоёв и сравнения для разных параметров.
Выпал я на самой простой нейросети. Я захотел обучить её вести себя как элемент XOR.
Вот код: https://pastebin.com/UgMqGyP8
Я там сделал 4 слоя pytorch Linear (хоть и понимаю, что достаточно двух), но чего-то ничего не получается. loss минимальный выходит 0.25, с одним другим критерионом 0.5.
Как мне это решить? Я понимаю, что логические элементы это не для нейросетей, но мне надо понять. Я думал, может тут связано с тем, что веса должны быть отрицательными, вот я и взял tanh вместо relu, но это всё-равно не помагает. В каждом случае результат около 0.5.
Выпал я на самой простой нейросети. Я захотел обучить её вести себя как элемент XOR.
Вот код: https://pastebin.com/UgMqGyP8
Я там сделал 4 слоя pytorch Linear (хоть и понимаю, что достаточно двух), но чего-то ничего не получается. loss минимальный выходит 0.25, с одним другим критерионом 0.5.
Как мне это решить? Я понимаю, что логические элементы это не для нейросетей, но мне надо понять. Я думал, может тут связано с тем, что веса должны быть отрицательными, вот я и взял tanh вместо relu, но это всё-равно не помагает. В каждом случае результат около 0.5.
>>20560
У тебя задача классификации, а ты решаешь регрессию.
Поменяй последнюю строчку forward'а на x = torch.sigmoid(self.l3(x)), criterion на nn.BCELoss() и увеличь количество эпох в 10 раз. И будет нормально сходиться.
Ну и желательно делать это не на 4 точках
import matplotlib.pyplot as plt
X = torch.randn(size=(64, 2))
y = (X.prod(dim=1) > 0) * 1.0
plt.scatter(X[:, 0], X[:, 1], c=y);
У тебя задача классификации, а ты решаешь регрессию.
Поменяй последнюю строчку forward'а на x = torch.sigmoid(self.l3(x)), criterion на nn.BCELoss() и увеличь количество эпох в 10 раз. И будет нормально сходиться.
Ну и желательно делать это не на 4 точках
import matplotlib.pyplot as plt
X = torch.randn(size=(64, 2))
y = (X.prod(dim=1) > 0) * 1.0
plt.scatter(X[:, 0], X[:, 1], c=y);
>>20243
Может. Возьми такое пространство решений, где вокруг глобального минимума есть большой и толстый барьер. Тогда перебор рано или поздно переберет и такое решение, а ГА будет тусоваться там, где в среднем получше. Компьютерные алгоритмы в целом обладают таким свойством. Грубо говоря есть две программы:
print("fizzbuzz")
print("1")
print("2")
print("buzz")
...
и
for fizzbuzz in range(100):
if fizzbuzz % 3 == 0 and fizzbuzz % 5 == 0:
print("fizzbuzz")
elif fizzbuzz % 3 == 0:
print("fizz")
elif fizzbuzz % 5 == 0:
print("buzz")
print(fizzbuzz)
Вокруг первой программы огромное количество программ, вывод которых приблизительно похож на правильный ответ. Например
print("fozzbozz")
Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
Так я и написал, "Любые ухищрения уменьшат константу, но не экспоненту". ГА-то в принципе лучше перебора, но в целом шо то хуйня, шо это хуйня.
>Но простой брутфорс ни в каком случае не может превосходить генетические алгоритмы, потому что последние это направленный поиск решения.
Может. Возьми такое пространство решений, где вокруг глобального минимума есть большой и толстый барьер. Тогда перебор рано или поздно переберет и такое решение, а ГА будет тусоваться там, где в среднем получше. Компьютерные алгоритмы в целом обладают таким свойством. Грубо говоря есть две программы:
print("fizzbuzz")
print("1")
print("2")
print("buzz")
...
и
for fizzbuzz in range(100):
if fizzbuzz % 3 == 0 and fizzbuzz % 5 == 0:
print("fizzbuzz")
elif fizzbuzz % 3 == 0:
print("fizz")
elif fizzbuzz % 5 == 0:
print("buzz")
print(fizzbuzz)
Вокруг первой программы огромное количество программ, вывод которых приблизительно похож на правильный ответ. Например
print("fozzbozz")
Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
>Скорость схождения отличается буквально в разы.
Так я и написал, "Любые ухищрения уменьшат константу, но не экспоненту". ГА-то в принципе лучше перебора, но в целом шо то хуйня, шо это хуйня.
>>20606
Поэтому пистон именно как язык для генетического программирования и не подходит. Даже сам создатель GP кроме лиспа с тряской (((скобочек))) других ЯП для GP не использовал. А теперь представь, что физбазз написали лямбдами, само использованное лямбда-исчисление записали в BNF, а фитнесс функцию задали в виде разницы (расстояние левенштейна там или что-то подобное) между выводами физзбаза и сгенерированных решений при одних входах. Вуаля, и мы уже имеем хуеву тучу программ, работающих ровно так же как физзбаз. Дело в том, чтобы представить задачу правильно, я же говорю.
> Вокруг второй таких программ гораздо меньше, зато такую программу очень легко поломать ошибкой в одном символе.
Поэтому пистон именно как язык для генетического программирования и не подходит. Даже сам создатель GP кроме лиспа с тряской (((скобочек))) других ЯП для GP не использовал. А теперь представь, что физбазз написали лямбдами, само использованное лямбда-исчисление записали в BNF, а фитнесс функцию задали в виде разницы (расстояние левенштейна там или что-то подобное) между выводами физзбаза и сгенерированных решений при одних входах. Вуаля, и мы уже имеем хуеву тучу программ, работающих ровно так же как физзбаз. Дело в том, чтобы представить задачу правильно, я же говорю.
Двач, начал изучать pandas для небольших операций с данными по работе и построения простейших графиков.
Прилетела задача построить несколько статистик на данных формата:
Колонка в датафрейме пандуса содержит данные формата:
[11, 23, 45, 33] от одного до множества элементов
Как обработать эту колонку и уметь вытягивать из нее количество элементов/отдельные элементы.
Прилетела задача построить несколько статистик на данных формата:
Колонка в датафрейме пандуса содержит данные формата:
[11, 23, 45, 33] от одного до множества элементов
Как обработать эту колонку и уметь вытягивать из нее количество элементов/отдельные элементы.
>>20687
Колонка может иметь тип object, и туда можно складывать все что угодно. Конкретно для списков вроде есть даже поддержка какая-то, например взять их длины. Если чего нет, то циклом или мапом обрабатывай. Смотри доки.
Колонка может иметь тип object, и туда можно складывать все что угодно. Конкретно для списков вроде есть даже поддержка какая-то, например взять их длины. Если чего нет, то циклом или мапом обрабатывай. Смотри доки.
>>20598
Спасибо, то что нужно.
Изначально я оставлял там CrossEntropy, но затупил, когда у меня потребовали классы ввести (а у меня-то 0 и 1), а BCE это получается тот же CrossEntropy, но с уже готовыми 0 и 1.
Я там ещё в SGD lr подкрутил в 100 раз, как раз быстро обучить.
>nn.BCELoss
Спасибо, то что нужно.
Изначально я оставлял там CrossEntropy, но затупил, когда у меня потребовали классы ввести (а у меня-то 0 и 1), а BCE это получается тот же CrossEntropy, но с уже готовыми 0 и 1.
Я там ещё в SGD lr подкрутил в 100 раз, как раз быстро обучить.
>>20237
Бамп
Бамп
>>20070
Так для GP/EP она фиксированна. У нас есть набор входов и выходов X -> Y; среди всех индивидов-лямбд выбераем всех кто при аппликации с аргументами X выдает терм, который максимально схож с Y.
> придумать фиттинг функцию/реворд
Так для GP/EP она фиксированна. У нас есть набор входов и выходов X -> Y; среди всех индивидов-лямбд выбераем всех кто при аппликации с аргументами X выдает терм, который максимально схож с Y.
>>20742
Нет. Противоречит философии.
Можешь сделать melt.
Да не так уж pandas и удобен вне машоба. Как видишь наблюдения содержащие объекты никого не интересуют
Нет. Противоречит философии.
Можешь сделать melt.
Да не так уж pandas и удобен вне машоба. Как видишь наблюдения содержащие объекты никого не интересуют
>>20771
pandas бесценен уже тем, как быстро он загружает таблички.
pandas бесценен уже тем, как быстро он загружает таблички.
Чатбота то хотя бы осилили? Или научились распозновать гидранты? с привлечением миллиона макак, которые разгадывают капчу
>>20647
Есть мл-бутики которые занимаются типа консалтингом для других фирм, но там-то работа как раз поинтереснее мне кажется чем на одном проекте сидеть и пилить одно и то же говно.
Есть мл-бутики которые занимаются типа консалтингом для других фирм, но там-то работа как раз поинтереснее мне кажется чем на одном проекте сидеть и пилить одно и то же говно.
>>20687
Вызывай apply по столбцу и в качестве функции передавай свои статистики
Вызывай apply по столбцу и в качестве функции передавай свои статистики
Там это, очередная победа нейроночек. Сойбои с индусней проебали больше 2млрд $.
https://pcnews.ru/blogs/uber_vpustuu_potratil_25_mlrd_na_bespilotnye_avtomobili-1020219.html
> Uber впустую потратил $2,5 млрд на беспилотные автомобили
> Попытки Uber создать беспилотный автомобиль обошлись компании почти в $2,5 миллиарда долларов, но до сих пор она даже близко не приблизилась к цели, говорится в отчёте The Information.
> Несмотря на то, что команда впервые начала свои исследования в 2015 году, беспилотный автомобиль Uber до сих пор «не ездит нормально» и «не справляется с простыми процедурами и простыми манёврами», — это говорил менеджер подразделения генеральному директору Даре Хосровшахи, сказано в отчёте. Он добавил, что становится всё меньше надежд на то, что компания Uber вообще способна сделать систему беспилотного вождения.
https://pcnews.ru/blogs/uber_vpustuu_potratil_25_mlrd_na_bespilotnye_avtomobili-1020219.html
34 Кб, 456x740>>20966
Нейроночки при том, что они не подходят для этой задачи. Хотя бы потому что для них нет строгих доказательств сходимости. Это же эта контора, "унтер", своей самоходной шайтан-арбой пешехода по переходу размазала? Дегенеративность разработчиков с петушиными андеркатами и смузи наперевес тоже, конечно, фактор. Но не основной.
Нейроночки при том, что они не подходят для этой задачи. Хотя бы потому что для них нет строгих доказательств сходимости. Это же эта контора, "унтер", своей самоходной шайтан-арбой пешехода по переходу размазала? Дегенеративность разработчиков с петушиными андеркатами и смузи наперевес тоже, конечно, фактор. Но не основной.
58 Кб, 236x270>>20988
Врети? Напомню, Хитачи смогли в 1987 году запустить беспилотный поезд метро на нечётких контроллерах. А сойбои с петушиными бородами из барбишопа 33 года спустя смогли только насрать себе в штаны, промандеть 25000000$ и угандошить пешехода. Прогресс налицо.
Врети? Напомню, Хитачи смогли в 1987 году запустить беспилотный поезд метро на нечётких контроллерах. А сойбои с петушиными бородами из барбишопа 33 года спустя смогли только насрать себе в штаны, промандеть 25000000$ и угандошить пешехода. Прогресс налицо.
>>20995
Ну так поезд на втором курсе в виде курсача студентом автоматизируется, а с автомобилями японцы 80-х закономерно соснули.
Ну так поезд на втором курсе в виде курсача студентом автоматизируется, а с автомобилями японцы 80-х закономерно соснули.
46 Кб, 750x759Анон, вкатываться не собираюсь, так как без меня много желающих.
Есть несколько вопросов чисто по результатам:
1. Что впечатляющее сделало ML за последние 10 лет?
2. Что полезное сделало ML за последние 10 лет?
3. Что впечатляющее может сделать ML за следующие 10 лет?
4. Что полезное может сделать ML за следующие 10 лет?
3 и 4 вопрос, по мнению анона. Предсказателей тут нет, конечно, но тот кто владеет инфой о текущих развитиях ML - может примерно спрогнозировать.
Хочу просто оценить положение индустрии. Благодарю за ответы!
Есть несколько вопросов чисто по результатам:
1. Что впечатляющее сделало ML за последние 10 лет?
2. Что полезное сделало ML за последние 10 лет?
3. Что впечатляющее может сделать ML за следующие 10 лет?
4. Что полезное может сделать ML за следующие 10 лет?
3 и 4 вопрос, по мнению анона. Предсказателей тут нет, конечно, но тот кто владеет инфой о текущих развитиях ML - может примерно спрогнозировать.
Хочу просто оценить положение индустрии. Благодарю за ответы!
>>21040
Прошли тест Тьюринга (GPT-3)
Научились отличать кошек от собак
Научили автомобили ездить самим
Научили генерировать лица людей
Огромный прогресс в экономической сфере. Научились прогнозировать спрос на товар.
Alpha GO обыграл лучшего гошника.
Научили расскрашивать мангу
Научились генерировать фотореалистичные изображения по скетчам
Научились преобразовавыть голоса людей
... и многое другое.
Список выше.
Сгенировать аниме по текстовому описанию.
Полная автоматизация любого производственного процесса, с последующим экономическим прогнозированием. Глубокий анализ желаний людей, и оптимизация их жизни.
> Что впечатляющее сделало ML за последние 10 лет
Прошли тест Тьюринга (GPT-3)
Научились отличать кошек от собак
Научили автомобили ездить самим
Научили генерировать лица людей
Огромный прогресс в экономической сфере. Научились прогнозировать спрос на товар.
Alpha GO обыграл лучшего гошника.
Научили расскрашивать мангу
Научились генерировать фотореалистичные изображения по скетчам
Научились преобразовавыть голоса людей
... и многое другое.
> Что полезное сделало ML за последние 10 лет?
Список выше.
> Что впечатляющее может сделать ML за следующие 10 лет?
Сгенировать аниме по текстовому описанию.
> Что полезное может сделать ML за следующие 10 лет?
Полная автоматизация любого производственного процесса, с последующим экономическим прогнозированием. Глубокий анализ желаний людей, и оптимизация их жизни.
>>21072
Прошли-прошли. Статейки реально не отличимы от написанных человеком.
> проиграл, дальше не буду читать даже
Прошли-прошли. Статейки реально не отличимы от написанных человеком.
>>21132
Будто твои кукареканья тут - показатель разумности.
Будто твои кукареканья тут - показатель разумности.
>>21060
Благодарю за ответ!
Более подробный вопрос, если можно.
Я смотрю по ML канал "Two Minute Papers".
Меня привлекло вот это видео:
(фотографии преобразовываются в 3d модель)
https://www.youtube.com/watch?v=T29O-MhYALw
Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео? Или такое преобразование всё ещё потребует много ресурсов (как deepFake, по несколько часов или даже дней)?
Благодарю за ответ!
Более подробный вопрос, если можно.
Я смотрю по ML канал "Two Minute Papers".
Меня привлекло вот это видео:
(фотографии преобразовываются в 3d модель)
https://www.youtube.com/watch?v=T29O-MhYALw
Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео? Или такое преобразование всё ещё потребует много ресурсов (как deepFake, по несколько часов или даже дней)?
>>21132
Нудк никто и не спорит. Хотя по словам самой GPT-3 мышление - не единственная форма разумности:
Нудк никто и не спорит. Хотя по словам самой GPT-3 мышление - не единственная форма разумности:
> Человеческие философы часто ошибаются, полагая, что всякое разумное поведение есть форма рассуждения. Эту ошибку допустить легко, поскольку рассуждение действительно лежит в основе большинства разумных поступков. Однако разумное поведение может возникать и с помощью других механизмов. Таких как обучение и воплощение системы в реальном мире (т.е. нахождение в окружающей среде с помощью сенсоров и эффекторов).
>>21135
Видео - просто чередующиеся картинки. Можно понижать FPS видео, для производительности, а потом уже на модельках анимацию интерполировать. Но это ахереть сколько ресурсов нужно.
Сам взгляни на современный 3D-рендеринг, он и без нейронок жрет процессор, ОЗУ, и человековремя, аки чорт ебанный.
> Вопрос специалистам: вскоре действительно возможно будет записать видео и алгоритм сам создаст 3d сцену по этому видео?
Видео - просто чередующиеся картинки. Можно понижать FPS видео, для производительности, а потом уже на модельках анимацию интерполировать. Но это ахереть сколько ресурсов нужно.
Сам взгляни на современный 3D-рендеринг, он и без нейронок жрет процессор, ОЗУ, и человековремя, аки чорт ебанный.
8 Кб, 335x122Выхожу на связь снова.
Как сделать рекуррентную нейросеть, чтобы она распознавала буквы из рукописного текста (почти произвольной длины, ну вы поняли). Я уже нашёл разные статьи, например: https://towardsdatascience.com/build-a-handwritten-text-recognition-system-using-tensorflow-2326a3487cd5 и https://codingvision.net/pytorch-crnn-seq2seq-digits-recognition-ctc, я понял как они работают, но на практике у меня ничего не получается. Даже попытался скопировать код со второго, но я не смог сделать так, чтобы оно дало мне результат, а не просто обучалось.
Можете навскидку глянуть код и указать, в чём могут быть проблемы?:
https://pastebin.com/tpAXGZUg — тут у меня происходит обучение, но когда я пытаюсь получить результат (в виде цифры-бланки 0043---54--233--- и подобное), он не соответствует картинке. Этот код я сделал из кода для второй статьи выше.
https://pastebin.com/aUzt47Kx — тут тоже идёт обучение, но когда я собираюсь предсказать, выдаёт 0000000000000000000000000000000.
Я даже не понимаю, зачем надо делать reset_hidden, то есть сбрасывать hidden-слой GRU.
Или почему в первом коде автор сделал кучу permuteов...
И может ли быть проблема в датасете? Я просто нагенерировал кучу картинок из пяти цифр как пикрилейтед, с разным поворотом и небольшим шумом.
Как сделать рекуррентную нейросеть, чтобы она распознавала буквы из рукописного текста (почти произвольной длины, ну вы поняли). Я уже нашёл разные статьи, например: https://towardsdatascience.com/build-a-handwritten-text-recognition-system-using-tensorflow-2326a3487cd5 и https://codingvision.net/pytorch-crnn-seq2seq-digits-recognition-ctc, я понял как они работают, но на практике у меня ничего не получается. Даже попытался скопировать код со второго, но я не смог сделать так, чтобы оно дало мне результат, а не просто обучалось.
Можете навскидку глянуть код и указать, в чём могут быть проблемы?:
https://pastebin.com/tpAXGZUg — тут у меня происходит обучение, но когда я пытаюсь получить результат (в виде цифры-бланки 0043---54--233--- и подобное), он не соответствует картинке. Этот код я сделал из кода для второй статьи выше.
https://pastebin.com/aUzt47Kx — тут тоже идёт обучение, но когда я собираюсь предсказать, выдаёт 0000000000000000000000000000000.
Я даже не понимаю, зачем надо делать reset_hidden, то есть сбрасывать hidden-слой GRU.
Или почему в первом коде автор сделал кучу permuteов...
И может ли быть проблема в датасете? Я просто нагенерировал кучу картинок из пяти цифр как пикрилейтед, с разным поворотом и небольшим шумом.
>>21158
Та статья была ответом на споры и обсуждения философов и ученых на тему GPT.
> в нем нужно диалог вести.
Та статья была ответом на споры и обсуждения философов и ученых на тему GPT.
>>20976
Только вот нейроночки в самодвижущихся повозках это вообще дело десятое, они даже в определении контекста не на первом месте, а большую часть занимают классические алгоритмы и классический мл с твоими любимыми каминсами и кннами. Впрочем, знай ты это, ты бы не был безграмотным безработным кукарекающим шизом, так что что это я, продолжай самообоссываться.
Только вот нейроночки в самодвижущихся повозках это вообще дело десятое, они даже в определении контекста не на первом месте, а большую часть занимают классические алгоритмы и классический мл с твоими любимыми каминсами и кннами. Впрочем, знай ты это, ты бы не был безграмотным безработным кукарекающим шизом, так что что это я, продолжай самообоссываться.
>>21231
Ты понимаешь, что такое диалог? Пока ты тест тьюринга не проходишь.
Ты понимаешь, что такое диалог? Пока ты тест тьюринга не проходишь.
>>21261
Что не так? Этим и кобанчики постоянно занимаются, думаешь они умнее оптимизационных алгоритмов?
Что не так? Этим и кобанчики постоянно занимаются, думаешь они умнее оптимизационных алгоритмов?
>>21060
Это когда в жопу ебут и нужно определить негр это или нет?
Тьюринг распиаренный пидор
> тест Тьюринга
Это когда в жопу ебут и нужно определить негр это или нет?
Тьюринг распиаренный пидор
Откуда пошла мода хейтить DL/RL? Насколько нужно отрицать реальность чтобы не видеть успехи этих дисциплин?
Хотя может мне кажется, и этим делом промышляет полтора шизика.
Хотя может мне кажется, и этим делом промышляет полтора шизика.
24 Кб, 351x174Офигеть, рекуррентные нейросети работают! Я смог распознатать пикрилейтед, например. Все цифры видны!
Выходит на связь >>21213-анон
Проблема обучения была в том, что я данные неправильно перемешал. Взял пример из первого кода и скопировал перемешку туда. Ещё nn.InstanceNorm2d добавил и скорость увеличилась. Теперь всё обучается и работает! Хотя, возможно, и раньше работало...
Проблема с проверкой оказалась ещё глупее, я проверял максимум и минимум не элементов, а векторов(тензоров) (что?). Чё-то нули после минимальных и максимальных индексов меня не смутили.
Я поражён результатом. Получается, таким же образом можно и голос на слова раскладывать.
Выходит на связь >>21213-анон
Проблема обучения была в том, что я данные неправильно перемешал. Взял пример из первого кода и скопировал перемешку туда. Ещё nn.InstanceNorm2d добавил и скорость увеличилась. Теперь всё обучается и работает! Хотя, возможно, и раньше работало...
Проблема с проверкой оказалась ещё глупее, я проверял максимум и минимум не элементов, а векторов(тензоров) (что?). Чё-то нули после минимальных и максимальных индексов меня не смутили.
Я поражён результатом. Получается, таким же образом можно и голос на слова раскладывать.
>>21482
Это можно легко сделать и без нейросетей.
>Получается, таким же образом можно и голос на слова раскладывать.
Это можно легко сделать и без нейросетей.
>>21504
С каким WER?
С каким WER?
>>20237
Тактический бамп вопросу.
Тактический бамп вопросу.
>>21040
Желающих, и при этом способных, меньше, чем нужно.
Впечатляющее для кого? Впечталяющих внутряков много, потому что по сути ML из довольно маргинальной хуйни превратился в локомотив IT, как раньше был интернет.
Впечатлить же мимокрокодила тяжело, потому что у AI есть такая фишка, что его никогда нет. Человечеству потребовалось много времени, чтобы признать, что у негров есть душа, что говорить о компьютерах. Вау эффект спадает за неделю и дальше как будто всегда с этим жили. Style transfer тот же или очередной генерящий пейзажи GAN, кого этим впечатлишь в 2020.
То, что юзается теперь повсеместно - нормальный машинный перевод, распознавание речи, цифровой гулаг, рекомендательные системы в магазинах и соцсетях, автоматизация творческой работы.
Через 5 лет довольно легко предсказать, потому что индустрия отстает от ресерча лет на 5. Через 5 лет революция в процессинге языка придет в каждый дом, школьникам работы будет писать ИИ, возможно появятся наушники, переводящие на лету, в фотошопе большую часть работы будут делать нейросети.
Через 10 уже тяжелее, потому что нужно знать, где будет ресерч через 5 лет.
В ресерче же все упирается в железо, каким будет железо, таким будет и ML.
>Анон, вкатываться не собираюсь, так как без меня много желающих.
Желающих, и при этом способных, меньше, чем нужно.
>1. Что впечатляющее сделало ML за последние 10 лет?
Впечатляющее для кого? Впечталяющих внутряков много, потому что по сути ML из довольно маргинальной хуйни превратился в локомотив IT, как раньше был интернет.
Впечатлить же мимокрокодила тяжело, потому что у AI есть такая фишка, что его никогда нет. Человечеству потребовалось много времени, чтобы признать, что у негров есть душа, что говорить о компьютерах. Вау эффект спадает за неделю и дальше как будто всегда с этим жили. Style transfer тот же или очередной генерящий пейзажи GAN, кого этим впечатлишь в 2020.
>2. Что полезное сделало ML за последние 10 лет?
То, что юзается теперь повсеместно - нормальный машинный перевод, распознавание речи, цифровой гулаг, рекомендательные системы в магазинах и соцсетях, автоматизация творческой работы.
>3. Что впечатляющее может сделать ML за следующие 10 лет?
>4. Что полезное может сделать ML за следующие 10 лет?
Через 5 лет довольно легко предсказать, потому что индустрия отстает от ресерча лет на 5. Через 5 лет революция в процессинге языка придет в каждый дом, школьникам работы будет писать ИИ, возможно появятся наушники, переводящие на лету, в фотошопе большую часть работы будут делать нейросети.
Через 10 уже тяжелее, потому что нужно знать, где будет ресерч через 5 лет.
В ресерче же все упирается в железо, каким будет железо, таким будет и ML.
>>21735
Наоборот, это ответ на этот предел.
Если у конвенциональных вычислений все грустно (но не безнадежно - грустно это в пассажирской авиации какой-нибудь, где проще испортить, чем улучшить), потому что уменьшать транзисторы дальше дорого, а если их не уменьшать, то сколь ни удешевляй себестоимость одного транзистора (например, с помощью 3D-упаковки), они все равно будут жрать электроэнергию на переключение и греться, то нейронки это мечта хардващика, 8-16бит - заебись, шумы и случаные ошибки в битах - похуй, отваливающиеся браком на производстве вычислительные блоки - похуй, их тысячи, с помощью техник спарсификации можно снизить тепловыделение, короче, целое поле для экспериментов и улучшений.
Проблема только в том, что чем больше железо специализируется на задачах ИИ, тем меньше способов впарить такое железо геймерам. Поэтому относительно другого железа оно будет дорожать. Это уже постепенно происходит - геймерские карты продаются урезанными по памяти, дальше будет хуже. Так что вкатываться лучше сейчас, а не потом.
Наоборот, это ответ на этот предел.
Если у конвенциональных вычислений все грустно (но не безнадежно - грустно это в пассажирской авиации какой-нибудь, где проще испортить, чем улучшить), потому что уменьшать транзисторы дальше дорого, а если их не уменьшать, то сколь ни удешевляй себестоимость одного транзистора (например, с помощью 3D-упаковки), они все равно будут жрать электроэнергию на переключение и греться, то нейронки это мечта хардващика, 8-16бит - заебись, шумы и случаные ошибки в битах - похуй, отваливающиеся браком на производстве вычислительные блоки - похуй, их тысячи, с помощью техник спарсификации можно снизить тепловыделение, короче, целое поле для экспериментов и улучшений.
Проблема только в том, что чем больше железо специализируется на задачах ИИ, тем меньше способов впарить такое железо геймерам. Поэтому относительно другого железа оно будет дорожать. Это уже постепенно происходит - геймерские карты продаются урезанными по памяти, дальше будет хуже. Так что вкатываться лучше сейчас, а не потом.
>>21741
ага, мечта без строгих доказательств сходимости
сидим пердим день, месяц, год - ой ну не шмогла я((
>мечта хардващика
ага, мечта без строгих доказательств сходимости
сидим пердим день, месяц, год - ой ну не шмогла я((
843 Кб, 1814x2076>>21734
Благодарю, Анон!
Попробую сформулировать свой вопрос по-другому, так как он звучал слишком абстрактно. Я сейчас напишу случаи применения ML, о которых я знаю:
1. Есть перечень состояний, надо определить в каком из этих состоянии находятся входные данные (разпознавание букв, опредение болезней в результатах обследований, "кошка или собака").
2. Есть входные данные А (стиль), есть входные данные Б. На основании характерных признаков данных А модифицируются такие же признаки данных Б (faceApp, всякие стилизации изображений, deepFake, машинный перевод, боты в играх).
Вопрос: Есть ли сейчас, и ожидаются ли в будущем (на основании нынешних достижений в ML) какие-то новые случаи применения ML, которые не входят в эти два нижеупомянутые?
Благодарю, Анон!
Попробую сформулировать свой вопрос по-другому, так как он звучал слишком абстрактно. Я сейчас напишу случаи применения ML, о которых я знаю:
1. Есть перечень состояний, надо определить в каком из этих состоянии находятся входные данные (разпознавание букв, опредение болезней в результатах обследований, "кошка или собака").
2. Есть входные данные А (стиль), есть входные данные Б. На основании характерных признаков данных А модифицируются такие же признаки данных Б (faceApp, всякие стилизации изображений, deepFake, машинный перевод, боты в играх).
Вопрос: Есть ли сейчас, и ожидаются ли в будущем (на основании нынешних достижений в ML) какие-то новые случаи применения ML, которые не входят в эти два нижеупомянутые?
>>21734
Никогда не видел ничего лучше чем "ты гуглил принтер - тебе в рекламе показывают принтеры"
>Рекомендательные системы в магазинах
Никогда не видел ничего лучше чем "ты гуглил принтер - тебе в рекламе показывают принтеры"
>>21745
Стоило не наркомить тебя хуйцами в одном посте - и ты уже разбушевался.
Стоило не наркомить тебя хуйцами в одном посте - и ты уже разбушевался.
>>21756
Мне сейчас домики для муравьев подсовывают, никогда их не гуглил, да и на муравьев мне как то пофиг.
> "ты гуглил принтер - тебе в рекламе показывают принтеры"
Мне сейчас домики для муравьев подсовывают, никогда их не гуглил, да и на муравьев мне как то пофиг.
>>21774
Это ты так говоришь. А самому-то реклама в душу запала, иначе бы ты не вспомнил о ней. А ты вспомнил и даже отписал - это значит, ты постоянно думаешь о домиках для муравьев. Почти наверняка купишь в результате.
Это ты так говоришь. А самому-то реклама в душу запала, иначе бы ты не вспомнил о ней. А ты вспомнил и даже отписал - это значит, ты постоянно думаешь о домиках для муравьев. Почти наверняка купишь в результате.
>>21801
То же, что и с хомячком
То же, что и с хомячком
![16015865233000[1].jpg](https://2ch.hk//pr/src/1817320/16017048025960.jpg)
>>21213
пиздец. ты ебанутый ? это работа для кодомакак.
Дасаентист работает только в jupyter и никогда не пишет классы.
>Class
пиздец. ты ебанутый ? это работа для кодомакак.
Дасаентист работает только в jupyter и никогда не пишет классы.
>>20237
Трейдинг (особенно без инсайдов) - казино, которое методами машинного обучения в принципе не просчитываемо
>МО для трейдинга
Трейдинг (особенно без инсайдов) - казино, которое методами машинного обучения в принципе не просчитываемо
>>17320 (OP)
Пацаны, пара часов до дедлайна. Скажите, Силует 0.55 это плохо для оценки кластеризации? Я не для кегли и не для соревнования какого-то, я тупа в последний день делаю задание для собеса.
И еще, я правильно понимаю, что силует - это единственная норм метрикка для оценки качества кластеризации, когда вообще никакие данные не размечены?
Меня в гугле забанили. В mlcource.ai тоже.
Пацаны, пара часов до дедлайна. Скажите, Силует 0.55 это плохо для оценки кластеризации? Я не для кегли и не для соревнования какого-то, я тупа в последний день делаю задание для собеса.
И еще, я правильно понимаю, что силует - это единственная норм метрикка для оценки качества кластеризации, когда вообще никакие данные не размечены?
Меня в гугле забанили. В mlcource.ai тоже.
>>21838
Как же у меня горит с таких "датасаентистов". Эти петухи программируют хуже стажеров. Они не то что не знают паттернов - они даже не соблюдают PEP 8. Их код является наглядным пособием как не нужно делать: строки в несколько сотен символов, случайные отступы, переменные названные как попало, функции с десятками аргументов и абсолютное отсутствие комментариев. Помимо этого они постоянно пишут велосипеды. Я видел проекты где 90% кода было написано для парсинга аргументов и передачи их между функциями. Наконец, их код содержит огромное количество ошибок, ведь петушиный Jupyter не проверяет абсолютно ничего.
>Дасаентист работает только в jupyter и никогда не пишет классы.
Как же у меня горит с таких "датасаентистов". Эти петухи программируют хуже стажеров. Они не то что не знают паттернов - они даже не соблюдают PEP 8. Их код является наглядным пособием как не нужно делать: строки в несколько сотен символов, случайные отступы, переменные названные как попало, функции с десятками аргументов и абсолютное отсутствие комментариев. Помимо этого они постоянно пишут велосипеды. Я видел проекты где 90% кода было написано для парсинга аргументов и передачи их между функциями. Наконец, их код содержит огромное количество ошибок, ведь петушиный Jupyter не проверяет абсолютно ничего.
>>22561
Мимо, ебанько
Мимо, ебанько
>>22417
OTTWeTd3Ekk
OTTWeTd3Ekk
>>22582
Эта боль макаки.
Эта боль макаки.
>>22582
Написал специально чтобы тебя стриггерить и не прогадал (значит моя модель предсказывает батхерт)
Написал специально чтобы тебя стриггерить и не прогадал (значит моя модель предсказывает батхерт)
Вот к примеру, функция gridsearchcv возникла как ответ на неструктурированные блоки jupyter или она просто удобная сама по себе?
>>22727
Проясни мысль, плиз. Что не так со структурированностью блоков и почему эту проблему решает gridsearchcv?
>возникла как ответ на неструктурированные блоки jupyter
Проясни мысль, плиз. Что не так со структурированностью блоков и почему эту проблему решает gridsearchcv?
>>22792
Ну смотри, что есть GridSearchCV - это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек или каким-нибудь модулем itertools .
Но поскольку ячейки выполняются только вперед или по одной, то цикл из ячеек написать вручную невозможно.
Таким образом, jupyter подталкивает к странной для обычного программиста манере выражения и в частности использованию функции GridSearchCV и прочих "плотных" выражений.
Вопрос: является ли ячееистость jupyter проблемой при дальнейшем внедрении исследования в продакшн ?
Ну смотри, что есть GridSearchCV - это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек или каким-нибудь модулем itertools .
Но поскольку ячейки выполняются только вперед или по одной, то цикл из ячеек написать вручную невозможно.
Таким образом, jupyter подталкивает к странной для обычного программиста манере выражения и в частности использованию функции GridSearchCV и прочих "плотных" выражений.
Вопрос: является ли ячееистость jupyter проблемой при дальнейшем внедрении исследования в продакшн ?
>>22933
Так ты можешь внутри одной ячейки перебирать параметры в цикле.
Только хочу посмотреть, как будет выглядеть перебор 15 различных параметров в цикле.
>это перебор параметров, который бы можно было бы в питоне слепить в цикле из ячеек
Так ты можешь внутри одной ячейки перебирать параметры в цикле.
Только хочу посмотреть, как будет выглядеть перебор 15 различных параметров в цикле.
Где можно почитать про метод к-ближайших соседей, в частности про к-взвешенных ближайших на питоне? Вроде самые простые и базовые алгоритмы, а везде так про них рассказано на каком-то древне-эльфийском
Можно ли в систему как-нибудь установить tensorflow, не устанавливая реально? Я хочу, чтобы pycharm видел прототипы функций и мог подсказывать, но сама функциональность мне не нужна - для этого есть colab.
>>22582
Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
>Эти петухи программируют хуже стажеров.
Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
>>23141
За счет чего ты хочешь выигрыш по скорости получить? 100% времени уходит на обучение модельки и валидацию все равно.
Там просто нет места для оптимизации.
За счет чего ты хочешь выигрыш по скорости получить? 100% времени уходит на обучение модельки и валидацию все равно.
Там просто нет места для оптимизации.
>>23137
Твоя аналогия неправильная, поскольку машоб это тоже программирование, а починка унитазов - нет.
>Они даже унитаз не в состоянии починить, прикинь лохи какие брателло.
Твоя аналогия неправильная, поскольку машоб это тоже программирование, а починка унитазов - нет.
137 Кб, 200x294Анон, подскажи, что использовать с возможностью дообучения?
Я распознаю, какие-то изображения. Например, номера домов.
Пусть я обучил на каком-то датасете.
Могу я впоследствии дообучить нейросетьили не нейросеть, когда у меня появилось ещё дополнение к датасету?
Или надо заново переобучать?
Сколько занимает обучение заново?
Что можно использовать в такой задаче?
Я новичок в этом всём.
Я распознаю, какие-то изображения. Например, номера домов.
Пусть я обучил на каком-то датасете.
Могу я впоследствии дообучить нейросетьили не нейросеть, когда у меня появилось ещё дополнение к датасету?
Или надо заново переобучать?
Сколько занимает обучение заново?
Что можно использовать в такой задаче?
Я новичок в этом всём.
>>23200
Да. Используешь те же веса, дообучаешь.
Чуть больше, чем в первый раз — у тебя же датасет увеличился. Но нахуя, если можно дообучить за меньшее время?
Google + RTFM
>Могу я впоследствии дообучить нейросеть
Да. Используешь те же веса, дообучаешь.
>Сколько занимает обучение заново?
Чуть больше, чем в первый раз — у тебя же датасет увеличился. Но нахуя, если можно дообучить за меньшее время?
>Что можно использовать в такой задаче?
Google + RTFM
>>23161
Ну хуй ево знает, я когда однажды перепутал и вместо катбустовского гридсёрча в склёрновский его запихнул он работал в разы дольше.
Ну хуй ево знает, я когда однажды перепутал и вместо катбустовского гридсёрча в склёрновский его запихнул он работал в разы дольше.
>>23200
Всегда лучше обучать заново. Это как язык учить - ребенок делает это быстрее и проще, потому что нейросеть нулевая.
Гугли такую инфу, никто не знает, что у тебя за архитектура и датасет. Примерно часов 8.
>Или надо заново переобучать?
Всегда лучше обучать заново. Это как язык учить - ребенок делает это быстрее и проще, потому что нейросеть нулевая.
>Сколько занимает обучение заново?
Гугли такую инфу, никто не знает, что у тебя за архитектура и датасет. Примерно часов 8.
Видали, не? Нейроночки научили рецепты пивандрия генерировать. Несуществующие сельди, гуки и коты это совсем уныло, а тут хоть какая-то польза, диплернинх новое нескучное бухло придумывает.
https://new-retail.ru/novosti/retail/v_shveytsarii_svarili_pivo_po_retseptu_sozdannomu_iskusstvennym_intellektom7252/
https://new-retail.ru/novosti/retail/v_shveytsarii_svarili_pivo_po_retseptu_sozdannomu_iskusstvennym_intellektom7252/
>>23510
Разные, конечно. Вообще, нейроночки можно научить и рецепты всякого хрючева генерировать, странно что еще никто не придумал, рецептов еды существует побольше рецептов пивчанского. Это ж стартап на миллиард, лол.
Разные, конечно. Вообще, нейроночки можно научить и рецепты всякого хрючева генерировать, странно что еще никто не придумал, рецептов еды существует побольше рецептов пивчанского. Это ж стартап на миллиард, лол.
>>23735
Квинтэссенция "генерации текстов на естественном языке"
> 300 мл сока жарить в 500 мл воды, добавить спирт.
> Спелые кишки промыть. В банку. Красные
> бобки откинуть, огонь отварить и
> поставить в холодильнике.
Квинтэссенция "генерации текстов на естественном языке"
Какая функция потерь используется в текстогенераторах? Вот выдала модель последовательность слов, которая с правильным ответом даже по длине не совпадает - как сравнить? Или просто полученный ответ обрезается по длине правильного ответа и считается кросс-энтропия по порядку?
Можно ли берт использовать для генерации? Например, подать ему строку "a b c <blank>", он для <blank> предскажет "x", дальше подавать "a b c x <blank>"? Насколько я понимаю, так гпт и работает. Или качество говном будет?
Можно ли берт использовать для генерации? Например, подать ему строку "a b c <blank>", он для <blank> предскажет "x", дальше подавать "a b c x <blank>"? Насколько я понимаю, так гпт и работает. Или качество говном будет?
>>24311
Да, я сиранул маленько, в xlnet нормально расписана.
Кстати, вот тут обсуждается про использование для генерации https://ai.stackexchange.com/questions/9141/can-bert-be-used-for-sentence-generating-tasks - вроде как получается не слишком хорошо.
Да, я сиранул маленько, в xlnet нормально расписана.
Кстати, вот тут обсуждается про использование для генерации https://ai.stackexchange.com/questions/9141/can-bert-be-used-for-sentence-generating-tasks - вроде как получается не слишком хорошо.
>>24345
Берт - денойзер (a _ c _ e -> a b c d e) , гпт2 - авторегрессор (a b c _ -> d). Денойзер во многом удобнее тренировать и запускать, но раз от гугла не видно ничего подобного GPT3, значит действительно хорошо не получилось
Берт - денойзер (a _ c _ e -> a b c d e) , гпт2 - авторегрессор (a b c _ -> d). Денойзер во многом удобнее тренировать и запускать, но раз от гугла не видно ничего подобного GPT3, значит действительно хорошо не получилось
О, наш альфач-то снова всё как надо пояснил
https://www.youtube.com/watch?v=w-0NdY8y-4Y
https://www.youtube.com/watch?v=w-0NdY8y-4Y
>>24538
Орнул с этих диванов
Орнул с этих диванов
>>24538
Ха-ха. Пиздел на митапах и интервью рандомные баззворды, подслушанные у коллег, надрочил кагл на конторском железе, высидел положенный срок и съебал в закат ради новой строчки в резюме.
>- Валера рассказал о своем переезде в Facebook и чем он теперь будет заниматься
Ха-ха. Пиздел на митапах и интервью рандомные баззворды, подслушанные у коллег, надрочил кагл на конторском железе, высидел положенный срок и съебал в закат ради новой строчки в резюме.
Есть датасет, из него нужно сделать датасет поменьше взяв из оригинального датасета лишь несколько признаков. Каким методом воспользоваться?
>>24589
мне нужно, чтобы провести нормализацию нового датасета и запихнуть его потом обратно. Остальные признаки это OneHotEncoder-вектора их не надо нормализовывать. По существу можешь ответить?
мне нужно, чтобы провести нормализацию нового датасета и запихнуть его потом обратно. Остальные признаки это OneHotEncoder-вектора их не надо нормализовывать. По существу можешь ответить?
>>24584
То есть тебе старый датасет нужен чтобы просто матожидание и дисперсию у части признаков найти?
То есть тебе старый датасет нужен чтобы просто матожидание и дисперсию у части признаков найти?
>>24582
1) Случайная подвыборка признаков x100 раз
2) Обучаешь простую модельку, смотришь на feature importance, отбираешь по нему топ сколько-то признаков
Но первое лучше второго
1) Случайная подвыборка признаков x100 раз
2) Обучаешь простую модельку, смотришь на feature importance, отбираешь по нему топ сколько-то признаков
Но первое лучше второго
>>24622
Ага, незаметно для себя оверфитнуться на тестовом сете - классика блядь
>Но первое лучше второго
Ага, незаметно для себя оверфитнуться на тестовом сете - классика блядь
>>24627
Для этого отдельный валидационный сет само собой можно выделить.
Но можно насрать на кукарекание статистиков-петухов и попробовать, попробовать ничего не мешает.
Для этого отдельный валидационный сет само собой можно выделить.
Но можно насрать на кукарекание статистиков-петухов и попробовать, попробовать ничего не мешает.
>>24622
да нет. Я не про уменьшение размерности. Мне просто нужно из датасета на 300 столбцов вытащить некоторый конкретные столбцы и сделать из них датасет. Я пытаюсь просто присвоить переменной значение, но выходит ошибка. понимаю, что это должно быть элементарно и я тупой.
да нет. Я не про уменьшение размерности. Мне просто нужно из датасета на 300 столбцов вытащить некоторый конкретные столбцы и сделать из них датасет. Я пытаюсь просто присвоить переменной значение, но выходит ошибка. понимаю, что это должно быть элементарно и я тупой.
>>24584
Ты еще скажи, что у меня от персонажей типа ксюши собчак или доктора курпатова горит. Эти люди просто существуют и добиваются успеха единственным им доступным способом, а мое дело - предупредить анона о том, что это не человек, а человекоподобное существо, и попытка слушать подобное существо ни к чему хорошему не приведет. При чем предупредить не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных. Даже если ты хочешь стать таким же - делай то, что он делает, а не то, что он говорит.
Ты еще скажи, что у меня от персонажей типа ксюши собчак или доктора курпатова горит. Эти люди просто существуют и добиваются успеха единственным им доступным способом, а мое дело - предупредить анона о том, что это не человек, а человекоподобное существо, и попытка слушать подобное существо ни к чему хорошему не приведет. При чем предупредить не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных. Даже если ты хочешь стать таким же - делай то, что он делает, а не то, что он говорит.
>>24651
Господи, каких только пёрлов не выдают горящие жопы бичар здешних, пиздец
>мое дело - предупредить анона о том, что это не человек, а человекоподобное существо
>не тебя - до тебя это с первого раза не дошло и не дойдет, а остальных
Господи, каких только пёрлов не выдают горящие жопы бичар здешних, пиздец
>>24660
Ничё не значит! И он ничё не взял всё наболтал и золото дали! Ну или омежек подрядил которые ему всё зарешали! Покайтесь!!!
Ничё не значит! И он ничё не взял всё наболтал и золото дали! Ну или омежек подрядил которые ему всё зарешали! Покайтесь!!!
>>24663
Регулярно я вижу горящие жопы только у подобных тебе. Расписал, что какой-то чел с ютуба нарциссичный балабол - не, в машобе нарциссов и балаболов не бывает, надо срочно поспорить и доказать анониму, об уровне которого ты не знаешь нихуя, что он просто завидующий бичара.
Регулярно я вижу горящие жопы только у подобных тебе. Расписал, что какой-то чел с ютуба нарциссичный балабол - не, в машобе нарциссов и балаболов не бывает, надо срочно поспорить и доказать анониму, об уровне которого ты не знаешь нихуя, что он просто завидующий бичара.
Всем привет мужики. Короче есть такая проблема пытаюсь запустить обучение на видеокарте CUDA установил, CUDNN тоже есть. Пытаюсь все запустить на windows 10, Tensorflow 2.1 Выскакивают две ошибки
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Setting XLA_FLAGS=--xla_gpu_cuda_data_dir=/path/to/cuda or modifying $PATH can be used to set the location of ptxas
This message will only be logged once.
и
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Modify $PATH to customize ptxas location.
This message will be only logged once.
Relying on driver to perform ptx compilation.
Setting XLA_FLAGS=--xla_gpu_cuda_data_dir=/path/to/cuda or modifying $PATH can be used to set the location of ptxas
This message will only be logged once.
и
Internal: Invoking GPU asm compilation is supported on Cuda non-Windows platforms only
Relying on driver to perform ptx compilation.
Modify $PATH to customize ptxas location.
This message will be only logged once.
>>24724
Гуглил там почти все ишью открытые и решения там нет, кроме отката на совсем старые версии
Еще есть версии типа прописать переменные среды, но это все сделано
Гуглил там почти все ишью открытые и решения там нет, кроме отката на совсем старые версии
Еще есть версии типа прописать переменные среды, но это все сделано
>>24727
Ну раз там нет, значит нет, ставь бубунту
А в чем проблема? Тф2 нужен если у тебя RTX карта разве что, mixed precision трейнинг делать. А так можно на 1.14 жить спокойно, АПИ они все равно сломают еще 10 раз, пока ты научишься всему
Ну раз там нет, значит нет, ставь бубунту
>кроме отката на совсем старые версии
А в чем проблема? Тф2 нужен если у тебя RTX карта разве что, mixed precision трейнинг делать. А так можно на 1.14 жить спокойно, АПИ они все равно сломают еще 10 раз, пока ты научишься всему
>>24731
Ну я только вкатываюсь в практику после теории
А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
Ну я только вкатываюсь в практику после теории
А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
>>24731
Бубунту ставить не очень хочется, так как на мой ноут нет софта под линукс и многие фишечки теряются
Бубунту ставить не очень хочется, так как на мой ноут нет софта под линукс и многие фишечки теряются
>>24733
Поставь дуалбут.
Поставь дуалбут.
>>24667
Читай, как индексировать датафреймы.
Читай, как индексировать датафреймы.
>>24732
Для вкатывания тебе и первая версия сойдет, главное помни, что во второй версии керас стал основным API, соответственно изучать надо керас.
Конечно. Очевидно это очередной баг для страдания вендоблядей, который им там лень фиксить. Я не читал портянку фикса на гитхабе, но вангую, что он фиксится пересборкой tf из исходников либо (все-таки почитал) какими-то симлинками.
Колаб вообще с выпуском нового поколения нвидии расщедрился и мне только что выдал T4, а это что-то уровня 2070 с 15 гигабайтами памяти. Вряд ли у тебя настолько хороший ноутбук, так что для обучения колаб очень хорош.
Для вкатывания тебе и первая версия сойдет, главное помни, что во второй версии керас стал основным API, соответственно изучать надо керас.
>А если проблема только в этом, то на том же кегле или колабе все должно быть норм?
Конечно. Очевидно это очередной баг для страдания вендоблядей, который им там лень фиксить. Я не читал портянку фикса на гитхабе, но вангую, что он фиксится пересборкой tf из исходников либо (все-таки почитал) какими-то симлинками.
Колаб вообще с выпуском нового поколения нвидии расщедрился и мне только что выдал T4, а это что-то уровня 2070 с 15 гигабайтами памяти. Вряд ли у тебя настолько хороший ноутбук, так что для обучения колаб очень хорош.
>>24750
Там другой вопрос, у меня датасет картинок, примерно на 4гб, пишут что колаб очень долго подгружает эти картинки из физической памяти и крутость GPU немного теряется в моей задаче.
Писали про переформатирование в h5, но я в этом еще не разобрался
Там другой вопрос, у меня датасет картинок, примерно на 4гб, пишут что колаб очень долго подгружает эти картинки из физической памяти и крутость GPU немного теряется в моей задаче.
Писали про переформатирование в h5, но я в этом еще не разобрался
>>24759
В колабе не знаю, а на ноуте 1660ti
В колабе не знаю, а на ноуте 1660ti
>>24759
T4 в колабе
T4 в колабе
>>24758
Сделай хранилище, которое будет подгружать картинки по мере обучения. 4гб вполне влезет в память, которую выдаёт колаб.
Сделай хранилище, которое будет подгружать картинки по мере обучения. 4гб вполне влезет в память, которую выдаёт колаб.
>>24762
А куда копать, подскажешь? Я просто залил все это на гугл диск и оттуда открываю.
А куда копать, подскажешь? Я просто залил все это на гугл диск и оттуда открываю.
>>24665
Еще у одного не бомбит, лол. Где я писал, что наболтал? Ну золото и золото. Вопрос не в золоте, а как оно выдрачивается.
1. Убеждаешь начальство, что участие в кагле - ниибаца повысит престиж конторы, все зумерки косяками пойдут батрачить за копейки именно у них, а не в яндексе. И ШАД еще свой нужен, че мы как лохи
2. За счет железа и рабочей силы фирмы берешь золото, дальше ездишь по конференциям и светишь еблом - мол, престиж, еблом нужно светить, как иначе зумерков нанимать
3. Выжав все что можно из пятерочки в плане торговли еблом, съебываешь, оставив проекты этим самым омежкам и нанятым зумеркам
Комбинация - мое почтение
Еще у одного не бомбит, лол. Где я писал, что наболтал? Ну золото и золото. Вопрос не в золоте, а как оно выдрачивается.
1. Убеждаешь начальство, что участие в кагле - ниибаца повысит престиж конторы, все зумерки косяками пойдут батрачить за копейки именно у них, а не в яндексе. И ШАД еще свой нужен, че мы как лохи
2. За счет железа и рабочей силы фирмы берешь золото, дальше ездишь по конференциям и светишь еблом - мол, престиж, еблом нужно светить, как иначе зумерков нанимать
3. Выжав все что можно из пятерочки в плане торговли еблом, съебываешь, оставив проекты этим самым омежкам и нанятым зумеркам
Комбинация - мое почтение
>>24758
Основная проблема колаба в том, что он для обучения и гугл банит тех, кто тренирует сетки долго. 4 гб довольно здоровый датасет, не знаю, не забанят ли тебя.
А так если хочешь обучать на винде, ставь tf 1.14 или даже 1.9 и не еби мозг. Единственное, с fp16 обучением будет не так эффективно, но тебе будет проще потерпеть подольше и потренить в fp32, чем пытаться его включить и настроить. Алсо, ноутбучная видюха может и коньки отбросить от долгого обучения, озаботься охлаждением
Основная проблема колаба в том, что он для обучения и гугл банит тех, кто тренирует сетки долго. 4 гб довольно здоровый датасет, не знаю, не забанят ли тебя.
А так если хочешь обучать на винде, ставь tf 1.14 или даже 1.9 и не еби мозг. Единственное, с fp16 обучением будет не так эффективно, но тебе будет проще потерпеть подольше и потренить в fp32, чем пытаться его включить и настроить. Алсо, ноутбучная видюха может и коньки отбросить от долгого обучения, озаботься охлаждением
>>24769
Для картинок это очень мало, можно и без видеокарты тренировать.
>4 гб довольно здоровый датасет
Для картинок это очень мало, можно и без видеокарты тренировать.
>>24787
С реальными данными просто работаю впервые, до этого было что-то размера циферок из мниста
С реальными данными просто работаю впервые, до этого было что-то размера циферок из мниста
>>24796
Скорость обучения обратно пропорциональна размеру датасета независимо от модели. Ну и саму модель тоже выбирают исходя из имеющегося датасета. Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
>Хуя ты специалист, сложность модели рассчитываешь исходя из размера датасета
Скорость обучения обратно пропорциональна размеру датасета независимо от модели. Ну и саму модель тоже выбирают исходя из имеющегося датасета. Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
>>24801
Не обязательно. Возьми терабайт белых и черных картинок - данных будет много, а реальное распределение очень простое и выучится за 0.001% эпохи.
Если утрировать не так сильно, то есть разница, отличать котов от собак или одного кота от другого кота. При одном и том же размере датасета в первом случае ты быстрее выйдешь на хороший перформанс. То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер), пришел анон, просто сказал его размер, и ты уже готов со своей экспертизой. При чем она довольно маразматична сама по себе.
Вот я беру датасет на 40 гигов и обучаю его за день. Датасет на 4 гигов, составленный из рандомного подможества этого датасета, обучится за 2 часа что ли? Нихуя, тот же день будет обучаться. Просто эпох будет не 10, а 100.
Регуляризация и аугментация тебе на что дана? Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
>Скорость обучения обратно пропорциональна размеру датасета независимо от модели
Не обязательно. Возьми терабайт белых и черных картинок - данных будет много, а реальное распределение очень простое и выучится за 0.001% эпохи.
Если утрировать не так сильно, то есть разница, отличать котов от собак или одного кота от другого кота. При одном и том же размере датасета в первом случае ты быстрее выйдешь на хороший перформанс. То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер), пришел анон, просто сказал его размер, и ты уже готов со своей экспертизой. При чем она довольно маразматична сама по себе.
Вот я беру датасет на 40 гигов и обучаю его за день. Датасет на 4 гигов, составленный из рандомного подможества этого датасета, обучится за 2 часа что ли? Нихуя, тот же день будет обучаться. Просто эпох будет не 10, а 100.
>Если данных мало, то при использовании большой модели очень быстро начнется оверфит.
Регуляризация и аугментация тебе на что дана? Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
>>24808
4Гб (картинок) - это просто смешной размер данных, и здесь уже неважно, из чего конкретно он состоит. Исходя из размера данных можно предсказать максимальный размер модели и количество эпох в худшем случае.
У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30. Даже если запустить тренировку на 100 эпох, то она должна закончиться меньше чем за час. Колаб при таком датасете дергать не нужно.
Они помогают, но если данных действительно недостаточно, то нейронка будет оверфитить в любом случае, независимо от изъебов с регуляризацией/аугментацией.
>То есть пришел анон, не сказал вообще нихуя о том, что ему нужно, какой у него датасет (и даже глядя на сам датасет в тысячи картинок, хер ты угадаешь, насколько хорошо пойдет обучение, а тут просто размер)
4Гб (картинок) - это просто смешной размер данных, и здесь уже неважно, из чего конкретно он состоит. Исходя из размера данных можно предсказать максимальный размер модели и количество эпох в худшем случае.
У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30. Даже если запустить тренировку на 100 эпох, то она должна закончиться меньше чем за час. Колаб при таком датасете дергать не нужно.
>Регуляризация и аугментация тебе на что дана
>Кто вообще в 2020 году кормит непосредственно датасет нейронке, да еще так, чтобы она заметно оверфитила.
Они помогают, но если данных действительно недостаточно, то нейронка будет оверфитить в любом случае, независимо от изъебов с регуляризацией/аугментацией.
>>20174
То есть сейчас уже не нулевые и подход другой? Я просто думал что если у человека есть воприятие цвета то это дает свои профиты.
То есть сейчас уже не нулевые и подход другой? Я просто думал что если у человека есть воприятие цвета то это дает свои профиты.
>>24828
Бля, палкой бы тебя пиздануть, эксперт. Так, для профилактики кукареков.
> 4Гб (картинок) - это просто смешной размер данных
> У анона 1660ti, на которой одна эпоха должна занять от силы секунд 30
>ESRGAN с 2070 приходится двое суток обучать на 3.5гб сэте, лучше — дольше
Бля, палкой бы тебя пиздануть, эксперт. Так, для профилактики кукареков.
>>24890
Про то, что для тренировки генеративных сетей нужно на 1-3 порядка больше времени, ты, конечно, умолчал.
>ESRGAN с 2070 приходится двое суток обучать
>Enhanced Super-Resolution Generative Adversarial Networks
>Generative Adversarial Networks
Про то, что для тренировки генеративных сетей нужно на 1-3 порядка больше времени, ты, конечно, умолчал.
>>24901
Раньше на нем карьеру можно было сделать. Сидишь себе, дрочишь безрезультатно что-то, а когда тебя спрашивают, мол, ну когда нормально будет работать? Разводишь руками: задача сложная.
Раньше на нем карьеру можно было сделать. Сидишь себе, дрочишь безрезультатно что-то, а когда тебя спрашивают, мол, ну когда нормально будет работать? Разводишь руками: задача сложная.
>>24776
нет, там тоже ебли не мало будет, даже не считая что это уже убунту для ебли.
нет, там тоже ебли не мало будет, даже не считая что это уже убунту для ебли.
>>24918
а разве не нужно предварительно обрабатывать картинки перед нейросетью для более легкого последующего обучения?
а разве не нужно предварительно обрабатывать картинки перед нейросетью для более легкого последующего обучения?
>>24895
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:
Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.
В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.
Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:
Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.
В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.
Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
>>24895
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:
Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.
В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.
Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
Смотря что ты подразумеваешь под классическим CV. Многие путают. Есть невмирающая классика которая НЕ является CV - это image processing. Это знать нужно как свои 5 пальцев. Если ты не знаешь, как работает фильтр sharpen в фотошопе - немедленно покинь тред.
Но CV он вообще не про это. Вот тебе цитата из вики:
Image processing and image analysis tend to focus on 2D images, how to transform one image to another, e.g., by pixel-wise operations such as contrast enhancement, local operations such as edge extraction or noise removal, or geometrical transformations such as rotating the image. This characterization implies that image processing/analysis neither require assumptions nor produce interpretations about the image content.
Computer vision includes 3D analysis from 2D images. This analyzes the 3D scene projected onto one or several images, e.g., how to reconstruct structure or other information about the 3D scene from one or several images. Computer vision often relies on more or less complex assumptions about the scene depicted in an image.
Machine vision is the process of applying a range of technologies & methods to provide imaging-based automatic inspection, process control and robot guidance[22] in industrial applications.[20] Machine vision tends to focus on applications, mainly in manufacturing, e.g., vision-based robots and systems for vision-based inspection, measurement, or picking (such as bin picking[23]). This implies that image sensor technologies and control theory often are integrated with the processing of image data to control a robot and that real-time processing is emphasised by means of efficient implementations in hardware and software. It also implies that the external conditions such as lighting can be and are often more controlled in machine vision than they are in general computer vision, which can enable the use of different algorithms.
There is also a field called imaging which primarily focuses on the process of producing images, but sometimes also deals with processing and analysis of images. For example, medical imaging includes substantial work on the analysis of image data in medical applications.
Finally, pattern recognition is a field which uses various methods to extract information from signals in general, mainly based on statistical approaches and artificial neural networks. A significant part of this field is devoted to applying these methods to image data.
В общем, image processing знать нужно. Популярные методы в CV типа SIFT - тоже, потому что приемы типа пирамид и инвариантных трансформаций - понимать очень полезно для общего развития. Но тонкости знать уже не нужно, для этого есть диды, которые унесут свои навыки и рабочие места в могилу.
Классический CV в принципе еще нужен, потому что если алгоритм из нулевых справляется, нахуя что-то выдумывать.
>>23764
Так естественно, нихуя не получится с таким количеством примеров.
>12 000 кулинарных рецептов на русском языке
Так естественно, нихуя не получится с таким количеством примеров.
>>25286
Есть же батчнорм
Есть же батчнорм
>>25138
По-моему просто модель говно полное. Нужны модели, способные в построение логических цепочек для анализа чего-либо.
По-моему просто модель говно полное. Нужны модели, способные в построение логических цепочек для анализа чего-либо.
>>25362
А мне нужно чтобы ничего не делать, а все было.
А мне нужно чтобы ничего не делать, а все было.
Товарищи аноны, фундаментальный вопрос: есть ли методы обучения сеток с произвольной топологией? Ну, помимо генетического алгоритма. Метод обратного распространения не предлагать, не работает в циклических направленных графах.
>>25655
back propagation in time работает
>Метод обратного распространения не предлагать, не работает в циклических направленных графах.
back propagation in time работает
22 Кб, 884x350>>25659
То есть ты берешь свой граф с циклами, пускаешь данные на его вход и начинаешь выписывать ноды, которые задействуются причино-следственным образом в каждый момент времени. В случае RNN у которого выход замкнут на вход, будет пикрелейтед, но вообще это универсальный способ, потому что причинно-следственные связи всегда ацикличны в нашей реальности.
Таким образом ты получаешь новый, уже ациклический граф, эквивалентный графу с циклами, в котором ноды будут шерить свои веса со своими аналогами из прошлого и будущего.
Далее все упирается в то, насколько длинную цепочку такого разворачивания ты можешь себе позволить, потому что вся эта ебола, в которой у тебя один и тот же появляется в разных местах, крайне недружественна к железу. Скорее всего проще забить хер на шеринг весов и подобную ациклическую йобу обучать уже как стандартную feedforward сеть, работающую с последовательностями.
То есть ты берешь свой граф с циклами, пускаешь данные на его вход и начинаешь выписывать ноды, которые задействуются причино-следственным образом в каждый момент времени. В случае RNN у которого выход замкнут на вход, будет пикрелейтед, но вообще это универсальный способ, потому что причинно-следственные связи всегда ацикличны в нашей реальности.
Таким образом ты получаешь новый, уже ациклический граф, эквивалентный графу с циклами, в котором ноды будут шерить свои веса со своими аналогами из прошлого и будущего.
Далее все упирается в то, насколько длинную цепочку такого разворачивания ты можешь себе позволить, потому что вся эта ебола, в которой у тебя один и тот же появляется в разных местах, крайне недружественна к железу. Скорее всего проще забить хер на шеринг весов и подобную ациклическую йобу обучать уже как стандартную feedforward сеть, работающую с последовательностями.
>>25692
Про спайковые вообще не в курсе. По идее спайковый нейрон - это дискретизация диффура, решаемая, например, эйлером. Соответственно такое дискретное решение может быть теоретически нодой в бэкпропагейшене (просто помимо стейта нужно еще помнить стейт в предыдущий момент времени, чтобы посчитать производную), но я думаю эффективность такого решения вообще как у хлебушка.
Я не вижу большого смысла в спайковых сетях на текущем железе, ведь частоты и фазы спайков все равно кодируют какие-то вещи, которые можно закодировать просто либо числами (возможно даже комплексными).
Про спайковые вообще не в курсе. По идее спайковый нейрон - это дискретизация диффура, решаемая, например, эйлером. Соответственно такое дискретное решение может быть теоретически нодой в бэкпропагейшене (просто помимо стейта нужно еще помнить стейт в предыдущий момент времени, чтобы посчитать производную), но я думаю эффективность такого решения вообще как у хлебушка.
Я не вижу большого смысла в спайковых сетях на текущем железе, ведь частоты и фазы спайков все равно кодируют какие-то вещи, которые можно закодировать просто либо числами (возможно даже комплексными).
>>25696
Одна из областей, где можно годами заниматься какой-то заумно выглядящей мутью, писать статьи, разрабатывать что-то, получать финансирование, не имея при этом никаких результатов.
>Я не вижу большого смысла в спайковых сетях
Одна из областей, где можно годами заниматься какой-то заумно выглядящей мутью, писать статьи, разрабатывать что-то, получать финансирование, не имея при этом никаких результатов.
>>26070
Ну ты любую несойбойскую науку описываешь. Пусть занимаются, всяко лучше, чем в геополитические многоходовочки финансировать.
Я про практический смысл - пусть делают железку и портируют на нее слесарьплов, а то эмулировать спайки на железе, которое считает dense матрицы явно бесперспективно с практической точки зрения.
Ну ты любую несойбойскую науку описываешь. Пусть занимаются, всяко лучше, чем в геополитические многоходовочки финансировать.
Я про практический смысл - пусть делают железку и портируют на нее слесарьплов, а то эмулировать спайки на железе, которое считает dense матрицы явно бесперспективно с практической точки зрения.
>>26124
Давно уже есть: https://en.wikipedia.org/wiki/Cognitive_computer#IBM_TrueNorth_chip
Кроме ее разработчиков никому не нужно.
Давно уже есть: https://en.wikipedia.org/wiki/Cognitive_computer#IBM_TrueNorth_chip
Кроме ее разработчиков никому не нужно.
>>17320 (OP)
Нормально ли решаются задачи speech recognition и в частности распознавание владельца речи с помощью deep learning, или в вопросах звука без мануальной работы с фичами никак?
я очень далёк от ML/DL, но сейчас надо вкатиться, соре если вопрос тупой
Нормально ли решаются задачи speech recognition и в частности распознавание владельца речи с помощью deep learning, или в вопросах звука без мануальной работы с фичами никак?
я очень далёк от ML/DL, но сейчас надо вкатиться, соре если вопрос тупой
>>26070
Ммм результаты результатики застакай ещё слоёв и наверни атеншена без смс чтобы заранжировать рекламу на 0.001% лучше зачем заниматься чем-то ещё реальные результаты реальных успех мой друг попробовал теперь получает 6 figures ЕЖЕДНЕВНО скачать
Ммм результаты результатики застакай ещё слоёв и наверни атеншена без смс чтобы заранжировать рекламу на 0.001% лучше зачем заниматься чем-то ещё реальные результаты реальных успех мой друг попробовал теперь получает 6 figures ЕЖЕДНЕВНО скачать
>>26422
Очевидный pussypass очевиден
Очевидный pussypass очевиден
>>26228
ебанутый вопрос. причем тут deep learning?
deep learning - по определению, это любая нейросеть с ГЛУБОКИМ слоем. То есть, любая нейросеть.
Ты имел ввиду следует ли использовать готовые сети-эмбединги вместо того чтобы конструировать всякие спектрограммы?
Ну хуй знает.
Я что-то и не знаю таких ембедингов.
ебанутый вопрос. причем тут deep learning?
deep learning - по определению, это любая нейросеть с ГЛУБОКИМ слоем. То есть, любая нейросеть.
Ты имел ввиду следует ли использовать готовые сети-эмбединги вместо того чтобы конструировать всякие спектрограммы?
Ну хуй знает.
Я что-то и не знаю таких ембедингов.
Сделайте нейросеть, чтобы удаляла косметику с фотографий и показывала без неё. Будет очень популярный сервис среди двачеров всяких, заработаете много денег.
>>26834
Какой-нибудь снэпчат сопрет за три месяца и соснешь. В картинках ща жизни уже нет
Какой-нибудь снэпчат сопрет за три месяца и соснешь. В картинках ща жизни уже нет
>>26422
Ожидаемо, ничего полезного она не сказала - все видео сплошная вода. Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
Ожидаемо, ничего полезного она не сказала - все видео сплошная вода. Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
>>26935
Я тебе кое-что скажу, ты только со стула не падай. Senior data scientist точно так же вилкой чистит данные 95% своего времени.
>Скорее всего она чистит вилкой данные, а в маняфантазиях считает себя senior data scientist.
Я тебе кое-что скажу, ты только со стула не падай. Senior data scientist точно так же вилкой чистит данные 95% своего времени.
>>26939
Senior data scientist с кодом/данными уже практически не работает.
>Senior data scientist точно так же вилкой чистит данные 95% своего времени
Senior data scientist с кодом/данными уже практически не работает.
>>26965
И подскакивают.
И подскакивают.
если на входные 6 нейронов подать это:
001011
ответ должны получить любой из этих:
001000
000010
000001
не получается такому научить.
что делать?
001011
ответ должны получить любой из этих:
001000
000010
000001
не получается такому научить.
что делать?
>>27038
зачем нейроны там где достаточно одной процессорной инструкции xor ?
зачем нейроны там где достаточно одной процессорной инструкции xor ?
>>26946
data scientist не работает с данными. Охуенно
data scientist не работает с данными. Охуенно
20 Кб, 799x536>>27091
немного разобрался.
шум из нулей и едениц стремится к этой хуйне, т.к. из возможных правильных ответов я выбираю первый попавшийся.
если учить на рандомном ответе - на выходе прямая.
такое ощущение что слои не помогут.
немного разобрался.
шум из нулей и едениц стремится к этой хуйне, т.к. из возможных правильных ответов я выбираю первый попавшийся.
если учить на рандомном ответе - на выходе прямая.
такое ощущение что слои не помогут.
>>27209
Обучи RL на этом всём.
Обучи RL на этом всём.
Аноны, а как вкатиться в архитектуру приложений с МО? Т.е. не вилкой чистить данные и пейперы читать, а делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти.
>>27209
почему бы не попробовать?
Однослойная сеть не сможет обучиться XOR.
Это вроде математически доказано.
>такое ощущение что слои не помогут.
почему бы не попробовать?
Однослойная сеть не сможет обучиться XOR.
Это вроде математически доказано.
>>27220
типа ты такой крутой плюсовик или фронтедщик решил повыебываться своей полезностью и быть ПМ над датасаентистами?
Ну уж нет.
Если ты не понимаешь что они делают - они тебя наебут.
Или разберись или не лезь.
типа ты такой крутой плюсовик или фронтедщик решил повыебываться своей полезностью и быть ПМ над датасаентистами?
Ну уж нет.
Если ты не понимаешь что они делают - они тебя наебут.
Или разберись или не лезь.
Кто там про фриланс спрашивал??
https://www.youtube.com/watch?v=fJYcl-EF-0s
https://www.youtube.com/watch?v=fJYcl-EF-0s
115 Кб, 482x400>>27220
Нормальные датасаентисты это умеют. А если не умеют, то это петухи, а не датасаентисты.
>чтобы написанное датасаентистами распараллеливалось на видеокарты и не вылетало с ошибкой от перерасхода памяти
Нормальные датасаентисты это умеют. А если не умеют, то это петухи, а не датасаентисты.
>>27546
Макакен, плиз.
Учиться просто надо было в своё время, а не сайтики за мелкий прайс "кококо я уже зарабатываю!!" клепать.
Макакен, плиз.
Учиться просто надо было в своё время, а не сайтики за мелкий прайс "кококо я уже зарабатываю!!" клепать.
>>27548
Аналогично можно сказать про ко-ко-ко-саентистов, которые как минимум имеют профильную вышку. При таком раскладе можно было хоть как-то научиться программировать, и это не говоря про стажировки/фриланс. При этом датасаентисты зачастую не знают даже своей предметной области. Принцип работы SOTA моделей не понимают, математику не знают, алгоритмы вне стандартного набора вкатывальщика - тоже. Ничего принципиально нового такой датасаентист не сделает, нормальный код не напишет. Остается только трясти черный ящик и извиняться перед барином, когда натрясти нормальный результат не получилось.
>Учиться просто надо было в своё время
Аналогично можно сказать про ко-ко-ко-саентистов, которые как минимум имеют профильную вышку. При таком раскладе можно было хоть как-то научиться программировать, и это не говоря про стажировки/фриланс. При этом датасаентисты зачастую не знают даже своей предметной области. Принцип работы SOTA моделей не понимают, математику не знают, алгоритмы вне стандартного набора вкатывальщика - тоже. Ничего принципиально нового такой датасаентист не сделает, нормальный код не напишет. Остается только трясти черный ящик и извиняться перед барином, когда натрясти нормальный результат не получилось.
>>27462
Я и есть джун-датасциентист, который понял, что не знает, как работать с 4 видеокартами.
Я и есть джун-датасциентист, который понял, что не знает, как работать с 4 видеокартами.
>>27561
Левый нижний угол это ML researcher, а не "датасаентист"/ML engineer. Хватит утешать себя, мань.
>При этом датасаентисты зачастую не знают даже своей предметной области.
Левый нижний угол это ML researcher, а не "датасаентист"/ML engineer. Хватит утешать себя, мань.
>>27461
потомучто мои данные это шум из нулей едениц без какой либо логики, аппроксимация это прямая линия со значениями:
0.1 - если 10% едениц
0.5 - если 50% едениц и т.д.
кол-во скрытых слоев 1 или 6 приводят к одинаковому результату ( 6 слоев через раз учится не хочет)
>>27314
Softmax(x) ну вроде это другое
потомучто мои данные это шум из нулей едениц без какой либо логики, аппроксимация это прямая линия со значениями:
0.1 - если 10% едениц
0.5 - если 50% едениц и т.д.
кол-во скрытых слоев 1 или 6 приводят к одинаковому результату ( 6 слоев через раз учится не хочет)
>>27314
Softmax(x) ну вроде это другое
>>27220
Это не архитектура.
По архитектуре - у тебя всё должно описываться декларативным конфигом, а код должен поддерживать обратную совместимость этих конфигов. Тогда не будет проблем с воспроизводимостью, даже если сам код будет жуткой лапшой из if'ов - потому что редко какой скрипт для тренировки будет превышать 10к строк. Конфиги эти можно складывать в монгу, пайплайны сохранять в dvc, из монги же воркеры (по одному на инстанс гпу) могут доставать архитектуры для гридсерча. Впрочем, сейчас везде 80-е и каждый пилит кто во что горазд.
А то, что говоришь, это никакая не архитектура, а банальное знание инструментов. Читай мануалы по tf2, kubeflow, тренируйся на самых дешевых инстансах на AWS/google cloud. Судя по сайту, гугл ща выдает бомже-T4 за 11 центов в час.
>>27585
На нулевом уровне - используешь какой-нибудь tf.distribute.MirroredStrategy , а фрейморк сам все тебе сделает. Более продвинутый уровень - это подбор железа для сервера (все pci express x666, nvlink'и и прочая еботень - не очень в курсе), затем - писать кастомный код для быстрого обмена данными по 10 гб сети.
>архитектуру приложений с МО
>делать так, чтобы написанное датасаентистами распараллеливалось на видеокарты
Это не архитектура.
По архитектуре - у тебя всё должно описываться декларативным конфигом, а код должен поддерживать обратную совместимость этих конфигов. Тогда не будет проблем с воспроизводимостью, даже если сам код будет жуткой лапшой из if'ов - потому что редко какой скрипт для тренировки будет превышать 10к строк. Конфиги эти можно складывать в монгу, пайплайны сохранять в dvc, из монги же воркеры (по одному на инстанс гпу) могут доставать архитектуры для гридсерча. Впрочем, сейчас везде 80-е и каждый пилит кто во что горазд.
А то, что говоришь, это никакая не архитектура, а банальное знание инструментов. Читай мануалы по tf2, kubeflow, тренируйся на самых дешевых инстансах на AWS/google cloud. Судя по сайту, гугл ща выдает бомже-T4 за 11 центов в час.
>>27585
>как работать с 4 видеокартами.
На нулевом уровне - используешь какой-нибудь tf.distribute.MirroredStrategy , а фрейморк сам все тебе сделает. Более продвинутый уровень - это подбор железа для сервера (все pci express x666, nvlink'и и прочая еботень - не очень в курсе), затем - писать кастомный код для быстрого обмена данными по 10 гб сети.
Есть тут знатоки теорвера?
Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Ну в том смысле, что при k раз подбрасывании может и какая-нибудь решка k раз выпасть.
Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Ну в том смысле, что при k раз подбрасывании может и какая-нибудь решка k раз выпасть.
>>27918
Можно. При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального. Это не доказывает, что дело в монете, возможно виноват подбрасывающий.
> Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно. При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального. Это не доказывает, что дело в монете, возможно виноват подбрасывающий.
>>27926
Ну, как бы понятно, что большая часть возможных комбинацией даст как раз результат 50% +- 10-15%. Но опять-таки это ничего про саму монету не говорит.
И даже если мы 100 раз кидаем монету, только решка всё равно может выпасть с вероятностью 1/2^100, что, хоть и мало, но отлично от 0.
Т.е. на основании только результатов выпадения нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Поправь, пожалуйста.
>При большом количестве подбрасываний распределение вероятностей будет отличаться от нормального.
Ну, как бы понятно, что большая часть возможных комбинацией даст как раз результат 50% +- 10-15%. Но опять-таки это ничего про саму монету не говорит.
И даже если мы 100 раз кидаем монету, только решка всё равно может выпасть с вероятностью 1/2^100, что, хоть и мало, но отлично от 0.
Т.е. на основании только результатов выпадения нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Поправь, пожалуйста.
>>27937
Можно протестировать на выборке разных людей. Если на большой выборке распределение так же будет отличаться от нормального, то дело в монете.
> нельзя однозначно сказать про качество монеты нужно взвешивание и хим. анализ.
Можно протестировать на выборке разных людей. Если на большой выборке распределение так же будет отличаться от нормального, то дело в монете.
>>27949
Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
>Можно протестировать на выборке разных людей.
Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
>>27918
Со 100% вероятностью - нет, но чем больше у тебя k, тем более уверенным ты будешь (типа, ответ звучит так: монета - честная с вероятностью 99,9999999%). Точно так же работают доказательства в какой-нибудь физике элементарных частиц. То есть, возможно, что этот пук на графике - не бозон хиггса, но вероятность этого крайне мала.
Например, если выпало 1 - случайность такого события 1/2, [1,1] - 1/4. 10 единиц подряд выпадают в одном случае из двух тысяч, а 16 - в одном из 32 миллионов. Соответственно при k=1000 получится, что вероятность того, что последовательность - не случайная сравнима с числами типа 1/число_атомов_во_вселенной, и практически ты сможешь считать честность доказанной. Для реальных последовательностей тесты посложнее, но принципиально такие же - дают ответ с некоторой вероятностью.
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Со 100% вероятностью - нет, но чем больше у тебя k, тем более уверенным ты будешь (типа, ответ звучит так: монета - честная с вероятностью 99,9999999%). Точно так же работают доказательства в какой-нибудь физике элементарных частиц. То есть, возможно, что этот пук на графике - не бозон хиггса, но вероятность этого крайне мала.
Например, если выпало 1 - случайность такого события 1/2, [1,1] - 1/4. 10 единиц подряд выпадают в одном случае из двух тысяч, а 16 - в одном из 32 миллионов. Соответственно при k=1000 получится, что вероятность того, что последовательность - не случайная сравнима с числами типа 1/число_атомов_во_вселенной, и практически ты сможешь считать честность доказанной. Для реальных последовательностей тесты посложнее, но принципиально такие же - дают ответ с некоторой вероятностью.
>>27964
Каково то k, после которого со значительной долей уверенности можно сказать, что тут что-то не то?
>но чем больше у тебя k,
Каково то k, после которого со значительной долей уверенности можно сказать, что тут что-то не то?
>>27968
На это тебе ответит только тот, кто с этим дрочится каждый день.
Берешь тест https://duckduckgo.com/?q=тестирование+последовательностей+на+случайность
Скармливаешь ему последовательность. Он выдаст тебе вероятность. Поиграйся с длинами последовательностей - поймешь, какое k тебя устраивает.
Навскидку, я думаю 1000 бросков нормальная последовательность. Алсо, монетки никогда идеальными не бывают, если тебе нужно что-то идеальное, используй квантовую механику.
На это тебе ответит только тот, кто с этим дрочится каждый день.
Берешь тест https://duckduckgo.com/?q=тестирование+последовательностей+на+случайность
Скармливаешь ему последовательность. Он выдаст тебе вероятность. Поиграйся с длинами последовательностей - поймешь, какое k тебя устраивает.
Навскидку, я думаю 1000 бросков нормальная последовательность. Алсо, монетки никогда идеальными не бывают, если тебе нужно что-то идеальное, используй квантовую механику.
>>27963
В рамках одного человека это ничего не доказывает о монете. Так как дело может быть в конкретном человеке.
> Но в рамках "одного человека" или одной серии подбрасываний это очень сложно?
В рамках одного человека это ничего не доказывает о монете. Так как дело может быть в конкретном человеке.
>>27918
Это зависит от того, что ты подразумеваешь под "сделать заключение". Абсолютно точно доказать невозможно, а дальше гугли статистическую проверку гипотез.
Это зависит от того, что ты подразумеваешь под "сделать заключение". Абсолютно точно доказать невозможно, а дальше гугли статистическую проверку гипотез.
>>27977
Можно сказать всё что угодно.
Но обычно делают так: если это твоё M выходит за пределы доверительного интервала, то говорят что наиболее вероятно что с монетой что-то не так, если не выходит - то нельзя сказать, бросают дальше. Бросили миллион раз и не получили расхождений достаточных для выхода за этот интервал - принимают что монета честная.
Можно сказать всё что угодно.
Но обычно делают так: если это твоё M выходит за пределы доверительного интервала, то говорят что наиболее вероятно что с монетой что-то не так, если не выходит - то нельзя сказать, бросают дальше. Бросили миллион раз и не получили расхождений достаточных для выхода за этот интервал - принимают что монета честная.
Аноны, которые занимаются CV, скажите, есть ли какие-либо рекомендации тому, какой подход использовать: классическое cv или с нейронками? У меня вот задача распознавания коробок на заводе.
Ну вроде как тут классика потянет, но вот мб есть какие-то подводные? В общем, буду благодарен за ответ
Ну вроде как тут классика потянет, но вот мб есть какие-то подводные? В общем, буду благодарен за ответ
>>27918
Можно, с какой-то вероятностью. Или доверительный интервал найти. Вообще, чем-то напомнило sunrise problem, которая у лапласа возникла. Так что зависит от того, какое у тебя априорное знание о монетках.
>>28002
Если потянет - то используй. Из подводных - может не потянет, тогда не используй.
>Ведь нельзя при подбрасывание монеты на основании отклонения выпадения одной стороны от другой сделать заключение, что монета плохая?
Можно, с какой-то вероятностью. Или доверительный интервал найти. Вообще, чем-то напомнило sunrise problem, которая у лапласа возникла. Так что зависит от того, какое у тебя априорное знание о монетках.
>>28002
>Ну вроде как тут классика потянет, но вот мб есть какие-то подводные?
Если потянет - то используй. Из подводных - может не потянет, тогда не используй.
>>28011
Ну так ты ничего не сказал о задаче.
Как быстро надо детектить коробки, надо ли их различать между собой, насколько стандартизирован вид на коробки.
Ну так ты ничего не сказал о задаче.
Как быстро надо детектить коробки, надо ли их различать между собой, насколько стандартизирован вид на коробки.
>>28002
Рекомендации есть - используй нейронки. Если классика потянет, значит и работающий на кофемолках mobilenet в разрешении 150х150 потянет.
Подводных куча, но ты и инфы о задаче не дал нихуя.
Рекомендации есть - используй нейронки. Если классика потянет, значит и работающий на кофемолках mobilenet в разрешении 150х150 потянет.
Подводных куча, но ты и инфы о задаче не дал нихуя.
>>28009
Нахуй надо. Рано или поздно требования изменится и весь алгоритм превратится в тыкву.
Единственное оправдание - это жесткий лимит на вычислительные ресурсы. Но на заводе вряд ли таковой имеется
>Если потянет - то используй.
Нахуй надо. Рано или поздно требования изменится и весь алгоритм превратится в тыкву.
Единственное оправдание - это жесткий лимит на вычислительные ресурсы. Но на заводе вряд ли таковой имеется
>>28031
А почему это всегда альтернатива, типа нельзя скомбинировать и то и другое и бустинг сверху накинуть
А почему это всегда альтернатива, типа нельзя скомбинировать и то и другое и бустинг сверху накинуть
>>28034
Нахуя, это же завод, а не кагл
Нахуя, это же завод, а не кагл
>>28031
>>28018
а ну сорян
Ну короче коробок несколько штук более-менее стандатизированных
Детектить нужно следюущим образом: видим коробку, говоритм роботу где она находится (там короче нехитрый портальный робот, который в плоскости перемещается и хватает коробки).
Ну и собсна все, к кадрам нет каких то требований тк работа: увидел, подъехал, схватил, уехал. Почему задаю вопрос - не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение, да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
>>28018
а ну сорян
Ну короче коробок несколько штук более-менее стандатизированных
Детектить нужно следюущим образом: видим коробку, говоритм роботу где она находится (там короче нехитрый портальный робот, который в плоскости перемещается и хватает коробки).
Ну и собсна все, к кадрам нет каких то требований тк работа: увидел, подъехал, схватил, уехал. Почему задаю вопрос - не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение, да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
>>28032
крутое замечание. Но в целом у нас там более менее норм пк
крутое замечание. Но в целом у нас там более менее норм пк
>>28032
и кст да, про алгоритм, который может изменится тоже верно
но опять же, это завод, ебана рот, мы там хватам коробки уже год десятый (точнеез заставляем людей это делать)
и кст да, про алгоритм, который может изменится тоже верно
но опять же, это завод, ебана рот, мы там хватам коробки уже год десятый (точнеез заставляем людей это делать)
и тогда сразу вопрос: у меня, вообще говоря, дома есть кинект
это ведь 3д и облака точек и все дела. Тоже вопрос о границах применения , как бы допольнительные фичи, в случае если мы допом имеем карту глубит, будут иметься. В такой задаче это оверинжениринг или оправдано?
это ведь 3д и облака точек и все дела. Тоже вопрос о границах применения , как бы допольнительные фичи, в случае если мы допом имеем карту глубит, будут иметься. В такой задаче это оверинжениринг или оправдано?
>>28078
Будут по улицам ходить роботы и хватать людей. Придется отправлять в прошлое жидкого терминатора, чтобы он тебя убил.
>да и в целом что сделать, если фичи ебану уевые и он будет фосл позитив мне хуярить
Будут по улицам ходить роботы и хватать людей. Придется отправлять в прошлое жидкого терминатора, чтобы он тебя убил.
>>28078
Ты можешь использовать инфракрасную подсветку от ебла самой камеры, если она будет достаточно яркой, то освещение вокруг вообще будет давать мизерный вклад.
Мы знаешь какие йобы проектировали, узкополосный лазер на 1 Вт херачит в полную силу в течение 1 мс и отключается, на матрице стоит фильтр настроенный только на полосу этого лазера, то есть выбирающий примерно 1% всего видимого света, в итоге в этот краткий момент лазер по освещению он перебивает все возможные источники, кроме прямого солнца, но и прямое солнце тоже просто видно, оно не слепит.
А на объекте стоит зеркало, которое выглядит как белая точка. В таком формате не то, что нейронки, 10 МГц микроконтроллер справляется с обработкой в риалтайме - тупо точки определенной площади нашел, контуры выделил, и вперед.
Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают.
>не уверен, что могу обеспечить в этом всем вот пресете постоянное и не меняющееся освещение
Ты можешь использовать инфракрасную подсветку от ебла самой камеры, если она будет достаточно яркой, то освещение вокруг вообще будет давать мизерный вклад.
Мы знаешь какие йобы проектировали, узкополосный лазер на 1 Вт херачит в полную силу в течение 1 мс и отключается, на матрице стоит фильтр настроенный только на полосу этого лазера, то есть выбирающий примерно 1% всего видимого света, в итоге в этот краткий момент лазер по освещению он перебивает все возможные источники, кроме прямого солнца, но и прямое солнце тоже просто видно, оно не слепит.
А на объекте стоит зеркало, которое выглядит как белая точка. В таком формате не то, что нейронки, 10 МГц микроконтроллер справляется с обработкой в риалтайме - тупо точки определенной площади нашел, контуры выделил, и вперед.
Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают.
>>28094
бля вот это тру инжениринг
ну короче общий такой совет - забить на классику по-максимуму (судя по последней фразе)
бля вот это тру инжениринг
ну короче общий такой совет - забить на классику по-максимуму (судя по последней фразе)
Так, аноны, помощь младшекласснику >>27918 всё ещё требуется .
Кто готов помочь и ответить на N вопросов?
Кто готов помочь и ответить на N вопросов?
>>28094
Ага, держи карман шире
https://www.youtube.com/watch?v=u_11jbdQA-8
>Но с нейронками вся эта ебля уходит в прошлое, потому что они и так работают
Ага, держи карман шире
https://www.youtube.com/watch?v=u_11jbdQA-8
>>28162
Зумер, научись русскому языку, чтобы формулировать свои мысли, ссылочка на говновидео - это не твои мысли
Зумер, научись русскому языку, чтобы формулировать свои мысли, ссылочка на говновидео - это не твои мысли
>>28170
Бумерок, не гори, Антошка наш всё как надо пояснил, зачем коверкать мысли если можно просто сослаться на источник?
Бумерок, не гори, Антошка наш всё как надо пояснил, зачем коверкать мысли если можно просто сослаться на источник?
Анонче, а где взять документацию по jpg? На оффициальном сайте там линки по которым её продают.
>>28175
Чтобы это был разговор с тобой, а не с копипастой
Чтобы это был разговор с тобой, а не с копипастой
>>28180
Алсо, обычно если где-то нет самого стандарта, обычно рядом лежит его бесплатный черновик с минимальными различиями от финальной версии
Алсо, обычно если где-то нет самого стандарта, обычно рядом лежит его бесплатный черновик с минимальными различиями от финальной версии
Кто-нибудь успешно зарабатывает деньги с соревнований на какие-то дополнительные расходы?
Аноны, дайте советов мудрых.
Есть сигнал, в котором иногда проскакивают события, которые надо детектить. Сигнала МНОГО, нужных событий в нем десятые (если не сотые) доли процента. Есть хуёвая модель, которая должна детектить события. Как мне правильно намайнить событий из сигнала, чтобы дообучить модельку?
Единственное, что приходит в голову - прогнать сигнал через модель с пониженным порогом срабатывания и разметить руками то что намайнится. Но это плохая идея, так как мы таким макаром не сможем собрать сложные случаи.
Есть сигнал, в котором иногда проскакивают события, которые надо детектить. Сигнала МНОГО, нужных событий в нем десятые (если не сотые) доли процента. Есть хуёвая модель, которая должна детектить события. Как мне правильно намайнить событий из сигнала, чтобы дообучить модельку?
Единственное, что приходит в голову - прогнать сигнал через модель с пониженным порогом срабатывания и разметить руками то что намайнится. Но это плохая идея, так как мы таким макаром не сможем собрать сложные случаи.
>>28288
Дурак ты боцман, Антоха так себе клиентуру набивает.
Дурак ты боцман, Антоха так себе клиентуру набивает.
>>28661
Спасибо.
Спасибо.
>>28560
Ты сам-то как эти события детектируешь? Глазами на графике?
Ты сам-то как эти события детектируешь? Глазами на графике?
Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?
Я просто постоянно сука гуглю и ворую из своих старых тетрадок, никак не могу запомнить синтаксис, потому что есть миллиарды вариантов сделать ту или иную операцию и постоянно вылетает из головы.
Это норма или я такой тупой?
Построение графиков в матплоте - отдельный ужас .
Я просто постоянно сука гуглю и ворую из своих старых тетрадок, никак не могу запомнить синтаксис, потому что есть миллиарды вариантов сделать ту или иную операцию и постоянно вылетает из головы.
Это норма или я такой тупой?
Построение графиков в матплоте - отдельный ужас .
>>28953
Никак. Просто пользуешься чем надо, и оно само со временем запоминается. А что не запоминается - то гуглишь, пока не запомнишь.
Если пользуешься лишь изредка, то неудивительно.
Я с табличными данными практически не работаю и графики тоже строю редко, поэтому в пандусе и матплотлибе знаю только самые базовые вещи. В нампае запоминать особо нечего.
>Блять, аноны, как вы запоминаете все возможности пандуса, numpy и т.д?
Никак. Просто пользуешься чем надо, и оно само со временем запоминается. А что не запоминается - то гуглишь, пока не запомнишь.
>Это норма или я такой тупой?
Если пользуешься лишь изредка, то неудивительно.
Я с табличными данными практически не работаю и графики тоже строю редко, поэтому в пандусе и матплотлибе знаю только самые базовые вещи. В нампае запоминать особо нечего.
>>28953
Распечатай себе что-нибудь.
Заебали вчерашние успешные студенты.
Не знают азов как программисты усваивают такой объем информации. А НИКАК
Распечатай себе что-нибудь.
Заебали вчерашние успешные студенты.
Не знают азов как программисты усваивают такой объем информации. А НИКАК
31 Кб, 399x676Подскажите пару идей для декодирования значений из неизвестных потоков данных.
Ну типа у меня есть нешифрованные поточным шифром сообщения соответствующие им данные и я хочу сделать универсальных расшифровщик двоичных протоколов в своей области.
Размер сообщений не известен, но от 2 до 15 байт.
LSTM ? Как именно? Есть ли аналогичные исследования ?
Ну типа у меня есть нешифрованные поточным шифром сообщения соответствующие им данные и я хочу сделать универсальных расшифровщик двоичных протоколов в своей области.
Размер сообщений не известен, но от 2 до 15 байт.
LSTM ? Как именно? Есть ли аналогичные исследования ?
>>29142
Набери в гугле "проганейм cheatsheet"
Набери в гугле "проганейм cheatsheet"
185 Кб, 1080x1377Школота, вы готовы нагреть Грефа на 500тр вступив в сговор со мной?
https://ai-journey.ru/contest/task02
https://ai-journey.ru/contest/task02
>>29422
Ебать они там на острие науки. Уровень Днепра машобчиком ещё в 70е предсказывали.
Ебать они там на острие науки. Уровень Днепра машобчиком ещё в 70е предсказывали.
Поясните мне по хардкору по поводу работы в МЛ. Она сводится к простому import pandas или там надо знать и применять математику и придумывать что то своё? Мне нравится машобчик, вышмат необходимый более менее знаюмага по биофизике за плечами. Есть такая работа чтоб там все не сводилось к тупому import и обычному кодерству, которое может любой школьник? Или надо в аспирантуру пиздовать за таким?
>>29422
Боюсь, там основная фича будет "насколько ты близкий родственник организаторов и судей". Просто наблендить нейроночек не прокатит.
>Ключевое значение отводится именно инновационности и нестандартности используемых фичей и подходов, с помощью которых можно будет получить наиболее качественный прогноз.
Боюсь, там основная фича будет "насколько ты близкий родственник организаторов и судей". Просто наблендить нейроночек не прокатит.
>>29469
На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
>>29533
Ты путаешь аналитиков и машобщиков. Машобщику нужно уметь кодить, знать SOTA модели и математику хотя бы на среднем уровне, но в предметной области можно особо не разбираться.
Скорее в пару сотен. А для обработки данных придется написать еще пару тысяч.
>На практике надо больше разбираться в области, к которой ты применяешь машоб, чем в кодинге. Классические модели в пару строк кода умещаются.
Ты путаешь аналитиков и машобщиков. Машобщику нужно уметь кодить, знать SOTA модели и математику хотя бы на среднем уровне, но в предметной области можно особо не разбираться.
>Классические модели в пару строк кода умещаются.
Скорее в пару сотен. А для обработки данных придется написать еще пару тысяч.
>>29469
В общем обычные машобки, которые я смог найти здесь и сейчас, в паре десятков из которых есть хоть какой-то инфа о том, что я могу нихуя из них сделать - никакого профита за эту работу я не вижу. А вот в качестве альтернативы мне от чего отказывать надо - так это в том что при этом у меня все равно нет возможности.
В общем обычные машобки, которые я смог найти здесь и сейчас, в паре десятков из которых есть хоть какой-то инфа о том, что я могу нихуя из них сделать - никакого профита за эту работу я не вижу. А вот в качестве альтернативы мне от чего отказывать надо - так это в том что при этом у меня все равно нет возможности.
>>29535
А в чем разница? и почему ты решил что у тебя вообще будет аналитик на работе?
>Ты путаешь аналитиков и машобщиков
А в чем разница? и почему ты решил что у тебя вообще будет аналитик на работе?
>>29519
Разумеется, шиз, все всех обманут и обведут вокруг пальца, а ты будешь продолжать сидя на жопе негореть в треде от победителей, и ничего не делать.
Разумеется, шиз, все всех обманут и обведут вокруг пальца, а ты будешь продолжать сидя на жопе негореть в треде от победителей, и ничего не делать.
>>29533
Ну мне главное даже не кодинг, а чтоб что то творческое/исследовательское было, а не по шаблону
Ну мне главное даже не кодинг, а чтоб что то творческое/исследовательское было, а не по шаблону
https://www.youtube.com/watch?v=QJgi9N5Zj5U
Салам братья машобщики
Салам братья машобщики
>>29608
ну так бери и делай творческое исследование у своих знакомых, в мелком бизнесе, епта.
А в условной Пятерочке наверняка будешь клики считать.
ну так бери и делай творческое исследование у своих знакомых, в мелком бизнесе, епта.
А в условной Пятерочке наверняка будешь клики считать.
>>29592
Аналитик все делает вручную, машобщик трясет черные ящики.
Знающих и машоб и предметную область не существует - для этого тебе придется потратить сначала 10 лет на машоб, а потом еще 10 лет на предметную область не отставая при этом от трендов в машобе, которые меняются ежегодно.
Если нет аналитика, то по крайней мере есть человек из предметной области. От него ты получишь базовые навыки и понимание этой области, но экспертом и близко не станешь.
>А в чем разница?
Аналитик все делает вручную, машобщик трясет черные ящики.
Знающих и машоб и предметную область не существует - для этого тебе придется потратить сначала 10 лет на машоб, а потом еще 10 лет на предметную область не отставая при этом от трендов в машобе, которые меняются ежегодно.
>и почему ты решил что у тебя вообще будет аналитик на работе?
Если нет аналитика, то по крайней мере есть человек из предметной области. От него ты получишь базовые навыки и понимание этой области, но экспертом и близко не станешь.
>>29619
почему? ведь если до того никакого машоба не было, достаточно логистическую регрессию изучить - и готов машоб.
>Знающих и машоб и предметную область не существует
почему? ведь если до того никакого машоба не было, достаточно логистическую регрессию изучить - и готов машоб.
>>29621
Ну да, а посмотрев пару видео на ютубе ты тут же становишься экспертом в некоторой области.
Ну да, а посмотрев пару видео на ютубе ты тут же становишься экспертом в некоторой области.
>>29630
ну смотри: логистическая регрессия скажет Нужно больше золота!
На питоне ковырять вилкой данные не надо.
Решения бизнес принял.
вот и машоб.
ну смотри: логистическая регрессия скажет Нужно больше золота!
На питоне ковырять вилкой данные не надо.
Решения бизнес принял.
вот и машоб.
>>29619
У тебя в твоем посте сквозит презумпция равенства людей. А люди не равны. В аналитики идут как правило люди без фантазии, готовые выполнять инструкции, которые в них загрузили в универе, со слабыми скиллами программирования и изучения нового. А в машоб идут люди сильно поумнее, при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Точно так же, как дохуя электронщиков умеет паять, а дохуя программистов могут быстро разобраться с девопс-задачами, но вот хуй из ларька по ремонту телефонов не сможет спроектировать электронный девайс, а девопс - разобраться в том, как работает квиксорт. Разный человеческий капитал.
У тебя в твоем посте сквозит презумпция равенства людей. А люди не равны. В аналитики идут как правило люди без фантазии, готовые выполнять инструкции, которые в них загрузили в универе, со слабыми скиллами программирования и изучения нового. А в машоб идут люди сильно поумнее, при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Точно так же, как дохуя электронщиков умеет паять, а дохуя программистов могут быстро разобраться с девопс-задачами, но вот хуй из ларька по ремонту телефонов не сможет спроектировать электронный девайс, а девопс - разобраться в том, как работает квиксорт. Разный человеческий капитал.
>>29645
Предметная область это как правило вообще не инженерная специальность. Экономика, маркетинг, медицина, предотвращение мошенничества и прочее. Машобщики по образованию либо кодеры, либо математики, и знания этих областей у них на нуле.
> при чем на момент 2020 года у 0.01% есть хоть какое-то формальное образование именно в машобе, а не просто прикладная математика или вообще инженерная специальность. Поэтому знающих и машоб и предметную область дохуя.
Предметная область это как правило вообще не инженерная специальность. Экономика, маркетинг, медицина, предотвращение мошенничества и прочее. Машобщики по образованию либо кодеры, либо математики, и знания этих областей у них на нуле.
>>29630
Только про кликер тут рассказывает 40летний бумер, так что зумерошизик опять обосрался.
Только про кликер тут рассказывает 40летний бумер, так что зумерошизик опять обосрался.
>>29645
умные люди спорят только если не договорились об терминологии.
кто для тебя Аналитик и почему он тупой?
у меня на одной из работ в должности аналитика были девочки из Зажопинсков. Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
А на другой чувак в должности аналитика закончил матфак и отличные документы строчил.
умные люди спорят только если не договорились об терминологии.
кто для тебя Аналитик и почему он тупой?
у меня на одной из работ в должности аналитика были девочки из Зажопинсков. Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
А на другой чувак в должности аналитика закончил матфак и отличные документы строчил.
855 Кб, 3756x1401>>29593
В этом году 2 конкурса от телеги выиграл, например. Соло. Даже на работу к ним собеседоваться предлагали потом.
В этом году 2 конкурса от телеги выиграл, например. Соло. Даже на работу к ним собеседоваться предлагали потом.
-------SAMPLE 0 END------- От этого просто тошнит. > 1 ) Это просто пиздец.> 2 ) Ты долбоеб.> 3 ) Ты несешь хуйню. > 4 ) Ты просто пидор.> 5 ) Ты мне мозги промыл.> 6 ) Тебе это вообще не нужно > 1 ) Ну и дурак.> 2 ) Ты просто пидор.> 3 ) Тебе поебать. > 4 ) Мне поебать.> 5 ) Тебе поебать. > 6 ) Тебе поебать. > 1 ) Ты долбаеб тупой.> 2 ) Тебе поебать.> 3 ) Тебе поебать. > 4 ) Тебе поебать.> 5 ) Тебе поебать.> 6 ) Тебе поебать.> 7 ) Тебе поебать.> 8 ) Тебе поебать.> 9 ) Тебе поебать.> 10 ) Тебе поебать.> 11 ) Тебе поебать. -------SAMPLE 1 END------- Сними рубашку с этой пары. Снял штаны с этой пары, скинул футболку и майку, накачал их в бачок и пошёл на речку с мужиком. Мужик мой на пляж вышел, а там вся контора дрочит. А я блять снял штаны и рубашку с этой пары. Ты а где штаны купишь? Снял штаны с этой пары, скинул футболку и штаны с этой пары. А я блять снял штаны и рубашку с этой пары. -------SAMPLE 2 END------- если я тебя позову, ты не сможешь его заставить > мы все знаем, что не так уж он и плох. а если ты не помнишь, что он им на хуе вертел? да ебана ты ебаная, а не то что я щас начнёт мочить Лол, а это кто? он с кем-то говорил, но ты не слышал? > я просто говорю это ты же не троллишь? ты не троллишь > я просто говорю это > ты же не троллишь ну так с кем я не говорил, просто говорю это > а если ты не помнишь про ту кучу, в которой он участвовал? Я думал, ты совсем поебался > он же не троллит Да это ты ебана ты ебаная > если ты не помнишь, что он им на хуе вертел?
-------SAMPLE 5 END------- > фотошоп, плиз.> сам школьник и уже почти 3 года не хожу по двачамНе есть что сказать > Просто и естественно это все > ты бы хоть щас не ходил по двачамНе есть что сказать Ты что не понимаешь? Не просто так ты спиздил себе 16 лет и стал аноном и учишься в каких-то ПТУх? > если не пиздеть А потом что ты пиздишь, что тебя пиздят? Я просто говорю что я не ебу тян, а тебе я пишу пост в эпичном разделе, а ты - 2 кт > у тебя действительно какая-то шлюха, у меня не было и не будет других шлюх, которые не были бы моими.> Если ты ее любишь, то почему бы тебе не не быть с ней до конца жизни? > Потому что ты не можешь ее трахнуть? Ну она шлюха, а ты шлюха. > Ты ее трахнешь, а я - говно. Это же не одно и то же Не могу не согласиться, что ты не прав. > Я не ебу тянНу я не ебу тянА я ебу говно. Я говорю что я не хочу никого трахатьНе ты понял. Я не хочу. Я просто говорю что ты ебанутый и не имеешь права меня оскорблять, я тебе в этом не верю. > Я не ебу тянНу я не хочу никого трахатьНу я не хочу никого трахать. -------SAMPLE 6 END------- Во-первых, ты же не играл в подобные игры, это не так. Во-вторых, если тебя интересует именно то, что ты хочешь услышать от меня, то не надо мне рассказывать о других играх, в которых ты играешь. Это не значит, что это не так. А то, что ты имеешь ввиду - это не так, это просто твои домыслы. Можешь даже не рассказывать о других играх, которые ты знаешь или которые мне не интересы. Я никогда не играл в какие-то игры, но это абсолютно верно. И в твоей работе это просто не может быть правдой, потому что ты не умеешь в этом играть. То, что ты не умеешь в этом играть - это факт, который я тебе только что доказал, и ты просто не умеешь в этом. И все твои попытки заставить меня что-то объяснить - это ложь и иди нахуй, если я тебе говорю, что ты не умеешь в этом, ты это прекрасно знаешь и даже не пытаешься в чем-то помочь. С таким подходом к определению игры я бы сказал, что это не игра, это просто набор ошибок, которые тебе не нужны. Мне очень жаль, что я не могу тебе помочь. Я очень надеюсь, что ты поймешь меня правильно. И надеюсь, что ты поймешь и не будешь пытаться меня переубедить, если только я тебе не расскажу. Ты не мог бы мне написать, что у тебя в жизни были какие-то необычные игры или ты не играл в подобные игры?
-------SAMPLE 5 END------- > фотошоп, плиз.> сам школьник и уже почти 3 года не хожу по двачамНе есть что сказать > Просто и естественно это все > ты бы хоть щас не ходил по двачамНе есть что сказать Ты что не понимаешь? Не просто так ты спиздил себе 16 лет и стал аноном и учишься в каких-то ПТУх? > если не пиздеть А потом что ты пиздишь, что тебя пиздят? Я просто говорю что я не ебу тян, а тебе я пишу пост в эпичном разделе, а ты - 2 кт > у тебя действительно какая-то шлюха, у меня не было и не будет других шлюх, которые не были бы моими.> Если ты ее любишь, то почему бы тебе не не быть с ней до конца жизни? > Потому что ты не можешь ее трахнуть? Ну она шлюха, а ты шлюха. > Ты ее трахнешь, а я - говно. Это же не одно и то же Не могу не согласиться, что ты не прав. > Я не ебу тянНу я не ебу тянА я ебу говно. Я говорю что я не хочу никого трахатьНе ты понял. Я не хочу. Я просто говорю что ты ебанутый и не имеешь права меня оскорблять, я тебе в этом не верю. > Я не ебу тянНу я не хочу никого трахатьНу я не хочу никого трахать. -------SAMPLE 6 END------- Во-первых, ты же не играл в подобные игры, это не так. Во-вторых, если тебя интересует именно то, что ты хочешь услышать от меня, то не надо мне рассказывать о других играх, в которых ты играешь. Это не значит, что это не так. А то, что ты имеешь ввиду - это не так, это просто твои домыслы. Можешь даже не рассказывать о других играх, которые ты знаешь или которые мне не интересы. Я никогда не играл в какие-то игры, но это абсолютно верно. И в твоей работе это просто не может быть правдой, потому что ты не умеешь в этом играть. То, что ты не умеешь в этом играть - это факт, который я тебе только что доказал, и ты просто не умеешь в этом. И все твои попытки заставить меня что-то объяснить - это ложь и иди нахуй, если я тебе говорю, что ты не умеешь в этом, ты это прекрасно знаешь и даже не пытаешься в чем-то помочь. С таким подходом к определению игры я бы сказал, что это не игра, это просто набор ошибок, которые тебе не нужны. Мне очень жаль, что я не могу тебе помочь. Я очень надеюсь, что ты поймешь меня правильно. И надеюсь, что ты поймешь и не будешь пытаться меня переубедить, если только я тебе не расскажу. Ты не мог бы мне написать, что у тебя в жизни были какие-то необычные игры или ты не играл в подобные игры?
>>29670
Охранники?
>Анализировали видео. Путем прямого просмотра в реальном времени видеостены 16x16 камер.
Охранники?
230 Кб, 1263x440>>29753
1.Напряженно работаешь в Пятерочке с чужими данными
2.Случайно замечаешь, что Паша Дуров втихую объявил конкурс
3. Понимаешь, что никто про этот конкурс не слышал и заюзываешь ресурсы Пятерочки для обработки данных.
4. Решаешь там ту самую задачу разделенную на два этапа. Всем говоришь что решил аж две.
5. Увольняешься из Пятерочки
6. Проматываешь за год бабло
7. Спиваешься , скатываешься, становишься лутоманом от машоба пытаясь безрезультатно выиграть другие конкурсы.
1.Напряженно работаешь в Пятерочке с чужими данными
2.Случайно замечаешь, что Паша Дуров втихую объявил конкурс
3. Понимаешь, что никто про этот конкурс не слышал и заюзываешь ресурсы Пятерочки для обработки данных.
4. Решаешь там ту самую задачу разделенную на два этапа. Всем говоришь что решил аж две.
5. Увольняешься из Пятерочки
6. Проматываешь за год бабло
7. Спиваешься , скатываешься, становишься лутоманом от машоба пытаясь безрезультатно выиграть другие конкурсы.
>>30079
Чет слегка проиграл. Вся предложка в его охуительных историях.
Чет слегка проиграл. Вся предложка в его охуительных историях.
всем привет, первый раз сюда зашла. кто нибудь может меня проконсультировать... учусь на биологической специальности. возникла идея написать небольшую нейроночку которая будет находить по фотографиям аномалии в клетках. код питона вроде как понимаю, знаю что такое нейронные сети... вчера нашла какой то курс вроде адекватный на степике, вот потихоньку собираюсь учить, но не представляю с чего вообще можно начать то что я хочу.
Буду рада если вы мне напишите!
мой телеграм @BQ666692000187
Буду рада если вы мне напишите!
мой телеграм @BQ666692000187
>>30212
курс почитай сначала, но там скорее всего будет много треша совершенно тебе не нужного.
курс почитай сначала, но там скорее всего будет много треша совершенно тебе не нужного.
>>30216
ну вот читаю, но там действительно пока что много вещей, на которых сейчас нет времени. хотелось бы конкретно по тому что я хочу.
вот я пока поняла, что мне нужно проделать 3 этапа :
1. почистить фотки от шумов, сделать их четкими
2. удалить с фотографии не интересующие меня части
3. найти и посчитать (аномалии)
может знаете какие нибудь курсы посвященные конкретно этому?
ну вот читаю, но там действительно пока что много вещей, на которых сейчас нет времени. хотелось бы конкретно по тому что я хочу.
вот я пока поняла, что мне нужно проделать 3 этапа :
1. почистить фотки от шумов, сделать их четкими
2. удалить с фотографии не интересующие меня части
3. найти и посчитать (аномалии)
может знаете какие нибудь курсы посвященные конкретно этому?
>>30228
Мне тоже интересно. Раньше я делал такие вещи с помощью opencv и каскадного обучения.
Мне тоже интересно. Раньше я делал такие вещи с помощью opencv и каскадного обучения.
>>30243
почитаю спасибо.
просто тут речь идет о микроструктурах, хотелось бы что нибудь оч точное придумать, с точностью до пикселя...если такое возможно 0.0
почитаю спасибо.
просто тут речь идет о микроструктурах, хотелось бы что нибудь оч точное придумать, с точностью до пикселя...если такое возможно 0.0
>>30212
Надеюсь ты со временем обучишься и поймешь, что pussypass не так работает.
Надеюсь ты со временем обучишься и поймешь, что pussypass не так работает.
Вот DeepLoc
https://github.com/okraus/DeepLoc
Он поддерживается в кликере Orange.
И это твой единственный шанс с разгону хоть что-то сделать кроме рекламирования пизды.
https://github.com/okraus/DeepLoc
Он поддерживается в кликере Orange.
И это твой единственный шанс с разгону хоть что-то сделать кроме рекламирования пизды.
>>30345
спасибо -__-
спасибо -__-
>>30291
До пикселя нужно разметить датасет с точностью до пикселя, и использовать, например, unet, но для студенческого проекта это слишком сложно
До пикселя нужно разметить датасет с точностью до пикселя, и использовать, например, unet, но для студенческого проекта это слишком сложно
842 Кб, 2128x2900>>30228
вообще лучше данные свои показывай.
А то про deeploc написано что его на довольно мелких одиночных клетках учили.
deeploc :
'>Index1' elements are the protein localization labels for each single cell using one hot encoding.
Сейчас расскажу главный секрет датасаентиста:
нужно взять не те фото, которые нужны, а те фото с которым результат лучше.
вообще лучше данные свои показывай.
А то про deeploc написано что его на довольно мелких одиночных клетках учили.
deeploc :
>'data1' elements are cropped images of single cells (64x64) x number_of_channels flattened into vectors.
'>Index1' elements are the protein localization labels for each single cell using one hot encoding.
Сейчас расскажу главный секрет датасаентиста:
нужно взять не те фото, которые нужны, а те фото с которым результат лучше.
266 Кб, 352x324>>30422
вот один пример аномалии - микроядро.
и вот хочется программу, в которую заливаешь несколько таких фотографий и она автоматически ищет и считает подобное.
ну и может классифицирует, если первые этапы у меня получится сделать...
вот один пример аномалии - микроядро.
и вот хочется программу, в которую заливаешь несколько таких фотографий и она автоматически ищет и считает подобное.
ну и может классифицирует, если первые этапы у меня получится сделать...
>>30546
Когда не знаешь, что делать, делай хороший, чистый, большой и удобный датасет. Все трясуны тебе спасибо скажут и процитируют
Когда не знаешь, что делать, делай хороший, чистый, большой и удобный датасет. Все трясуны тебе спасибо скажут и процитируют
>>30546
не знаю...мне научник утвердил идею, да и в целом пофиг на новизну, я для себя хочу научиться...
не знаю...мне научник утвердил идею, да и в целом пофиг на новизну, я для себя хочу научиться...
231 Кб, 1063x1583>>30561
Ладно.
Просто бери и копируй все что тут написано
https://www.nature.com/articles/s41467-019-12397-x
Как видишь, 20 человек примазались к статье.
Ладно.
Просто бери и копируй все что тут написано
https://www.nature.com/articles/s41467-019-12397-x
Как видишь, 20 человек примазались к статье.
Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч? Антивотермарка + апскейл NN идеальный прикладной инструмент для наеба капиталюг.
>>30565
но это, как ты понимаешь, совершенный читинг и в computer science нельзя публиковать.
А чо, кстати, зря вы на мой кликер наезжали. Вот так и должен выглядеть настоящий датасаенс - просто как рядовой инструмент исследователя в любых областях. Он полностью готов классифицировать изображения.
Девочка реально заебись защитится. Результат явно будет отличаться от нулевого.
Тот самый 40летний бумер.
но это, как ты понимаешь, совершенный читинг и в computer science нельзя публиковать.
А чо, кстати, зря вы на мой кликер наезжали. Вот так и должен выглядеть настоящий датасаенс - просто как рядовой инструмент исследователя в любых областях. Он полностью готов классифицировать изображения.
Девочка реально заебись защитится. Результат явно будет отличаться от нулевого.
Тот самый 40летний бумер.
>>30576
Почему просто не поддержать художника, который старался и рисовал?
Почему просто не поддержать художника, который старался и рисовал?
>>30580
Девочка пусть осваивает питон, тогда от ее образования хоть какой-то толк будет, устроится в пятерочку ящики трясти
Девочка пусть осваивает питон, тогда от ее образования хоть какой-то толк будет, устроится в пятерочку ящики трясти
>>30576
Ты для начала хотя бы забил вопрос в гугл.
https://arxiv.org/pdf/1911.07205.pdf
>Почему еще никто не сделал нейронку, которая вотермарки убирает с пикч?
Ты для начала хотя бы забил вопрос в гугл.
https://arxiv.org/pdf/1911.07205.pdf
>>30580
Вангую, что скоро будут учить школьников на информатике запускать регрессию из склерна.
Вангую, что скоро будут учить школьников на информатике запускать регрессию из склерна.
>>30643
страшно за бесполезно проведенные годы?
https://www.youtube.com/watch?v=NcTZoNY2V_I
https://www.thedataschool.co.uk/emily-dowling/calculate-linear-regression-line-tableau/
страшно за бесполезно проведенные годы?
https://www.youtube.com/watch?v=NcTZoNY2V_I
https://www.thedataschool.co.uk/emily-dowling/calculate-linear-regression-line-tableau/
>>30643
Будет что-то вроде "элементы статистики, комбинаторики и машинного обучения", вряд ли полезно.
Будет что-то вроде "элементы статистики, комбинаторики и машинного обучения", вряд ли полезно.
>>30576
И накладывает ватермарку нейронки))
И накладывает ватермарку нейронки))
>>30587
Который зарабатывает как начинающий фронтенд-макакен. Заебись удачно.
>удачно замуж выйти
>за научрука
Который зарабатывает как начинающий фронтенд-макакен. Заебись удачно.
>>30665
По лайту диплом и научка, а там можно бизнесмена найти. Ну или что там недавно один историк в питере устроил.
По лайту диплом и научка, а там можно бизнесмена найти. Ну или что там недавно один историк в питере устроил.
42 Кб, 1024x576>>30698
1. Будь крутым ДСером.
2. Делай много качественных моделей.
3. "kaggle stacking guide".
Впрочем, в том конкурсе я ничего не стекал, там была своя атмосфера.
1. Будь крутым ДСером.
2. Делай много качественных моделей.
3. "kaggle stacking guide".
Впрочем, в том конкурсе я ничего не стекал, там была своя атмосфера.
Анончик, поясни за кагл. На примере всеми заезженного титаника. Там есть куча анонов с точностью предикта 1.0. Насколько это реальная хуйня и сколько лет нужно вилкой чистить датасет, чтобы был такой же результат? У меня закрадывается мысль, что эти черти багнули сайт и скачали оттуда проверочный датасет.
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Что думаете о нечеткой логике в задачах автоматического рассуждения?
>>30883
Это известная хуйня, там индусы тупа вручную считали
>У меня закрадывается мысль, что эти черти багнули сайт
Это известная хуйня, там индусы тупа вручную считали
391 Кб, 652x562>>30965
Надо ещё вместо бабушкина в правом нижнем углу зумера поставить
Надо ещё вместо бабушкина в правом нижнем углу зумера поставить
>>30887
А чего все белые? Ни индусов, ни нигр. Это какой-то расизм.
А чего все белые? Ни индусов, ни нигр. Это какой-то расизм.
>>30911
почему их решения не удалят?
почему их решения не удалят?
>>30883
Там есть обсуждения, как получить 0.8 точность. Очень полезно почитать, если ты новичок.
Там есть обсуждения, как получить 0.8 точность. Очень полезно почитать, если ты новичок.
>>31167
а что книжек нет? почему я должен смотреть за рандомами случайно добившихся успеха?
а что книжек нет? почему я должен смотреть за рандомами случайно добившихся успеха?
>>31242
А зачем советовать курс если я даже фамилию преподавателя не могу произнести?
как вообще произнести NG ?
А зачем советовать курс если я даже фамилию преподавателя не могу произнести?
как вообще произнести NG ?
>>31244
Nехст Gенересион
Nехст Gенересион
>>31244
В любом курсе произношение фамилии преподавателя - последнее, о чем нужно беспокоиться.
Ын. Однофамилец или что там у них президента лучшей кореюшки.
> А зачем советовать курс если я даже фамилию преподавателя не могу произнести?
В любом курсе произношение фамилии преподавателя - последнее, о чем нужно беспокоиться.
> как вообще произнести NG ?
Ын. Однофамилец или что там у них президента лучшей кореюшки.
>>31251
Я знаю. Это я иронизирую над тем, какие двачеры токсичные псевдоилитарии. Не могли несколько лет нормальную книжку на русском прикрепить.
Я знаю. Это я иронизирую над тем, какие двачеры токсичные псевдоилитарии. Не могли несколько лет нормальную книжку на русском прикрепить.
>>31293
Да ты сам типичный токсик и проецируешь. Книги в шапке - те, которые за несколько лет хоть кто-то из треда прочитал и спросил "а почему в шапке нет XXX". Если какой-то книги там нет - значит про нее никто не спрашивал. Никто специально книги не прячет.
А если здесь априори считают, что собеседник знает английский, это не потому что тут элитаризм какой-то разведен, а, наоборот - к тебе относятся лучше, чем ты того заслуживаешь.
Да ты сам типичный токсик и проецируешь. Книги в шапке - те, которые за несколько лет хоть кто-то из треда прочитал и спросил "а почему в шапке нет XXX". Если какой-то книги там нет - значит про нее никто не спрашивал. Никто специально книги не прячет.
А если здесь априори считают, что собеседник знает английский, это не потому что тут элитаризм какой-то разведен, а, наоборот - к тебе относятся лучше, чем ты того заслуживаешь.
207 Кб, 1280x720Реддит поменял иконку обратно на оранжевую. Месяц БЛМ закончился.
>>31460
Прочел от корки до корки еще до ДЛ-революции. Хорошая книга же. Столько идей, которые выглядят правильно и интуитивно.
Даже немного жаль, насколько все это бессмысленно оказалось. Биттер лессон.
Прочел от корки до корки еще до ДЛ-революции. Хорошая книга же. Столько идей, которые выглядят правильно и интуитивно.
Даже немного жаль, насколько все это бессмысленно оказалось. Биттер лессон.
Ананасы, как поток пользовательских эвентов (залогинился, пукнул и т.д.) превратить в датасет?
Нужно на основании истории действий пользователя предсказывать, что пользователь съебал или нет. Как правильно фичеинженерить подобные связанные по юзерам потоки действий?
Нужно на основании истории действий пользователя предсказывать, что пользователь съебал или нет. Как правильно фичеинженерить подобные связанные по юзерам потоки действий?
всегда хотел стать погромистом, залендил первую работу в BI отделе. есть шансы на развитие в ds при условии упорных учений?
>>31515
Пиздец, проблема.
Нет, пиздец даже метод ее решения.
Ну что тебе предложить? Сначала идешь в sql-тред спрашиваешь там про group by.
Потом в питон-треде всех достаешь.
И тд и тп.
Не быть тебе датасаентистом.
Пиздец, проблема.
Нет, пиздец даже метод ее решения.
Ну что тебе предложить? Сначала идешь в sql-тред спрашиваешь там про group by.
Потом в питон-треде всех достаешь.
И тд и тп.
Не быть тебе датасаентистом.
>>31686
Я знаю и sql, и group by и питон. Я спрашиваю как правильно заинженерить фичи.
Сделаю я твой group by по юзеру и сделаю агрегацию в фичу "количество пуков на сайте". Плохая фича. Сделаю агрегацию по дням и получу, скажем 14 фич - количество пуков на сайте по дням. Ну так не гибко нихуя будет - пользовательское поведение может занимать больше 14 дней. Хорошо, захуячю 365 фич - количество пуков по дням. Но тогда у кучи пользователей куча фич будет пустые, а это для алгоритмов машоба нихуя не хорошо.
Поэтому я и спрашиваю как потоки пользовательских эвентов заинженерить в правильные годные датасеты.
Я знаю и sql, и group by и питон. Я спрашиваю как правильно заинженерить фичи.
Сделаю я твой group by по юзеру и сделаю агрегацию в фичу "количество пуков на сайте". Плохая фича. Сделаю агрегацию по дням и получу, скажем 14 фич - количество пуков на сайте по дням. Ну так не гибко нихуя будет - пользовательское поведение может занимать больше 14 дней. Хорошо, захуячю 365 фич - количество пуков по дням. Но тогда у кучи пользователей куча фич будет пустые, а это для алгоритмов машоба нихуя не хорошо.
Поэтому я и спрашиваю как потоки пользовательских эвентов заинженерить в правильные годные датасеты.
>>31810
Никто не знает заранее. Сделай то, что ты предположил и оцени что получилось.
У меня не было похожих данных, если ты такой ответ ожидал.
Никто не знает заранее. Сделай то, что ты предположил и оцени что получилось.
У меня не было похожих данных, если ты такой ответ ожидал.
>>30883
Тут нет никакого бага, если есть достаточно времени и достаточно fellow indians можно просто пробить паблик: меняешь по одной строчке в сабмите и смотришь как меняется метрика, отсюда узнаёшь правильный ответ.
>У меня закрадывается мысль, что эти черти багнули сайт
Тут нет никакого бага, если есть достаточно времени и достаточно fellow indians можно просто пробить паблик: меняешь по одной строчке в сабмите и смотришь как меняется метрика, отсюда узнаёшь правильный ответ.
148 Кб, 1000x1138Друзья, а в чем заключается феномен форса нейросети ИТТ?
Чем выборка треда отличается от стандартного бизнеса ?
Вот, допустим, наблюдаю я недавно ситуацию в чате питонистов:
Приходит чувак, притаскивает условный выдуманный датасет и спрашивает как ему сделать простейшую нейронку. Дальше ему несколько человек начинают советовать бросить эту идею и использовать классику и дают ссылку на sklearn (random forest)
Вот тут тоже не понятно в чем проблема:
>>31464
По классике куча книжек весьма толковых накопилось и перевелось на русский.
>>32001
здесь тоже можно нагуглить https://www.coursera.org/learn/process-mining#syllabus
нечто не относящееся к сетям(но выглядит многообещающе)
40летний джун
Чем выборка треда отличается от стандартного бизнеса ?
Вот, допустим, наблюдаю я недавно ситуацию в чате питонистов:
Приходит чувак, притаскивает условный выдуманный датасет и спрашивает как ему сделать простейшую нейронку. Дальше ему несколько человек начинают советовать бросить эту идею и использовать классику и дают ссылку на sklearn (random forest)
Вот тут тоже не понятно в чем проблема:
>>31464
По классике куча книжек весьма толковых накопилось и перевелось на русский.
>>32001
здесь тоже можно нагуглить https://www.coursera.org/learn/process-mining#syllabus
нечто не относящееся к сетям(но выглядит многообещающе)
40летний джун
129 Кб, 602x620>>32218
5. Ну типа юмор. 40 летний чувак переодевается в айтишника. Задание такое.
5. Ну типа юмор. 40 летний чувак переодевается в айтишника. Задание такое.
Думаю AI Dungeon можно сделать лучше, если создать собственный датасет. Основные траблы AI Dungeon в том, что в датасете много шума. Потому ИИ постоянно путается, когда ты смотришь себе в инвентарь. Если обучать его на IF-текстах, где прописаны такие моменты как:
Ошибка: лошадь нельзя достать из кармана.
То игра станет намного лучше. Трансформеры очень мощны. Думаю они применимы почти везде. Надо главное датасет выбрать верный.
Алсо, как заставить трансформеры обучаться во время выполнения, как в моделях с подкреплением, и что будет, если совместить трансформеры и подкрепление? Произойдет чудо?
> Достать лошадь из кормана
Ошибка: лошадь нельзя достать из кармана.
То игра станет намного лучше. Трансформеры очень мощны. Думаю они применимы почти везде. Надо главное датасет выбрать верный.
Алсо, как заставить трансформеры обучаться во время выполнения, как в моделях с подкреплением, и что будет, если совместить трансформеры и подкрепление? Произойдет чудо?
>>32372
Бесплатная версия AI Dungeon обучена на собственном датасете.
Для применимости везде их нужно сделать на пару порядков быстрее.
Бесплатная версия AI Dungeon обучена на собственном датасете.
>Трансформеры очень мощны. Думаю они применимы почти везде.
Для применимости везде их нужно сделать на пару порядков быстрее.
>>32376
Он все еще опенсорс, или уже анально огородили? На гитхабе последний коммит был в Феврале.
>AI Dungeon
Он все еще опенсорс, или уже анально огородили? На гитхабе последний коммит был в Феврале.
>>32383
Я даже не знал, что он был опенсорсным когда-то. Я юзал его платную версию (семидневный триал) для доступа к GPT3.
Я даже не знал, что он был опенсорсным когда-то. Я юзал его платную версию (семидневный триал) для доступа к GPT3.
>>32388
Я начал в него играть буквально через пару дней после релиза. Он был сделан студентом и выложен на гитхаб. Изначальная версия использовала GPT-2 и была просто олицетворением определения говнокода, с кучей багов и вылетов, и я по ходу дела сам правил все это говно. Потом создатель просек что с этого можно зарабатывать, и сделал анально огороженный сервис + заменил модель на GPT-3. Старый код с гитхаба не удалил, и на том хорошо.
Собственно, это является наглядным примером того, как делаются ИИ стартапы. Студент немного потряс черный ящик, который до него натренировали Большие Дяди, приписал пару сотен строк ковнокода, по стечению обстоятельств приобрел популярность, оказавшись в нужное время в нужном месте, и теперь гребет бабло. При этом по навыкам он находится на одном уровне с местными зумерами-вкатывальщиками.
>Я даже не знал, что он был опенсорсным когда-то.
Я начал в него играть буквально через пару дней после релиза. Он был сделан студентом и выложен на гитхаб. Изначальная версия использовала GPT-2 и была просто олицетворением определения говнокода, с кучей багов и вылетов, и я по ходу дела сам правил все это говно. Потом создатель просек что с этого можно зарабатывать, и сделал анально огороженный сервис + заменил модель на GPT-3. Старый код с гитхаба не удалил, и на том хорошо.
Собственно, это является наглядным примером того, как делаются ИИ стартапы. Студент немного потряс черный ящик, который до него натренировали Большие Дяди, приписал пару сотен строк ковнокода, по стечению обстоятельств приобрел популярность, оказавшись в нужное время в нужном месте, и теперь гребет бабло. При этом по навыкам он находится на одном уровне с местными зумерами-вкатывальщиками.
>>32410
Там надо в настройках сменить модель, и плюс первые несколько абзацев генерятся специализированной GPT-2 для создания контекста и далее она же периодически включается для возврата в контекст. Но дальше уже начинается веселуха, особенно если понять, что это что-то вроде помощника по написанию рассказов, и смело править генерируемый контент.
Там надо в настройках сменить модель, и плюс первые несколько абзацев генерятся специализированной GPT-2 для создания контекста и далее она же периодически включается для возврата в контекст. Но дальше уже начинается веселуха, особенно если понять, что это что-то вроде помощника по написанию рассказов, и смело править генерируемый контент.
У вас нет страха того что любой школотрон может изучить как пользоваться всеми этими инструментами(ему даже математику знать не нужно) а вы тратили время, старались а в итоге там же где и он?
>>32208
ИТТ? Зайди reddit.com/r/MachineLearning/ и попробуй найти там что-то не про нейросети хотя бы на первой странице. Это тебе придется объяснить, в чем заключается феномен форса нейросетей в мире.
Классика сейчас в той же ситуации, что байтоебство лет 10-15 назад: да, еще были динозавры, пишущие на C++ даже программы для банковского документооборота, и жалующиеся на тупую молодежь, которая выбирает jQuery вместо тонкостей ебли байтиков, но всем было очевидно, что тренд на подобную йобу отрицательный, байтоебство замкнулось в своей нише.
Классика будет медленно, но неотвратимо, подыхать. Ну и как бы просто скучно заниматься вещами, которые будут медленно, но неотвратимо, подыхать. Лучше заниматься перспективными вещами.
> Друзья, а в чем заключается феномен форса нейросети ИТТ?
ИТТ? Зайди reddit.com/r/MachineLearning/ и попробуй найти там что-то не про нейросети хотя бы на первой странице. Это тебе придется объяснить, в чем заключается феномен форса нейросетей в мире.
Классика сейчас в той же ситуации, что байтоебство лет 10-15 назад: да, еще были динозавры, пишущие на C++ даже программы для банковского документооборота, и жалующиеся на тупую молодежь, которая выбирает jQuery вместо тонкостей ебли байтиков, но всем было очевидно, что тренд на подобную йобу отрицательный, байтоебство замкнулось в своей нише.
Классика будет медленно, но неотвратимо, подыхать. Ну и как бы просто скучно заниматься вещами, которые будут медленно, но неотвратимо, подыхать. Лучше заниматься перспективными вещами.
>>32445
Любой школотрон может изучить квантовую теорию поля по википедии, но а) физики-ПхД не обсираются от этого; б) таких школотронов практически не встречается в природе.
Чем больше народу в области, тем лучше.
Любой школотрон может изучить квантовую теорию поля по википедии, но а) физики-ПхД не обсираются от этого; б) таких школотронов практически не встречается в природе.
Чем больше народу в области, тем лучше.
>>32469
Это какой-то странный механизм компенсации. Живет такой подпивасный хуй, работает каким-нибудь байтоебом на заводе. И узнает новость - в другой стороне есть школьник, который в 18 лет натренировал нейронку и устроился на хорошую работу. Какая реакция нормального человека? Молодец школьник, круче сверстников. Какая реакция подпивасного быдла? Ко-ко-ко, нейронки - хайп, любой школьник так может, и я тоже могу, просто... не хочу
Это какой-то странный механизм компенсации. Живет такой подпивасный хуй, работает каким-нибудь байтоебом на заводе. И узнает новость - в другой стороне есть школьник, который в 18 лет натренировал нейронку и устроился на хорошую работу. Какая реакция нормального человека? Молодец школьник, круче сверстников. Какая реакция подпивасного быдла? Ко-ко-ко, нейронки - хайп, любой школьник так может, и я тоже могу, просто... не хочу
>>32454
Ну окей, перефразирую :
Можно ли по объему Buzz в треде судить о делах в бизнесе?
Ведь если все начнут (начали) накапливать данные, то появится куча работы в первую очередь с классикой, а потом уже по мере роста требований к точности часть захочет нейросети. Интерпретируемости ведь нет.
Разве нет?
В общем, мне надо определиться, как вкатывальщику.
Ну окей, перефразирую :
Можно ли по объему Buzz в треде судить о делах в бизнесе?
Ведь если все начнут (начали) накапливать данные, то появится куча работы в первую очередь с классикой, а потом уже по мере роста требований к точности часть захочет нейросети. Интерпретируемости ведь нет.
Разве нет?
В общем, мне надо определиться, как вкатывальщику.
>>32426
Сменил.
Не начинается. Как доставал коня из кармана, так и достает. Нихрена не запоминает инвентарь, ни характеров персонажей, ни их возраста.
> Там надо в настройках сменить модель
Сменил.
> Но дальше уже начинается веселуха
Не начинается. Как доставал коня из кармана, так и достает. Нихрена не запоминает инвентарь, ни характеров персонажей, ни их возраста.
>>32543
Для этого там есть отдельная кнопка с постоянным контекстом, туда нужно сливать подобные вещи, которые ты хочешь, чтобы висели всегда. Сам GPT-3 помнит 30к токенов насколько я помню, если факт упомянут раньше, его не будет. Ну и смело править ошибки, если они есть.
Для этого там есть отдельная кнопка с постоянным контекстом, туда нужно сливать подобные вещи, которые ты хочешь, чтобы висели всегда. Сам GPT-3 помнит 30к токенов насколько я помню, если факт упомянут раньше, его не будет. Ну и смело править ошибки, если они есть.
>>32547
Вот только с инвентарем это не сработает. С характерами персонажей тоже. Пишешь, что персонаж остерегантся тебя, а сетка все равно выдает диалоги, будто вы друзья с детства. 4
Вот только с инвентарем это не сработает. С характерами персонажей тоже. Пишешь, что персонаж остерегантся тебя, а сетка все равно выдает диалоги, будто вы друзья с детства. 4
>>32554
Ебать у тебя запросы, конечно
Ебать у тебя запросы, конечно
>>32553
Это языковая модель, а не чудо чудесное. Самое забавное там писать любой бред и наблюдать, как оно выкручитывается, пытаясь минимизировать бредовость текста.
А если рассматривать это как ролевуху, гейммастером должен быть ты, тогда все будет весело. Хотя 90% времени я просил разыграть сценки между вымышленными историческими персонажами из разных эпох. Так как эта йоба читала весь интернет, она знает дохуя фактов и комбинирует их весьма забавным образом
Это языковая модель, а не чудо чудесное. Самое забавное там писать любой бред и наблюдать, как оно выкручитывается, пытаясь минимизировать бредовость текста.
А если рассматривать это как ролевуху, гейммастером должен быть ты, тогда все будет весело. Хотя 90% времени я просил разыграть сценки между вымышленными историческими персонажами из разных эпох. Так как эта йоба читала весь интернет, она знает дохуя фактов и комбинирует их весьма забавным образом
>>32501
Нет, это просто тред со своими мемами и шизиками. Суди вакансиям
Занимайся тем, от чего не тошнит. Меня, например, от фразы типа "кредитный скоринг" в сон клонит, а картинки-звуки - норм. А у кого-то действительно батхерт от неинтерпретируемых моделей, хотя по мне никакой машоб нормально не интерпретируется просто по своей природе
>Можно ли по объему Buzz в треде судить о делах в бизнесе?
Нет, это просто тред со своими мемами и шизиками. Суди вакансиям
>В общем, мне надо определиться, как вкатывальщику.
Занимайся тем, от чего не тошнит. Меня, например, от фразы типа "кредитный скоринг" в сон клонит, а картинки-звуки - норм. А у кого-то действительно батхерт от неинтерпретируемых моделей, хотя по мне никакой машоб нормально не интерпретируется просто по своей природе
Препод в вузе занимается анализом медицинских данных. Это норм тема для вката или ничем не лучше чем какой нибудь ds в пятерочке?
>>32583
Для вката любая тема норм, которая потом хорошо выглядит в резюме.
Для вката любая тема норм, которая потом хорошо выглядит в резюме.
>>32553
Просто к каждому тексту от пользователя добавляешь пару предложений с описанием инвентаря и характеров. Ну или можно гптшный трансформер модифицировать немножко для такого.
Просто к каждому тексту от пользователя добавляешь пару предложений с описанием инвентаря и характеров. Ну или можно гптшный трансформер модифицировать немножко для такого.
>>32583
Медицинская тематика это однозначный вин.
Медицинская тематика это однозначный вин.
А перекат будет?
Soar и ACT-R и прочие когнитивные архитектуры. Тема актуальна до сих пор?
Например, имеется случайная величина u, которая равномерно распределена от 0 до N.
Если есть единственное наблюдение u =4, можно ли что-то сказать о N?
Если есть единственное наблюдение u =4, можно ли что-то сказать о N?
>>37078
Можно сказать что иди ты нахуй со своей домашкой для парашной конторы
Можно сказать что иди ты нахуй со своей домашкой для парашной конторы
Тред утонул или удален.
Это копия, сохраненная 9 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Это копия, сохраненная 9 апреля 2021 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.