Вы видите копию треда, сохраненную 26 декабря 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
Что почитать для вкатывания? http://www.deeplearningbook.org/
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ https://halite.io/ https://www.general-ai-challenge.org/
Где работать? https://www.indeed.com/jobs?q=deep+learning&l=
Что мне делать со своей жизнью? https://80000hours.org/
Ну и про остальной машоб тоже можно поговорить ИТТ.
>Что мне делать со своей жизнью? https://80000hours.org/
зачем здесь это говно от школьников?
Запилите мне опенсорс нейроночку для yathzee, заебали.
Я не понимаю структуру слоев, как юлядь определить сколько надо нейронов на входе и сколько на втором и далее уровнях. Есть какая то методика на это?
Вряд ли тебе кто-то будет пилить. Структура подбирается на глаз, исходя из опыта. Обычно сначала ты делаешь небольшую и неглубокую нейронку, постепенно увеличивая ее, пока хватает вычислительной мощности и увеличение дает улучшение точности.
Конкретно по твоей игре: смотри работы по покеру. Самая нашумевшая тут: https://www.deepstack.ai/ Там тебе и статья, и объяснения, и код. Когда поймешь, как и почему там все сделано, сможешь начать думать про алгоритм для своей игры.
>А демонстрации этого есть?
Не нашел. Но статья еще 2013 года есть почти такая же. Не понятно почему еще раз об этом сообщили. Может, что еще обучаться может быстро на малом количестве примеров. Интересно было бы проверить эти сетки на переводе текстов. Проект закрытый и патентованный похоже. Кроме кукареков никакой практики нет.
https://www.google.com/patents/US9373085
Numenta/Vicarious уже лет десять, если не больше, разрабатывают свою альтернативу нейроночкам, и пока результаты не впечатляют. Патенты еще какие-то... Похоже, они просто пытаются набить себе цену на пустом месте. Патенты очень любят всякие инвесторы, которые не разбираются в сути происходящего. Я бы хотел, чтобы у них получилось, люблю всякие нетрадиционные методы, но уже потерял веру в них.
Про более серьезные попытки сделать альтернативу CNN, сегодня пришло: https://arxiv.org/abs/1710.09829 Сам не разбирался пока, но Хинтон фигни не делает.
Надо бы посмотреть. Ты пробовал запускать? Якобы тренируется всего несколько минут, без ГПУ. Особенно интересует, воспроизводятся ли результаты по рекапче, и корректно ли там оценивается точность.
>А демонстрации этого есть?
https://www.vicarious.com/2017/10/26/common-sense-cortex-and-captcha/
>>1083062
неа
>>1083058
>разрабатывают свою альтернативу нейроночкам,
Интересно, на чем она основана?
>Интересно, на чем она основана?
“Rapid inference on a novel AND/OR graph for object detection, segmentation and parsing,”
Это получается на энд ор графах? Т.е. задача сводится к тому, чтобы построить такой граф входных данных к выходным?
>Интересно, на чем она основана?
Все пошло от книги On Intelligence Джеффа Хоукинса и разработанной им теории НТМ, вычислительной модели работы мозга: https://en.wikipedia.org/wiki/Hierarchical_temporal_memory
Дальше Numenta долго разрабатывала алгоритмы, основанные на этой теории. Над ними в числе прочих работал Джордж Дилип, который потом основал Vicarious.
Они там по-моему угорают по зрению, так что разве что кто-то еще сделает. Почему бы тебе самому не попробовать?
Да пока не силен что там да как делать. А так если они хороши в обобщении с малым количеством данных, то текстовая инфа была бы самым подхлдящим, чтобы проверить их эффективность.
Вот еще че нашлось. Даже с псевдокодом.
https://numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-ru.pdf
Ну хуй с ним с запиливанием, хоть алгоритм (структуру выходных и входных данных предложите).
Самое сложное - как учесть нейронке, какие комбинации уже сделаны/заполнены и какую комбинацию стремиться заполнить
Сап, только вкатываюсь, пишу простую нейросетку для распознавания рукописных цифр. Перцептрон с одним скрытым слоем. Получается точность до 90%, выше не выходит. Что я делаю не так?
для этого нейросеть вроде и не нужна. как я это вижу?
кодировать наверное все умеют, а вот декодировать приходится брутфорсом или по таблицам хешей
сеть лучше обучать распознавать стартапы/пирамиды/хайпы в которые можно влошиться под овер 9к% и подавать сигнал на съеб/вывод_средств после анализа выплат, например
Да пишут что невозможно такое. Интересно сеть вообще можно обучить функции x mod 5 например? Она же не непрерывная и походу сеть обломается.
>пишут что невозможно такое
а где почитать об этом? нашел только
http://forum.clusterdelta.com/archive/index.php/t-1183.html
но там более сложные задачи, зависящие от многих факторов. интереснее было бы запилить сеточку, основанную на граббинге и анализе opendata
Это нормальная точность для выбранной тобой архитектуры. Для повышения точности используй сверточные сети.
Если тренировать с нуля на примерах текст -> мд5, то ничего не получится. Нужно собирать алгоритм постепенно, сначала научив сеть элементарным операциям, потом их комбинациям. Это тоже очень сложно и в целом на данный момент никто такого сделать не может, пока только гораздо более примитивные примеры работают. См. differentiable neural computer.
В оппосте все расписано. "Не знаю питон" (как и "не знаю английского") это не тот уровень, на котором ты сможешь вкатиться, сначала нужно иметь элементарные навыки по компьютер саенсу и математике, так чтобы незнание языка программирования не ставило тебя в тупик. В материалах из оппоста все что нужно дается.
Даст до некоторого предела, если будет много тренировочных данных. Сверточная сеть будет в любом случае гораздо эффективнее.
Тогда скажи, есть ли смысл писать свёрточную целиком руками или лучше даже для начала воспользоваться каким-нибудь tensorflow?
Я хочу разобраться досконально.
Руками - это формулы для градиентов расписать? Не имеет особого смысла имхо, чисто механическая работа. Лучше это время потратить на изучение матана, если ты в себе не уверен на этом фронте. А так производная и есть производная.
Свертку вручную ты сам достаточно эффективно не напишешь. В TF сейчас используется cuDNN, который использует недокументированные возможности новых видеокарт Nvidia и показывает на них чудовищную производительность. Уже, наверное, в тысячи раз быстрее наивного кода на ЦПУ.
Лучше спроси себя, когда ты научишься гуглить.
https://medium.com/towards-data-science/recognizing-traffic-signs-with-over-98-accuracy-using-deep-learning-86737aedc2ab
Вообще этим вопросом ты показываешь свою полнейшую безграмотность. Любая задача распознавания сейчас может быть решена, вопрос только в данных. Наука уже лет 5 как ушла вперед и занимается гораздо более сложными проблемами. Например, мне не нужны тысячи примеров какого-то дорожного знака, чтобы научиться его распознавать: это называется one shot learning, и по этой теме в последние годы было много работ. Более того, часто я могу догадаться, что означае какой-то знак, даже увидев его впервые. Это называется zero shot learning, тоже горячая тема исследований сейчас.
Свёрточная нейросеть распознавания цифр, надеюсь, удовлетворится моим процессором без видеокарты?
Я не сомневаюсь, что библиотечные функции эффективнее, они же, в конце концов, оптимизировались под это дело.
С матаном тоже никаких проблем нет.
Я имел в виду, прописывать полностью структуру сети, я не знаю, как точно описать, т.к. не знаю, как это делается в библиотеках. Ну, например, утрируя, датасет я разделяю с помощью sklearn.train_test_split(), хотя я мог бы и вручную - я просто уже представляю, как и зачем это делается. Но если бы не представлял - я бы, наверное, написал бы функцию сам.
Вопрос у меня в том, слишком ли это будет сложно для свёрточной сети - всё досконально писать руками вместо готовой библиотеки?
по твоей же ссыле негр вырезает знак и тыкает им в нос нейросети, а я тебе про норапльное динамическое распознование на дороге. юдасити кстати, ели раздилительную полосу детектит.
Это не мега-сложно, просто муторно, и внимательно надо все делать, чтобы не набажить. Структура сети там простая. Начать можно с какого-нибудь LeNet без пулинга, это всего 3-4 слоя. Точность такой сети уже должна быть гораздо выше всего, что можно сделать без сверток.
Без видеокарты медленно будет, свертки очень прожорливые. Небольшая сеть с датасетом размера MNIST'а вполне нормально пойдет, но для более-менее интересного проекта придется либо арендовать облако, либо покупать себе видеокарту.
Да у меня ноут, хотя довольно мощный. Не могу позволить себе пока что купить нормальный компьютер.
Мне пока что разобраться с основами, ради действительно интересных проектов можно и облако арендовать. Если достаточно интересный будет.
Хочу написать ИИ, который захватит мир. В какую сторону копать?
сам то смотрел? он там больше половины знаков проебывает. а вот черный крест на желтой ебе, это да, заметил.
олсо, зеленые и синии знаки в упор не видит, лол.
Ну если прямо хочешь именно все самому сделать, советую начать с обычной свертки. Объяснения, туториалы найдешь в интернете. Пулинг (когда берется максимум из нескольких соседних значений) уже реально замороченная штука: там при вычислении градиента нужно запоминать, какое именно значение было максимальным. Код получается гораздо сложнее. Когда наиграешься с ручной реализацией, бери ТФ или Керас какой-нибудь, там все уже как надо сделано. Свои реализации тоже можешь с ними сверять по входам/выходам для дебага.
Советую побыстрее проходить начальный этап и догонять передний край науки. Рекуррентные архитектуры, GAN'ы, differentiable neural computer, это уже настолько сложные вычисления, что ручная реализация там непрактична.
привет из 2012
Насчёт трудоустройства в рф посоветуешь что-нибудь или пошлёшь в шапку треда?
Спасибо, я надеюсь побыстрее пройти этот начальный этап.
1. Шапка. Серьезно, шапка.
2. ПхД в западной стране.
3. Если сейчас где-то работаешь, пораскинь мозгами, составь план и выдвини начальству предложение по внедрению МЛ на твой проект. Вызовись сам все делать, скажи что давно изучаешь, горишь желанием, покажи домашние заготовки. Хайтек все любят, весьма велика вероятность, что тебе разрешат. Вот и будешь сиви наполнять для шапки.
Ноуп, нигде не работаю. Мл занялся, чтобы сделать на гитхаб один интересный проект для резюме.
ПхД в западной стране могу получить через несколько лет (около 5) вообще в другой области.
>Про более серьезные попытки сделать альтернативу CNN, сегодня пришло: https://arxiv.org/abs/1710.09829 Сам не разбирался пока, но Хинтон фигни не делает.
https://github.com/nishnik/CapsNet-PyTorch
Первые попытки реализовать.
>Dynamic Routing Between Capsules.
Это что, получается будут списки использоваться? А как на это GPU будет реагировать? Не будет ли это замедлять сильно работу?
Новые модели разрабатываются без оглядки на оптимизации в настоящий момент. Если будут крутые результаты, оптимизации подтянутся. Сейчас целые библиотеки заточены под CNN, для этого тоже наверняка можно будет сделать.
Пару вопросов:
1) Мб есть у кого опыт по внедрению ML в робототехнику (reinforced learning, robovision) ?
А то у меня есть робот и таска для него. Пока решаю ифами-элсами и вроде норм, но интересно как туда можно всунуть упомянутое выше.
контроллер National Instruments MYRIO
код пока на c++ и kotlin
2) Мб кто-нибудь делал кастомные загрузчики для ImageFolder в pytorch. мне бы хотелось узнать как все же загружать изображение как одноканальное, а то я с opencv беру один канал, а оно шлет меня в Ж ошибку потом могу приложить
3) По тому же pytorch: пусть загрузил изображение в формате 1х32х32, как к нему прихерачить ещё и лейбл и скормить вместе с изображением в свёрточный слой? или есть варианты лучше?
для 3) лейбл допустим в формате one-hot
1) Нужно запихать питон. Для этого Rasberry PI берут. Чтобы было быстро с cuda берут Jetson TX2. Опыта у меня нет.
>National Instruments MYRIO
https://forums.ni.com/t5/Academic-Hardware-Products-ELVIS/myRio-python-installation-help/td-p/3686481
тоже можно
Из того, что я видел, применение РЛ в робототехнике это дело будущего. Сейчас для РЛ нужны миллионы семплов, что нереально получить на устройстве. Почти все работы делаются в симуляторах. Просто зрение элементарно делается, набери данных да тренируй, используй уже натренированные на imagenet модели для быстроты.
Лейбл к сверточной сети можно сделать дополнительными каналами. Т.е. делаешь еще один канал 1х32х32 и копируешь в каждый пиксель одно и то же значение. Для 1-хот, соответственно, n дополнительных каналов. В альфаго так делали.
> Лейбл к сверточной сети можно сделать дополнительными каналами. Т.е. делаешь еще один канал 1х32х32 и копируешь в каждый пиксель одно и то же значение. Для 1-хот, соответственно, n дополнительных каналов. В альфаго так делали.
А не дофига ли каналов? И если допустим я буду вместо лейбла оригинал картинки присовывать? Пишу gan
Вернее не gan, а cgan
Дофига ли каналов - это тебе решать. Если тебе не надо лейблы обязательно в фильтры подавать, можешь их прицеплять отдельным входом, конкатенируя с одним из dense слоев ближе к выходу. Вообще нужно пробовать и так, и сяк. Никогда не знаешь заранее, что работает, а что нет.
> пусть загрузил изображение в формате 1х32х32, как к нему прихерачить ещё и лейбл и скормить вместе с изображением в свёрточный слой
Не понял, ты хочешь еще сразу обучать прямо на роботе?
cgan не в роботе, а так, ради интереса пишу)
в робота я пока не особо придумал, что и как всунуть
вопрос про кастомный лоадер все ещё актуален
Как раз на эту тему свежий пост от гугла: https://research.googleblog.com/2017/10/closing-simulation-to-reality-gap-for.html
гуглобляди соснули
https://nplus1.ru/news/2016/08/05/neurokad
нагуглил, что использовалась вот это нейросеть
https://github.com/karpathy/char-rnn
из описания осознал что мне нужен некий Torch, а из его описания, что нужен Линукс.
Вопрос, как мне минимизировав пердолинг поиграться с нейросетями генерирующими текст? Есть ли какие-то чисто обывательские проги подобного плана. Я не имею в виду генераторы текста из 00-х типа Delirium, хотелось насладиться именно современными продуктами
Максимум, что ты можешь, это смотреть как играются другие. Никаких продуктов для текста нет, кроме гугл транслейта, наверное.
Выше давали ссылку на попытку реализации на питорче, посмотри. Если непонятно, можно обсудить конкретные вопросы.
The second layer (PrimaryCapsules) is a convolutional capsule layer with 32 channels of convolutional 8D capsules (i.e. each primary capsule contains 8 convolutional units with a 9×9 kernel and a stride of 2). Each primary capsule output sees the outputs of all 256×81 Conv1 units whose receptive fields overlap with he location of the center of the capsule. In total PrimaryCapsules has [32,6,6] capsule outputs (each output is an 8D vector) and each capsule in the [6,6] grid is sharing their weights with each other. One can see PrimaryCapsules as a Convolution layer with Eq. 1 as its block non-linearity.
The final Layer (DigitCaps) has one 16D capsule per digit class and each of these capsules receives input from all the capsules in the layer below.
Не пойму чем отличается от обычной сверточной сети и причем тут маршруты.
Маршруты в этом параграфе не обсуждаются. См. введение, чтобы понять, что это такое.
Капсулы нижнего уровня - это и есть CNN, вычисляющие свои активации, которые затем маршрутизируются к капсулам следующего уровня. Так и написано: "One can see PrimaryCapsules as a Convolution layer with Eq. 1 as its block non-linearity."
Капсулы последнего уровня это как dense слои, насколько я понял, т.е. они на входе получают активации нижних капсул, развернутые в вектор.
Тогда же получается что капсулы и выполняют задачу многослойности, только теперь между ними соединение не простое, а с условиями, если я правильно понял.
https://www.zhihu.com/question/67287444/answer/251460831
Да, капсулы располагаются по слоям. В целом архитектура подобна LeNet, но вместо maxpool у них маршрутизация между капсулами. Соединения организуются так: каждая капсула пытается предсказать активацию капсулы на следующем слое, на вход которой нужно передать свою активацию. Чем лучше это предсказание, тем с большим весом происходит передача активации. И это все вычисляется несколько раз, пока процесс не сойдется.
Это все мое понимание статьи, которое может быть неправильным.
Четкий сайт, кстати. Это китайский клон quora, вроде бы, но т.к. там сидит весь Китай, то экспертов по всем вопросам там гораздо больше.
Курс по основам нейронных сетей на русском языке. Используемый язык программирования Python:
https://stepik.org/course/401/syllabus
1) Дип лернинг == поиск практически брутфорсом математической формулы по получению Y из X?
2) Есть гайд как выбирать структуру и кол-во слоев сети в зависимости от задачи?
>1) Дип лернинг == поиск практически брутфорсом математической формулы по получению Y из X?
Да.
>2) Есть гайд как выбирать структуру и кол-во слоев сети в зависимости от задачи?
Нет.
В принципе верно, но например для картинок, ясное дело, нужно CNN брать. Для речи тоже вроде на чем-то сошлись, то ли LSTM, то ли опять же CNN по времени. Кароч, гайд в Крации такой: смотришь последние N статей по своей задаче и выделяешь то, что часто используется.
Машоб. Или машинное обучение. За "машобуч" у нас на районе... не знаю, пока таких лохов не было.
Если ты хочешь быть простым слесарем и сыпать данные в модель пока хоть как-то что-то не начнет напоминать ожидаемый результат - пользуйся конструкторами от гугола, там вообще никаких знаний не надо. Если хочешь заниматься машобом серьезно, то статистику и иные методы знать необходимо, это просто санитарный порог.
>Дип лернинг == поиск практически брутфорсом математической формулы по получению Y из X?
Аппроксимация функциональной зависимости Y от X, Y = f(X). Это суть всего машоба, диплернинг - только один из возможных методов такой аппроксимации.
>Есть гайд как выбирать структуру и кол-во слоев сети в зависимости от задачи?
Для нейроночек - не было, нет и не будет.
Сбербанк извинился, что раскупил почти все видеокарты на российском рынке
Причиной дефицита на рынке видеокарт был Сбербанк, скупавший видеокарты для своей лаборатории искусственного интеллекта.
Так что те из вас, кто еще жаждет нейроработы в рабских вымиратах, могут попробовать сбертех или где там у них эта "лаборатория искусственного интеллекта".
посоветуйте проект чтобы в резюме написать плиз
В резюме домашние проекты имеет смысл ставить, только если они в какой-то степени успешны, т.е. одобрены сообществом. Идеально это если ты опубликовал по ним научные статьи, ну тут тебе никто не посоветует, ясное дело. Гораздо слабее даже захудалого журнала или конференции, но в какой-то мере все же могут котироваться звезды на гитхабе. Тут смотри горячие темы (r/machinelearning), ищи что сегодня актуально и близко тебе, и делай. Вариантов тут много. Вот несколько примеров домашних проектов, которые вполне себе годятся для сиви, но недостаточно хороши для статей:
https://github.com/nagadomi/waifu2x
https://github.com/makegirlsmoe/makegirlsmoe_web
https://github.com/rameshvarun/NeuralKart
https://github.com/gram-ai/capsule-networks
https://github.com/andabi/deep-voice-conversion
Я вижу там только математику. Математику я могу понять, я и сам учусь на прикладного математика. У меня просто особо нет идей по тому, что делать с данными на каггле. Ну запущу я случайный лес или градиентный бустинг, ну покручу параметры или выкину слабо коррелирующие, чтобы модель не переобучилась, а что еще можно делать - не знаю.
Проектов, одобреных сообществом в принципе не может быть столько же сколько в сообществе членов, как тогда остальные вкатывались?
>Одна из самых интересных моделей последнего полугодия от одного из отцов машин лернинга
>Недостаточно хороша для статьи
Желательно чтобы было подробно все описано, без объяснений на пальцах.
Это реализация той статьи, сделанная каким-то челом, пытающимся пиарить свой стартап. В принципе так можно хорошо звезд срубить, реализовывая новье без нормальных реализаций. Но нужно угадать со статьей, чтобы не реализовывать никому не интересные вторичные работы.
>>1090888
Jaynes "Probability Theory: The Logic of Science"
Нейронки можно писать на С? Какую литературу посоветуешь для совсем уж еблана, который ничего не знает?
думаю, даже на икселе можно писать. Сверху диплернинг бук, из прошлых тредов Бишоп и прочие книжки.
В гугл не научился? https://pjreddie.com/darknet/
https://github.com/pjreddie/darknet
Один из топовых репозиториев по Си на гитхабе кстати.
Ничоси, там даже куда поддерживается. Не знал про такую либу.
Нейроночки - это software 2.0. Понятно, салаги? Так сказал Director of AI at Tesla Андрей Карпати.
Ахаха, в точку. Этот малчик оседлал волну ИИ-хайпа как боженька! На реддите проходил слух с год назад, что еще до того, как он защитился, какая-то финансовая контора сделала ему оффер на >1млн. $$$ в год. Учитесь продавать себя.
Вообще сам факт того, что твое трудоустройство обсуждают в r/ml это... ну не знаю... выше этого только быть Хинтоном.
мдя, не думал, что у теслы дела настолько плохи
Что там на реддите? Жопой чую, помойка чсвшных мрахей хуже двача.
сверху макрос на вба
сообщество все-таки плохо восприняло этот софтвеир 2.0, так что еще ничто не гарантировано
>Нейроночки - это software 2.0
Читать научись, дегенерат. Software 2.0 это не нейроночки, а решение задач нейроночками, записанное в терминах весовых коэффициентов, обеспечивающих решение задач (регрессия, классификация,...) на данном датасете. Т.е. в терминах аппроксимации зависимости выходов от входов y=f(x), Software 2.0 это набор векторов f, решающих заданную датасетом задачу.
>In contrast, Software 2.0 is written in neural network weights. No human is involved in writing this code because there are a lot of weights (typical networks might have millions), and coding directly in weights is kind of hard (I tried). Instead, we specify some constraints on the behavior of a desirable program (e.g., a dataset of input output pairs of examples) and use the computational resources at our disposal to search the program space for a program that satisfies the constraints.
>>1091115
Мамку он твою оседлал как боженька, чучело.
Вот мы разбили датасет на какое-то количество одинаковых кусков, один кусок выкинули, на остальных надрочили свою модель и потом делаем валидацию на выкинутом куске. Потом выкидываем следующий кусок, а первый возвращаем обратно и тренируем заново с теми же гиперпараметрами и так далее со всеми кусками? Я так понимаю это так работает?
Да.
Я пока для себя решил, что когда выдастся время, посмотрю записи Яндекс.Тренировок и решения от победителей на Каггле.
>в матлабе сделать прогноз по выборам региональным с помощью нейронки
Экий вы, батенька, неформал. По одному наблюдению на каждый участок делать прогноз, да еще нейронкой да еще в матлабе. Надо несколько результатов на каждый участок, но поскольку речь видимо о выборах в госдуру, то смысла делать прогноз вообще нет, за такой промежуток времени меняется вообще все. Впрочем, 65%+ для ПЖиВ на любом участке я тебе без всякой нейронки предскажу.
про бессмысленность такого прогноза я говорила преподу, тогда мне было дано задание по 2м годам сделать, 2012 и 2017, но легче мне от этого не стало. может есть аналог матлаба, но для тупеньких? мне было сказано выбрать прогу с нейронкой, матлаб был единственной знакомой. вообще точность расчетов и их правильность мне не важна, главное хоть какой-то расчет чтобы вставить в курсач
Ну если просто посчитать, чтобы хоть что-то было, тогда суть в том, что столбец за 2012 это вход, за 2017 - выход. Тогда тестовые данные - это столбец за 2017. Если не принципиально, в чем делать - делай в Statistica (только чтобы там был модуль с нейронками). Это самый простой вариант, как по мне - намного проще матлаба, . Ради одного курсача R а тем более пистон осваивать смысла вообще нет. Книжка в тему - http://gen.lib.rus.ec/book/index.php?md5=E17EF63162B31C544C3B5B3788F75789 там полно примеров. Хотя, конечно, то что тебе надо, можно регрессией в екселе сделать без всяких нейронок.
>Блин, как вкатиться в эти нейросети, уже год хожу вокруг да около, а никак не могу начать, нашел единственный пример на хабре где распознаются буквы, но мне хотелось бы чтобы нейросеть была универсальной, и не фокусировалась чем-то одном. Где такое можно поизучать, в максимально доступной форме
Не стоит вскрывать эту тему, srsly. Она на треть из ЕХАЛ ХИНТОН ЧЕРЕЗ ХИНТОН, еще на треть из ГУГЛ ОБУЧИЛ ОМСКУЮ СЕТКУ НА ЙОБАБАЙТЕ СРАНОГО ГОВНА, на треть из НЕВНЯТНЫЙ ХУЙ УЛУЧШИЛ СoТА НА 0.18% НА СКВАДЕ, и на треть из кудахтающих долбоебов с кагла. А. И еще немного школьников, клепающих очередную ПРИЗМУ, но они сильно пересекаются с каглерами. Вкатывайся, когда пена осядет.
>(желательно на плюсах, а то везде питон, а его я не знаю)
Вот щас толсто было.
>
>>(желательно на плюсах, а то везде питон, а его я не знаю)
>Вот щас толсто было.
Я кстати то-же всюду питон вижу.
Но нам же программировать хуже чем червя пидора кушать. Язык - гной.
>Я кстати то-же всюду питон вижу.
Самого главного ты не видишь, питон у него, дооооооооооооооооо
Хинтона и прочих старперов можно особо не слушать - не они AlexNet придумали, а 30 лет ебали мозг всякой хуитой. Кто-нибудь вспоминает такую хуиту, как deep belief network? Эти хуи реально занимались подобным вместо идеи ReLU слоя и дропаута.
Вот с этими капсулами та же хуйня будет - тормозная хуево работающая на видюхах хуйня, которая как-то там обходит state of art на MNIST - ебать достижение.
А я могу объяснить, почему это хуйня. Он пишет о недостатках сверточных сетей, что они не умеют поворачивать фичи - и это их фатальный недостаток. Только вот люди тоже с трудом работают с повернутыми фотками (гугли оптическая иллюзия перевернутое лицо), и ничего, при этом обучаются быстро и особо не страдают от этого.
У сверточных сетей конечно есть фатальный недостаток - один и тот же фильтр накладывается во всем поле зрения, тогда как в мозге это, очевидно, не так, и в разных местах поля зрения разные фильтры, но это не решается капсулами.
>ГУГЛ ОБУЧИЛ ОМСКУЮ СЕТКУ НА ЙОБАБАЙТЕ СРАНОГО ГОВНА
Я бы тоже о таком пиздел. Но по факту просто деньги девать некуда, а если есть конкретные идеи, то все гораздо проще.
> и на треть из кудахтающих долбоебов с кагла
Кагл вообще рак, который никакого отношения к реальным задачам не имеет.
ИРЛ у тебя всегда есть датасет любого размера, который тебе нужен, а за дрючево лишних пары процентов никто тебе деньги платить не будет, если для бизнеса 80% - ок (что вряд ли), то ебать 2 месяца мозги, чтобы получить 82% никто не будет. Бизнесу нужно или 99% или иди нахуй, а для этого нужны не йоба-спецы, а толпа макак, которая увеличит датасет в 10-100 раз.
А на кагле наоборот, датасет фиксирован, за пару дней кто-то достигает 80%, и в оставшееся время все сидят и пиздятся за оставшиеся 2%. Абсолютно тупейшее и бесполезное умение, по типу как олимпиады по программированию соотносятся с методичным кодингом.
Поэтому не смотрите на хайп и вкатывайтесь - одного 1080TI сейчас хватает для очень крутых штук, главное уметь готовить датасет и иметь терпение подбирать гиперпараметры.
Хинтона и прочих старперов можно особо не слушать - не они AlexNet придумали, а 30 лет ебали мозг всякой хуитой. Кто-нибудь вспоминает такую хуиту, как deep belief network? Эти хуи реально занимались подобным вместо идеи ReLU слоя и дропаута.
Вот с этими капсулами та же хуйня будет - тормозная хуево работающая на видюхах хуйня, которая как-то там обходит state of art на MNIST - ебать достижение.
А я могу объяснить, почему это хуйня. Он пишет о недостатках сверточных сетей, что они не умеют поворачивать фичи - и это их фатальный недостаток. Только вот люди тоже с трудом работают с повернутыми фотками (гугли оптическая иллюзия перевернутое лицо), и ничего, при этом обучаются быстро и особо не страдают от этого.
У сверточных сетей конечно есть фатальный недостаток - один и тот же фильтр накладывается во всем поле зрения, тогда как в мозге это, очевидно, не так, и в разных местах поля зрения разные фильтры, но это не решается капсулами.
>ГУГЛ ОБУЧИЛ ОМСКУЮ СЕТКУ НА ЙОБАБАЙТЕ СРАНОГО ГОВНА
Я бы тоже о таком пиздел. Но по факту просто деньги девать некуда, а если есть конкретные идеи, то все гораздо проще.
> и на треть из кудахтающих долбоебов с кагла
Кагл вообще рак, который никакого отношения к реальным задачам не имеет.
ИРЛ у тебя всегда есть датасет любого размера, который тебе нужен, а за дрючево лишних пары процентов никто тебе деньги платить не будет, если для бизнеса 80% - ок (что вряд ли), то ебать 2 месяца мозги, чтобы получить 82% никто не будет. Бизнесу нужно или 99% или иди нахуй, а для этого нужны не йоба-спецы, а толпа макак, которая увеличит датасет в 10-100 раз.
А на кагле наоборот, датасет фиксирован, за пару дней кто-то достигает 80%, и в оставшееся время все сидят и пиздятся за оставшиеся 2%. Абсолютно тупейшее и бесполезное умение, по типу как олимпиады по программированию соотносятся с методичным кодингом.
Поэтому не смотрите на хайп и вкатывайтесь - одного 1080TI сейчас хватает для очень крутых штук, главное уметь готовить датасет и иметь терпение подбирать гиперпараметры.
По-моему, проблема не в инструменте, а в теме проекта. Лучше бы ты взяла какой-нибудь контест с каггла и прочитала к нему решения, люди зачастую выкладывают. А про выборы как-то маловато данных.
Пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим, пилим, заносим...
Задрочил более-менее теорию, сделал пару классификаторов жанров фильмов, пару распознователей на конволюшенах, но это несколько искуственные примеры.
Хочется сделать что-нибудь более приближенное к реальному миру. Так может по аналогии чего-нибудь придумаю.
Рекомендательные системы. По слухам, после внедрения фич "покупатели, которые смотрели это, смотрели также и вот это", выручки больших интернет-магазинов возрасли в несколько раз.
А что там используют какой-то рокет саенс стейт оф зе арт? Я думал там примитивная хуйня по типу корреляции пирсона с некоторыми дополнениями.
>пилим, заносим, пилим, заносим
Это мне понятно.
Мне непонятно, причем тут питон.
Сириусли, я пытаюсь тебя понять.
На такие «проекты» нанимают исключительно молодых, и объяснения этому нет.
Я не понял твоего вопроса, но ты можешь начать погружение в тему, погуглив recommendation systems.
тему я увы менять не могу, сроки сгорели еще в начале ноября, поэтому должна хоть что-то сделать с этими выборами
ОП первых двух тредов год назад.
Там было нерелевантное, устаревшее на десятилетия говно мамонта, которое все равно никто не будет читать. Теперь остался только топчик.
Надо быть в теме.
То, что вы называете хипстерством, это суть прогресс, который отбрасывает старые знания, когда появляется нечто лучшее. Иногда это происходит стремительно, как сейчас, и то что вчера было основами и вершиной прогресса, сегодня валяется, забытое, на помоечке. То, что вы потратили годы на изучение R, нечетких моделей, или SVM, никак не меняет ситуацию, и если вы будете вместо развития бухтеть, что мол хипстеры все заполонили и не чтят дидов, то так и останетесь на помоечке вместе с вашими любимыми технологиями.
Ну а что сейчас на острие трендов?
Я сейчас смотрю видеокурс стенфорта по сверточным сетям, годнота, помню года 3-4 назад, когда впервые столкнулся с нейроночками силился понять суть бэкпропегейшна и нигде нормального объяснения не было ПОЧЕМУ ЭТО РАБОТАЕТ, а тут по полочкам разложили за час. Но и там уже походу слегка устаревшие вещи я смотрю уже всякие caffe 2 появились и т.д.
Что сейчас самое hot?
Где брать современные научные публикации по машинлернингу?
Какие фреймворки юзают?
А ничего, что вся нейронная сеть - это перемножение тензоров? И те самые линейные модели, которые ты хуесосишь - кирпичики, из которых сделана нейронка?
В шапке базовый вкат, далее нужно следить за статьями, смотреть что обсуждается, на чем делают SotA.
ПОЧЕМУ ЭТО РАБОТАЕТ до конца не знает никто. Вся теория, столетиями разрабатываемая статистиками, отправилась стройными рядами на помоечку, т.к. по классическим представлениям модели с таким диким количеством параметров должны моментально заоверфитить датасет. Этого не происходит, вместо этого нейроночки учатся обобщать, и на практике оказалось, что сеть можно расширять неограниченно, при этом обобщение обычно улучшается, вопреки предсказаниям, которые ты можешь прочесть у Бишопа.
Объяснение этого всего по-хардкору есть в deeplearningbook.
Самый хот сейчас по моим представлениям: GANs, reinforcement learning, differentiable neural computer. Это все меняется день ото дня, например последние несколько дней много обсуждения капсул Хинтона. Неизвестно, забудут ли их на следующей неделе, или через год забудут все остальное, а останутся только капсулы.
Из фреймворков на данный момент на троне питорч, претендует на трон тензорфлоу.
А что если я скажу тебе, что
- ты не знаешь, что значит слово тензор
- в книге Бишопа это слово не употребляется
- 99% теории о линейных моделях, изложенной у Бишопа, применимо исключительно к линейным моделям и не работает в нейроночках
- нейроночка сделана не из линейных моделей
>Это все меняется день ото дня, например последние несколько дней много обсуждения капсул Хинтона.
А где ты все эти обсуждения читаешь?
>- 99% теории о линейных моделях, изложенной у Бишопа, применимо исключительно к линейным моделям и не работает в нейроночках
1. Кто тебя заставляет читать из всего Бишопа только линейные модели?
2. Линейные модели это половина продакшена, свои фамильярные кукареки прибереги для кружка каглеров.
Респект.
Архитектуры разнятся, но принцип ты понял верно. Выход у дискриминатора, естественно, один - это сигмоид, выдающий оценку вероятности того, что картинка настоящая.
>32D тензор
три 2D тензор
>генерации будет выход 0.5 в большинстве случаев
точнее не 0.5 а выше 0.5 т.е. сеть не отличает от натуральной картинки(1-натуральная картинка)
Это как раз не важно. Мы не ждем, когда дискриминатор будет выдавать какие-то определенные значения. Критериев сходимости для GAN в принципе нет, насколько я знаю. Также разработано много вариантов функций потерь.
>ПОЧЕМУ ЭТО РАБОТАЕТ до конца не знает никто. Вся теория, столетиями разрабатываемая статистиками, отправилась стройными рядами на помоечку,
На помоечку отправляются хипстеры с коворкингами. Конечно, вы не знаете, почему это не работает, потому что вы дегенераты, считающие устаревшим все, написанное до ноября 2017 года. А на самом деле, никуда вы не уйдете от теории статистического обучения Вапника, которая объясняет работу всех вообще возможных алгоритмов машоба. Но дебилы Вапника не читали, потому что все равно не осилят, отсюда и кукареканья "никто не знает как это работает". Вы себя за всех-то не выдавайте.
Да.
Ну вот тут ты не прав, бро. Хипстеры хуесосы, но VC-теория – штука непрактичная и мало что объясняет. Ну или приведи пример, где бы хотя бы VC-размерность нейронки как-то корректно оценивали.
Object localisation
>приведи пример, где бы хотя бы VC-размерность нейронки как-то корректно оценивали.
По перцептронам полно таких работ. Насчет чего-то более другого - а кто будет этим заниматься? Хипстеры? Так там мозги нужны. Дело в том, что нет понимания, что все алгоритмы машобчика считают примерно одно и то же. И подобные >>1093654 кловны несут заведомую хуйню, кукарекая, что все эти новомодные манянейроночки делают что-то отличное от аппроксимации функций от многих переменных суперпозицией частичных функций от пары переменных, и что все это ололо магия, которую придумали в этом году, а все написанное до 2017 нинужно. Это же просто смешно.
>аппроксимации функций от многих переменных суперпозицией частичных функций от пары переменных
Сказочный долбоеб. Ну и что? Все алгоритмы могут быть исполнены с помощью машины тьюрига, это еще в 30 годах придумали. И что теперь, не нужно было развивать языки, операционные системы, придумывать различные специализированные алгоритмы? Много маняматематики создали практически применимых вещей?
может пару тысяч отфотошопили
Возьми да загугли.
А может, ты просто возьмешь и прочтешь шапку? Могу дать тебе персональные уроки, 5 биткоинов в час. Будем вместе читать deeplearningbook вслух и с выражением.
> Все алгоритмы могут быть исполнены с помощью машины тьюрига, это еще в 30 годах придумали.
И хуле тогда пиздеть про какую-то магию хипсторских манянейроночек? Это элементарная математика, не идущая за пределы теории Вапника. Развитие никто не отвергает, просто нужно понимать, что делаешь. А не закатив глаза кукарекать что статистика хуйня, математика хуйня, все вообще хуйня кроме хипстерских пейперов за последний месяц. Шляпу соси с такой пропагандой.
Обосновал тебе за щеку, проверяй.
Распознавание номеров машин. Номеров знаков.
Распознавание и парсинг сканированных документов.
1) fasttext. хуе-мое, у нас только расстояния между словами, с фразами никак - для этого есть word's mover distance, для R оно реализовано в виде пакета text2vec.
2) text2vec. хуе-мое, у нас только отдельные слова, фразы итд не завезли.
3) word2vec. в R вообще не представлен как нечто цельное (угадайте, что выбрасывают во всех реализациях - да, работу с фразами).
4) word2vec, оригинальный код. выпилен, но доступен на гитхабе (ничего не вырезано, не перекодироавано!). В примере использован левый датасет (100мб, первый миллиард слов из педивикии), в оригинальном пейпере другой (3,5гиг, гугловский, вроде обработанный дамп чего-то из новостных источников). Итого - пикрелейтед, меньше 2% точности.
Да вы что прикалываетесь штоле?!
>NLP
добро пожаловать в мир ии, там кругом жопа, если ты конечно же не маняпетухатик-теоретик. нахуй тебе векторное пространстао? начитался всякой хуиты и удивляешься, что она не работает
Я не знаю где там про магию пиздят? Про то что это обычный аппроксиматор в каждой дырке объясняют. Но хуже нейроночки от этого не становятся.
Если ты хочешь чтобы было строгое мат. доказательство того что такая-то нейроночка с такими то параметрами распознает песьи анусы с такой-то точностью то ждать тебе придется очень долго. С другой сторны ты же пользуешься софтом, операционками, двачем, в котрых и не пахнет математическим обоснованием того что это работает и магией это не считаешь.
Ну вот я знаю и статистику и математику, и твою манятеорию вапнику, однако из практической пользы оно только удовлетворяет мое любопытство и помогает легче читать особо хипстерские пейперы.
А вот несколько пейперов где наглядно показывают как решить конкретную задачу пользы дают не в пример больше и внезапно там тоже никакой магии, все расписано почему были приняты такие-то решения. Я не тот анон, который засирал математику, но соснут шляпу как раз математикодрочеры.
>нахуй тебе векторное пространстао? начитался всякой хуиты и удивляешься, что она не работает
Тебе известны другие варианты представления слов для нужд NLP? Да, там ровно два стула - dtm (document-term matrix) и tcm (term co-occurence matrix). Именно с ними (или с их взвешенными вариантами типа tfxidf) работают все алгоритмы.
>Суть в том, что мне нужен хоть какой-то метод рассчитывающий расстояние между фразами например, в векторном пространстве.
>в виде либы
Так тебе метод нужен, или либа?
Я с вас, вкатывальщики, немножко в ахуе.
> там кругом жопа
Мне как раз нужно публиковаться. Давай, дай мне 10 тем котороые надо развить.
>Тебе известны другие варианты представления слов для нужд NLP? Да, там ровно два стула - dtm (document-term matrix) и tcm (term co-occurence matrix). Именно с ними (или с их взвешенными вариантами типа tfxidf) работают все алгоритмы.
Какой извращенный бред.
Как изысканно.
>А как же гугл
у них статистические методы, прчем все это говно более менее работает только для такого примитивного языка как английский, а вот с тем же русским они уже сосут, флексии и все такое.
Ну в общем да, гугл не торт. Ну и ладно.
Накатал простыню, но удалил.
Так-то да, семантическую схожесть считать очень трудно.
>пруфы
Я же даже название алгоритма написал - word's mover distance. Алсо, LSA в это может еще с 90-х годов.
Ты так сказал? Почему ты такой тупой? Ты в госдуме работаешь?
Банальный doc2vec не пробовал? В Gensim на питон есть, про остальное не знаю.
Можешь придумать что-то на основе TextRank, но будет медленно.
Или очередной банальный word2vec, k-means кластеризацию и там попробовать посмотреть на расстояния до кластеров?
Еще я сейчас погуглил - на R есть tensorflow, а написать word2vec, особенно не самый быстрый, не так уж и сложно. Я уверен, что он уже реализован на гитхабе при этом.
А еще с тензорфлоу ты можешь всегда взять сделать простую сиамскую нейроночку, и давать на выходе - одна и та же фраза или нет, как многие делали в quora question pairs. Выходная сигмоида (или другая функция) и будет твоим расстоянием.
Хотя лет 5 назад, когда я в последний раз запускал R, он у меня валился уже на csv в 100мб. Не уверен, что R возможно использовать, если они ничего не поменяли.
А в LSA матрицы разрастаются до сотен гигабайт на больших выборках (хотя и не очень даже и больших), поэтому и не работает, но, наверное, ты и сам это знаешь.
Ему нужно именно СЕМАНТИЧЕСКОЕ расстояние.
Что как бы предполагает большую базу данных для сколь нибудь вменяемых результатов.
>Netflix Prize прошел 10 лет назад.
И чо? Рекомендательные системы везде сейчас, и везде нужны. Уже скоро венда будет предлагать "люди, которые запускали эту программу, запускали так же и вот эти".
Алсо, то, что выиграло нетфликс прайз это неюзабельное нагромождение моделей.
>а семантически - ровно одна и та же хуйня
Лол нет.
>Задача - алгоритм, который мог бы выявить сходство именно подобных словосочетаний.
word's mover distance
Инвалид ты такой этакий.
Казалось бы а чего ты хотел для общего случая. Чтобы слово "иллинойс" было близко к "чикаго" во всех подобных фразах, а в других фразах было близко к чему-то другому?
Какими-то плясками с бубном вы тут занимаетесь, ребята.
залётный математик
>Подкину сюда же
https://www.kaggle.com/c/text-normalization-challenge-russian-language#description
ебать какое дно этот ваш гугл
это соревнование действительно странное, учитывая, что данные аннотированы автоматически и неправильно. Но гугл большая компания, у них куча денег, и они просто дают гранты.
К самому гуглу, думаю, эти люди имеют опосредованное отношение.
просто эти долбоебы узнали про падежи
https://www.semanticscholar.org/paper/Lightly-supervised-learning-of-text-normalization-Sproat/40a11a5a686d2580935d263f86b0b6d74758c89c
з.ы. вполне себе проффесор из гугла
https://research.google.com/pubs/RichardSproat.html
я спокоен за нлп, эти клоуны не затмят моего гения
Есть torch, он топ. Часто делают на питоне, потому что датаслесарисаентисты математики, а не кодеры, и не хотят разбираться в программировании. И что характерно, это правильный подход.
Так питон - это типа сахар сверху,, а сами нейронки конвертируются во что-то более низкоуровневое.
Я читал какое-то исследование про то что твою мамку.
Найти прямоугольник на картинке быстро и эффективно это к каскадам. Найти что-то сложное - к нейронкам.
Смотри по тегу image segmentation. Здесь объясняются текущие топ архитектуры: http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review
Это и есть стандартный подход компьютерного зрения.
Суть ДИПЛЕРНЕНХА одним предложением.
Два чаю, годная статься.
Ребзя, нормальный ли курс на степике по нейросетям ? стоит ли с него вкатываться
stepik[точка]org/course/401/syllabus
Да, он простенький и приятный. Не то чтобы после него ты сделаешь пикрил, но много нового узнаешь.
Прочитал, что машинный интелехт использует для принятия решения предыдущие наблюдения, и из каждого наблюдения берёт такие-то параметры, например, цвет, форму, размеры и тд. Но как качество переходит в количество, то есть как программа после N наблюдений должна определить нечто, что подходит под общее правило описания объекта (абстракцию), но может быть непохожим на предыдущие наблюдения ?
Если есть какие-то скрытые зависимости между параметрами, которые ты используешь в обучении(цвет, форма, размер и т.д.) то методы машоба могут найти эти зависимости в явном или неявном виде.
На языке маняматематики это как правило выражается тем что ты пытаешься найти глобальный минимум функции потерь в многомерном пространстве. А тренировочные данные(в данно случае все предыдущие наблюдения) определяют рельеф функции в этом пространстве.
Любой машоб это аппроксимация функций зависимости выходов от входов, либо группировка наблюдений по степени их схожести, например по минимуму расстояния между векторами в евклидовом пространстве.
>>1095259
> На языке маняматематики э
Уебывай, чучело. Кроме математики там нет ничего, а ты уже сто раз показал, что не в теме абсолютно.
>ты уже сто раз показал, что не в теме абсолютно.
Иди галоперидольчику ебани сперва.
>Кроме математики там нет ничего
Хех, не более.
Есть на русском языке мануалы?
Сомневаюсь что меня куда-то возьмут с пидорахошарагой.
А заного 4 года бакалавра брать как-то ну его нахуй.
В некоторых странах бакалавриат всего 3 года и ты можешь перезачесть часть предметов если у них примерно одинаковое название, описание и количество часов/кредитов ECTS.
Программа: https://ideone.com/36rgGb
https://ideone.com/36rgGb
Я не могу запустить эту программу, потому что выходят следующие ошибки, которые показаны в прикрепленной картинке. Подскажите, пожалуйста, как справиться с данными ошибками.
Я пробовал всяко преобразовать X и Y, то .values, то в array, то в asarray, но всё-равно ошибка не дает запуститься, только ошибка меняется на Unknown label type: 'continuous' using sklearn in python.
Помогите, я ничего не понимаю, это ж пост из хабра, раньше же эта прога, наверное, как-то же работала.
Гугли ошибку она в конце вывода.
>пост с хабра
Хабр - кусок говна. На сайте сайкита же есть примеры кода для разных методов, не?
Я в английском - кусок говна, поэтому я не могу воспользоваться англоязычным сайтом.
Я гуглил на английском, я мало что понял, ибо я плохо знаю английский, вроде, там в трех ситуациях советовали 1).value поставить, 2)в 1D преобразовать asarray-ем и 3)преобразовать с помощью помощью array()
Я попытался и там получилась другая ошибка Unknown label type: 'continuous' using sklearn in python.
Ну и все, я облажался по полной.
Тебе 10 лет и у тебя есть суровый батя. Ты хочешь, например, заниматься математикой, а он заставляет ходить на какой-нибудь футболобаскетбол. И если вдруг палит, что ты вместо спорта опять своими уравнениями в частных производных балуешься, то неистово пиздит тебя с коэффициентом, пропорциональным количеству пропущенных занятий. Но ведь нельзя же без математики, а то совсем бревном останешься! Поэтому ты начинаешь совмещать спорт и свои анальные заигрывания с абстракциями.
Не стоит вскрывать эту тему.
А есть что?
Так есть-то что? Заебали советчики с миллионами долларов в шкафу, для которых это не проблема.
Получай стипендию, проси больше стипендий, еще больше стипендий, и если ты девушка - то есть специальные стипендии для тян в технических науках от успешнотян с деньгами. А еще есть студенческие кредиты.
Олег, ты?
for i in range(Ytrn.shape[1]) - вот тут что происходит? Что такое Ytrn.shape[1]? Это же число, как ты по нему итерируешься?
Щас бы визу дали без счета в банке или гранта.
В Германии вон требуется минимум 9к евро на счету для учебы.
Если у тебя денег нет и ты не можешь их заработать - нахуй на дваче срёшь об этом? Они так не появятся же. Или ты думаешь, что здесь дадут каких-то секретных советов?
Я смотрел видео и там нейронка подобрала полином 3 степени для синусоиды. Подскажите, для экспоненты степень какая подойдет?
>дравствуйте, скажите, пожалуйста, полиномом какой степени можно более-менее смоделировать экспоненту? Степень желательно как можно меньше.
>
>Я смотрел видео и там нейронка подобрала полином 3 степени для синусоиды. Подскажите, для экспоненты степень какая подойдет?
1 степень.
Спасибо за вопрос, взлольнул.
Нет, просто заебали охуительные советы вида "зачем тебе стажерство Яндекса, просто поступи в MIT".
Хороший совет, вообще говоря.
В чем смех? Я не знаю математики, и просто хочу узнать минимальную степень, которую можно задать полиному для tensorflow, чтобы моделировать экспоненту.
Угадать степень я не могу, ибо помимо степени надо ещё и learning_rate и коэффициенты для регуляризации угадывать.
Поэтому интересуюсь у анонимуса
1) смотришь на график экспоненты
2) профит!
Ты из джаваскрипт-треда сюда протек, что не знаешь, как выглядит экспонента?
Тогда я могу выбрать слишком большую степень, потому что могло оказаться, что можно было выбрать намного меньшую, если удачно подобрать learning_rate и коэффициенты для регуляризации.
Эффективнее узнать у знающих людей, чем ошибиться и никогда об этом не узнать.
>В чем смех?
Экспонента моделируется экспонентой.
>Я не знаю математики, и просто хочу узнать минимальную степень, которую можно задать полиному для tensorflow, чтобы моделировать экспоненту.
1 степень.
Первая степень.
По буквам нужно повторять?
Подучи теорию, пес.
А вообще в случае со сраной экспонентой ты бы мог добавить пару строчек чтобы пробежать по всем степеням и посмотреть где меньше ошибка.
>Экспонента моделируется экспонентой.
Допустим я не знаю, что это экспонента и ищу полином с какой-то степенью.
Первая степень - это такой троллинг насмехающийся о том, что я написал слово "минимальная"?
>где меньше ошибка.
Самая меньшая ошибка может быть у переобученной модели с слишком большой степенью
Да и бегать по всем степеням тоже от удачи зависит, ведь к каждой степени надо будет свои learning_rate и коэффициенты для регуляризации подбирать. Можно ошибиться и не узнать, что какая-то степень могла бы быть удачной
в рашке выше конкуренция, чем в штатах или европе, так как у нас образование и знания получить легко, бабок ни у кого нет и все готовы за еду работать
Видел, квадрат похож, если половину графика удалить и ветвь подкорректировать.
Куб тоже чем-то похож, если часть отсечь.
Короче, я не знаю, не могу понять как тензорфлоу отсечет не нужное, поэтому мне остается только спрашивать у вас, ибо вы же умудренные многолетней практикой, а я только сегодня начал.
Спасибо
>>Экспонента моделируется экспонентой.
>Допустим я не знаю, что это экспонента и ищу полином с какой-то степенью.
>Первая степень - это такой троллинг насмехающийся о том, что я написал слово "минимальная"?
Нет, это не троллинг, тебе нужна первая степень.
Синяя кривая - то что должно получиться. Оранжевая прямая -то выходит при первой степени
>>1096940
>>1097008
Ты хуйней какой-то сейчас занимаешься.
Подтяни теорию минимально, а потом уже берись за код @ задавай вопросы. Потому что сейчас у тебя вопросы что-то на уровне где поставить точку запятой в проге на си.
Умудренные тут сидят или нет, но врядли у кого-то будет желание сидеть и разжевывать тебе все как первокласснику.
Развернул её в другую сторону, по форме тоже самое
>Синяя кривая - то что должно получиться. Оранжевая прямая -то выходит при первой степени
Что-то не так делаешь значит.
>>1097018
Вроде есть какое-то некачественное обучение, при какой-нибудь 20-30 чуть больше походит на синюю. К чести, первой степени, оранжевая линия внизу здорово совпала с синей.
Ну это неважно, ибо всё-равно я не знаток тензорфлоу и я не мог с ходу качественно всё сделать.
Вообще всё о чём я интересовался - это о степени полинома, не хотел так много писать здесь ненужные подробности.
легче, чем в штатах. А чего сложного в образовании в рашке? Корочку получает даже пьяный зомби, а бишопа прочитать и в интернете можно.
>А чего сложного в образовании в рашке?
Коррупция, глупость, бюрократия для бюрократии.
>Корочку получает даже пьяный зомби
Мы же об образовании говорим, а не о корочке.
А так да, пьяные зомби ее легко и получают.
Да, конечно. Ведь сейчас каждый богач закодит нейронку на тензорфлоу с закрытыми глазами.
Поднимаешься на ту ступеньку соц. лестницы, которая в ближайшем будущем еще будет нужна и ебешь систему в рот и раздвигаешь булки навстречу прогрессу.
хочу майнить писечки
Хочу шлепать других мужиков обмазанных маслом.
Ни один машинный обучатель не умеет погромировать.
Тонкая пикча. А про шифрование не понял. Что должно быть нельзя скопировать? Тренировочные данные?
Слишком абстрактно говоришь. Ну не подавай свое лишнее на вход, и не будет оно в кашу смешиваться.
У того кто может написать такую нейронку нет проблем с тем чтобы раздевать девушек.
дай базу данных, сделаю
Как коммерческий проект - мутновато с законностью и монетизацией.
Как проект для сиви - слишком девиантно, мало кто оценит, может отпугнуть работодателя.
Просто ради фана - слишком трудно.
Но наверняка кто-нибудь сделает кривоватую программу в ближайшие годы. Может, уже сделали - надо гитхаб прошерстить.
Спасибо, дорогой :3
Крупнейшие технологические компании делают ставку на искусственный интеллект, разрабатывая голосовых помощников и самоуправляемые автомобили. Однако специалистов в области искусственного интеллекта не хватает. Чтобы заполучить их, IT-гиганты готовы выплачивать даже начинающим разработчикам нейросетей суммы, поражающие воображение. Как ни странно, это только увеличивает дефицит ИИ-кадров.
Ждите волну вкатывальщиков.
В сраной нет айти-гигантов, а сумма, поражающая воображение, это 1000$/мес. В Америке, Индии волна уже пошла вообще-то.
Студенты вон за 100 баксов готовы жить на галерах ради САЛАРИ ГРОСС когда-нибудь и НЬЮ ЭКСПИЕРЕНС.
Ты переоцениваешь способности среднего российского студента. Там линейная регрессия уже вызывает перенапряжение межушного пространства и панику.
>линейная регрессия
Кто ещё переоценивает. Перенапряжение и панику вызывают уже численные методы, а статистика - это вообще ебучий рокет сайенс.
мимостудент
>Перенапряжение и панику вызывают уже численные методы
Потому что их хуево преподают. Помню нам сразу хуярили по лицу формулами какого-нибудь метода зейделя и кривым куском кода на паскале с четырьмя вложенными циклами.
Если нормально объяснять то и методы, и статистика - несложная занимательная прогулка, но увы, это не про шараги даже топовые
Кек. Я как раз сейчас прохожу курс по машинке в ШАДе.
Каждый клоун с ФКН проходит майнор по машинке - а с этого года в вышке вводится data-culture, в результате чего через пару лет каждый обоссаный гуманитарий будет знать машобчик хотя бы на энтри левеле.
В то же время хуи из яндекса утверждают, что хайп на машобчик сдуется года через четыре - текущие алгоритмы уже выжимают из данных максимум (оставшиеся 1-2% точности в индустрии никого не ебут). В теме останутся только высокоуровневые теоретики и ограниченное число макак, которые будут крутить ручки гиперпараметров.
Вообще, эти ваши нейроночки - ГРАФЫ ВЫЧИСЛЕНИЙ - дно полное. Банальные композиции линейных и нелинейных функций. С ИИ эта хуйня и рядом не валялась.
>Вообще, эти ваши нейроночки - ГРАФЫ ВЫЧИСЛЕНИЙ - дно полное. Банальные композиции линейных и нелинейных функций. С ИИ эта хуйня и рядом не валялась.
Ну ещё бы, маняматику гамалогий и тапалогий не завезли, значит ненужно.
Хуй знает, я привык к почти полному самообразованию - не понимаю, зачем преподавать числаки, которые можно самому разобрать на раз, это ж не матан с алгеброй.
Ну вот когда я сам попробовал освоить нормально разные вещи, которые преподавали в шараге и от которых у меня было отвращение, понял что самому проще и лучше освоить, матан и алгебру в том числе. Универ по сути только саботировал мое обучение.
>оставшиеся 1-2% точности в индустрии никого не ебут
>робомобиль давит одного пешехода из сотни
смотри на канале spacex презентацию о симуляции процессов в двигле, используют адаптирующуюся сетку, возможно, в этом направлении стоит копнуть
перцептрон сосёт, попробую реализовать пикрелейтед
Все еще лучше пидорахи за рулем.
>ограниченное число макак, которые будут крутить ручки гиперпараметров
Ими уже крутят нейроночки.
Робомобили ездят на длинных лесенках ифов, мария, попуститесь.
Двачую адекватного анона. Это долбоеб с шизтеха, биоробот с туннельным зрением, смейтесь над ним.
Я не про это, а про то, чем упомянутый ИИ отличается от МЛ и набора ифов.
Никто не знает. Вполне возможно, что через пару лет текущий подход выйдет на плато и не сможет предложить ничего нового и все маняфантазии про замену юристов и погромистов на роботов разобьются о твёрдые скалы "Хуй его знает" на следующие 50 лет.
Ничем, искусственный интеллект, по определению, это то, что схоже с мыслительным аппаратом человека, а мозг человека это и есть нейронка и набор ифов.
>Ну вот, а что тогда подразумевал предыдущий ответчик про сильный ИИ >>1101393 ?
Сильный ИИ - универсальный ИИ, способный учится чему угодно как угодно. Другими словами, приближенный к способностям человека.
Интеллект - способность решать нетривиальные задачи(нелинейной оптимизации).
Вот, что я подразумевал.
Мозг человека не такая нейронка, которая в tensor flow. Кароче это всё маняпредположения, по факту никто не знает как мозг работает. Может ещё скажешь, что машина Тюринга ничем не отличается от мозга человека патамушта наборв ифов?
>>1101598
Ну как видишь тут фантазёров хватает, которые путают ИИ уровня человека и машобчик.
Господи, в рот я ебал все эти библиотеки, хуй что установишь, вечно какая-то ебала с ними, нахуй так жить вообще. Ебаный тензорфлоу, ебаный теано, ебаное все.
>Но его же пока не существует. Зачем сравнивать рабочие методы с мечтами?
Я не понимаю того, что ты говоришь, перефразируй.
Первые раза 3-5 это боль, зато когда немного поебешься и привыкнеш, сможешь любую хуйню ставить, хоть на расте с мокрописьками и без ос.
>Мозг человека не такая нейронка
Так и "нейронные сети" это не одна конкретная сеть, а набор разных подходов.
>по факту никто не знает как мозг работает
Мы знаем то что мозг состоит из клеток, сообщающихся сигналами, это достаточно для абстрагирования. То как именно устроены и работают отдельные его части мы конечно же не всегда знаем, но мы и не можем заранее ответить на вопрос как именно будет обучаться и работать от балды нарисованная нейронка.
>Мозг человека не такая нейронка, которая в tensor flow. Кароче это всё маняпредположения, по факту никто не знает как мозг работает. Может ещё скажешь, что машина Тюринга ничем не отличается от мозга человека патамушта наборв ифов?
Нейронные сети в IT имеют мало отношение к мозгу человека. Это всеобщее знание не требующее лишнего упоминания.
>Мы знаем то что мозг состоит из клеток, сообщающихся сигналами, это достаточно для абстрагирования
А вот и нихуя.
Мозг - это много нейронов. Мы знаем, как работают нейроны, и уже можем составлять из них простые схемы.Но до сложности мозга еще очень далеко, а САПР нет, как и нет понимания архитектуры схемы мозга.
>>1101954
Любому дауну это понятно. Тебя траллируют же.
Ты про его эфир на радио про ИИ? Мне показалось, что он набросил, как обычно. Да и отчасти правильно сказал, что долбоёбы в сми подняли дикий ажиотаж вокруг сраных алгоритмов, создав иллюзию ебического прорыва в ноуке для дебилов.
решил я написать приложение на php с использованием reinforced algorythm.
теории в инете дохуя, но мне нужен пример рабочего кода.
Гуглю. И что же? Сплошные примеры на питоне с использованием готовых либ типа нампи и тензоверфлоу!
И нахуй так жить? Я хочу писать на пхп или любом другом языке, почему меня принуждают к питону и готовым либам??
>Я хочу писать на пхп или любом другом языке
<b>Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 43 bytes) in /var/www/user/data/www/site.ru/GameEngine/Database/db_MYSQL.php on line 2986</b>
>Схуяли?
Стоит ли вообще с тобой разговаривать?
>Мозг - большая нейронка.
Мозг из живых клеток состоит.
Функционирование этих клеток в отдельности, и в целом, не имеет ничего общего с нейронными сетями в IT. Количество этих самых нейронов играет тут последнюю роль.
Ты же биолог какой-нибудь, да? Что ты вообще делаешь в /pr/?
Мы знаем, какую функцию выполняет нейрон, этого достаточно. Тысячи раз тут приводили аналогию: никто не рассчитывает аэродинамику всех чешуек пера, и не воспроизводит их, чтобы сделать самолет.
ну ахуеть вообщем. и что мне теперь уэб на джанге писать7
>Мы знаем, какую функцию выполняет нейрон, этого достаточно.
Вы? И какую-же?
> этого достаточно. Тысячи раз тут приводили аналогию: никто не рассчитывает аэродинамику всех чешуек пера, и не воспроизводит их, чтобы сделать самолет.
Работа живого нейрона отличается кардинальный от сумматора с нелинейной функцией(искусственного нейрона).
Ты бредишь, фактически ты утверждаешь.
>Мы знаем, какую функцию выполняет поезд(перевозит грузы), этого достаточно чтобы построить континентальную систему грузоперевозок на лошадиных упряжках по бездорожью.
Нет, подобного знания принципиально недостаточно.
Если ты не умеешь кодить, то сначала научись кодить, шапка этому не научит. Из матеметики нужен линал, матан, базовый матстат.
Если кодинг на питоне представляет для тебя какую-то проблему, то твой кодерский уровень недостаточен.
Ангем
попытался вот отсюда переписать алгоритм с жавы на пхп, но соснул с массивами.
чет не вдубляю как их в пхп использовать.
мой код:
https://ideone.com/XedDk5
Нет и если ты думаешь, что сможешь освоить машоб по одной книге, то он не для тебя.
Кто хочет серьезно вкатваться на дваче такой хуйни не задает. Просто забей, машоб для полубогов, обычным рандомхуям можно даже не пытаться.
мне на мозг наплевать, так как при таком количестве нейронов даже обычный персептрон забрутфорсит и даже аллаха, но на вики написано, что relu выполняет функцию нейрончиков человеческих
ну, и повторять мозг вообще не нужно, что как бе естественно
Ты ещё не научился писать фронтенд и бэкенд на разных языках? Не рано тебе в машобчик?
>фактически ты утверждаешь
Фактически утверждается что сложность работы мозга может быть воссоздана из таких же элементарных нейронов (ну или "нейронов" если это задевает твои религиозные чувства), при этом конкретные технические детали и различия (как, например, то что человеческие нейроны из мяса, а не из абстракций в коде) большой роли не играют.
По-моему, ты свято веришь, что нынешняя теория нейронок верна, что уже само по себе не есть хорошо.
бэкенд только на похапе пока что писал.
просто не знаю, как-то передергивает от джанги. сразу всплывают перед глазами голодные студенты из бауманки.
>Достаточно ли будет для позиции джуна, написанного в той книге?
Теории там достаточно. Изложено в принципе все, кроме самых-самых последних достижений. Кроме этого нужно иметь хотя бы минимальную практику (тоже см. шапку), ну и если нет иного базиса (профильное образование, статьи), то свой проект крайне желателен (фактически необходим, и хороший).
Посмотрел штук 20 вакансий на indeed. Почти все требуют phD или master degree. Ну и как тут быть?
Дрочить на обочине пока умные дядьки не спустят нам, черни, либы для тупых с конкретными конфигурациями сетей.
Рашкинские ноунейм мастера подойдут? Я за два года гораздо больше сам освою чем буду лизать анусы докторам наук и дрочить устаревшее говно из 70х
Вряд ли, есть шанс, что топовые кафедры в топовых вузиках уважают, типа математиков из вышечки, а вот компутер саентунов могут и в хуй не ставить, если эти кафедры никак себя не проявили.
Формально подойдут, рашкинские все ноунейм. Даже МГУ никто не знает.
ПхД я настоятельно рекомендую делать за границей. Рашкинский несовместим формально, плюс все знают что >рф 2к17 >наука.
В рашке вообще разве есть кафедры камплюхтер ссаенса? Даже само словосочетание никак на канцелярский язык не переводится.
Компуктер сайенс это не математика и не сайенс. И даже от компуктеров далеко.
>из таких же элементарных нейронов
>элементарных нейронов
>элементарных
Биологические нейроны очень не элементарные.
>>1102495
>По-моему, ты свято веришь, что нынешняя теория нейронок верна
Ну, нейробиология и биохимия продвинулись довольно далеко.
До раскрытия всех тайн еще конечно далековато, но кое какие представления имеются.
Опять таки, нелинейный элемент с сумматором не имеет никакого отношения к живым нейронам.
От живых нейронов в компьютерных нейронных сетях только одно название.
Третий поток можно назвать CS, но на факультете в целом 90% программы это математика. От кафедр там пара курсов и спецсем, а в дипломе может быть большая вариация тем. Может быть упор на программирование, или на математику, на любой кафедре.
>Ты всё повторяешь и повторяешь свой тезис. Подтверди уже чем-нибудь.
Предлагаешь мне, тебя убеждать?
Приведу ссылки на описание работы нейронов, сразу после того, как ты раскроешь основания для собственных суждений.
На какие исследования ты опираешься? Выше говорил о функции нейронов - какова их функция?
>Теории не могут быть верными или неверными
Нихуя себе заявочки, я посмотрю ты спец. по науке. Т.е. ты не можешь сказать верна ли частная теория относительности?
>Ты всё повторяешь и повторяешь свой тезис. Подтверди уже чем-нибудь.
Подтверди уже свой тезис, что relu это тоже самое, что нейрон в мозге человека.
>Приведу ссылки на описание работы нейронов
Да никому это не нужно - понимать его работу, кроме нейробиологов.
Нейрон передает сигнал, это его основная функция. Мы можем замерить сигнал на входе и выходе, построить мат. модель и реализовать в кремнии, этого достаточно. Совершенно ни к чему ковыряться в электрохимии нейрона, ведь мы не делаем компьютеры из мяса.
>Нейрон передает сигнал, это его основная функция.
Он его ОБРАБАТЫВАЕТ, это его основная функция.
>Мы можем замерить сигнал на входе и выходе
Можем. Правда, не всегда, и не везде, и не полностью.
>построить мат. модель
С этим пока туго.
>и реализовать в кремнии
Этого пока нет даже для самых простых моделей.
>Совершенно ни к чему ковыряться в электрохимии нейрона
Ты невежда.
Ты выдаешь лишь оценочные суждения, и ноль аргументов, поэтому считаю тебя троллем и прекращаю разговор.
Это уже воинствующий обскурантизм.
Я кажется понял пафос твоего бреда, это любимая тема советских шизофренических учоных - мол все можно на свете циферками посчитать.
>построить мат. модель
Модели во всех современных нейронах очень далеки от модели нейрона в мозгах.
Не, если ты дочь Пескова, то рашкинские не имеют никакого смысла, естественно.
Ну это понятно, нейрон у математиков - не нейрон, ведь настоящий живой нейрон ДУМОЕТ.
>Предлагаешь мне, тебя убеждать?
Предлагаю сказать хоть что-нибудь дельное кроме вынепровыясказал.
Сам я фронтендер, но в свободное время читаю книжки по аи, вот numpy накатил - буду разбираться.
Там требуется фронтендер, но я немного не подхожу. т.к. не знаю Реакта, визуальных 3D либ для жс и опыта на год меньше. Как думаете откликаться?
Странный вопрос, я-то откуда знаю? Если там в требованиях веб, то им ты там и будешь заниматься, а не нейроночками. Если ты хочешь заниматься нейроночками, то подавайся на соответствующую вакансию. Впрочем, ничто не мешает тебе откликнуться и предложить себя в качестве нейронщика, а не фронтэндера.
>вынашиваю идею имлпемента аи алгоритмов для постановки диагнозов
Открыл Америку.
>numpy накатил - буду разбираться
Лол, что там разбираться? Поставил задачу - нагуглил методы, а в процессе обучаешься. Это же обычная либа для алгебры.
Какой-то ты подозрительно зелёный
>numpy накатил
Нихуя себе, аж нумпай накатил. Ну все, щас компетенция поползет вверх как на стероидах.
>Предлагаю сказать хоть что-нибудь дельное кроме вынепровыясказал.
И какой мне в этом прок?
Ладно бы если бы ты, хотел разобраться в вопросе, так ты ничего не знаешь, и знать не желаешь, при этом, ведешь себя крайне вызывающе, агрессивно.
При этом, требуешь принудительного диалога, мол я обязан тебя убеждать.
На лицо сумасшествие, а безумие заразно.
Попробую сформулировать свою мысль максимально просто. То, что ты считаешь для себя интеллектуальным подвигом, для меня немыслимая деградация.
Посему, не считаю диалог возможным в принципе.
>>1103026
Существует множество различных функциональных моделей нейронов.
Та, что массво используется в comp science, была актуальна лет 100 назад, и быстро списсана со счетов.
Чуть более адекватная спайк модель, далека от совершенства, и самое главное, не реализуема в железе.
>живой нейрон ДУМОЕТ
В живых нейронах обнаружены органы набитые тысячами органических кьюбитов. Так что нейроны "думоют" на грани возможностей мат реальности, и по выч мощности один нейрон превосходит всё компьютеры когда либо созданные людьми.
Не говоря уже о таких незначительных аспектах как близко-клеточная коммуникация(шепот), использовать которую могут кстати не только нейроны.
Не говоря уже о таких мелочах, как способность образовывать какие угодно связи с какими угодно нейронами.
Созданные людьми вычислительные машины неспособны на подобны физически.
И даже формирование связей между слоями требует рост выч мощностей экспоненциально кол нейронов.
Чтобы обрабатывать ЧБ 8битное изображение 1920x1080пикселей, нужна матрица весов размером 2073600*кол нейронов в слое. байт.
для 1000 нейронов это 2073,6GB. Если добавить цвета и разрешения, то любой суперкомпьютер сдувается. А это, один единственный кадр изображения и один единственный слой нейронов.
>Предлагаю сказать хоть что-нибудь дельное кроме вынепровыясказал.
И какой мне в этом прок?
Ладно бы если бы ты, хотел разобраться в вопросе, так ты ничего не знаешь, и знать не желаешь, при этом, ведешь себя крайне вызывающе, агрессивно.
При этом, требуешь принудительного диалога, мол я обязан тебя убеждать.
На лицо сумасшествие, а безумие заразно.
Попробую сформулировать свою мысль максимально просто. То, что ты считаешь для себя интеллектуальным подвигом, для меня немыслимая деградация.
Посему, не считаю диалог возможным в принципе.
>>1103026
Существует множество различных функциональных моделей нейронов.
Та, что массво используется в comp science, была актуальна лет 100 назад, и быстро списсана со счетов.
Чуть более адекватная спайк модель, далека от совершенства, и самое главное, не реализуема в железе.
>живой нейрон ДУМОЕТ
В живых нейронах обнаружены органы набитые тысячами органических кьюбитов. Так что нейроны "думоют" на грани возможностей мат реальности, и по выч мощности один нейрон превосходит всё компьютеры когда либо созданные людьми.
Не говоря уже о таких незначительных аспектах как близко-клеточная коммуникация(шепот), использовать которую могут кстати не только нейроны.
Не говоря уже о таких мелочах, как способность образовывать какие угодно связи с какими угодно нейронами.
Созданные людьми вычислительные машины неспособны на подобны физически.
И даже формирование связей между слоями требует рост выч мощностей экспоненциально кол нейронов.
Чтобы обрабатывать ЧБ 8битное изображение 1920x1080пикселей, нужна матрица весов размером 2073600*кол нейронов в слое. байт.
для 1000 нейронов это 2073,6GB. Если добавить цвета и разрешения, то любой суперкомпьютер сдувается. А это, один единственный кадр изображения и один единственный слой нейронов.
Дата саенс и кампутир саенс это совершенно разные вещи, почти не пересекающиеся.
Спасибо! А что подразумевается под собственным хорошим проектом?
Ещё один?
>мечтать зделоть робата для торговли биткойнтами на нейтронках
Нахуй ёрничаешь?
>благая, хорошая задумка
>нужная, востребованная в научных и приближенных к ним кругах
Да не особо. В России этим 3,5 калеки занимаются, остальные хуй взлетят, раз к ним такие вкатывальщики хотят попасть простите, если это очередной гений с двачей, не признал.
Да, это оно самое. Кекнул с "ведущий научный сотрудник ПОМИ РАН".
В России по науке вообще почти ничего нет, а в других странах биомедицинские исследования это топчик, где работает оргомное количество людей. И сейчас там почти везде требуется машоб, все пытаются приспособить нейроночки к делу. Вычислять диагнозы на нампи это, конечно, наивный взгляд нуба, но тут главное стремление. Пару лет покопается в этом, да под хорошим руководством, и будет вполне себе годные идеи генерировать.
Сдуется через 2 недели - месяц. Можешь скринить.
Да. Уж 5к бачей за бакалавриат и 20к рублей на экзамен по инглишу у тебя найдется.
Не понял, т.е. мне еще сначала надо их бакалавриат получить и только потом на мастес? Да ну нахуй тогда.
> икакоймневэтомпрокметатьбисерпередсвиньямимневасжаль
Мань, если хочешь сливаться, делай это без подобной тошнотноворной словесной эквилибристики, достойной жжшной тп образца 2008 года. Тут не настолько параша, подобного не ценят.
>Ты это, давай, лечись там, не запускай
http://www.sciencedirect.com/science/article/pii/S0003491615003243
Безмозглый, злобный, малолетний, придурок.
О, наконец-то удалось добиться от тебя хотя бы ссылки. Жаль только, что ты притащил статью объебоса и поехавшего научного фрика, над которым потешаются коллеги.
Лол, я когда начал читать, казалось сейчас пойдет переделанная паста про страуструпа и лямбду.
Давно читал, сейчас уже не вспомню. Там хейт плюсов и байтоебов со стороны функционалоилитки.
Кстати то, как паста на твоем скрине сделала match(возможно и неправильно) в моем мозге с той пастой про летающие лямбды навело на скорее всего очевидную для спецов мысль что именно моделями распознавания наша память и хранит "воспоминания".
Т.е. когда запоминается лицо твоей еот (если говорить об этом в категориях компьютерных нейроночек) по сути какая-то часть мозговой сеточки тренируется распознавать ее лицо на освное каких-то входных данных(визуальная, твое эмоциональное состояние) связывая ее с какими-то выходными триггерами(мысленным образом "красивая", мысленным образом "ее уже ероха ебет" или активацией стояка).
Т.е. в мозгах храниться не конкретный набор как-то закодированных чувств, образов, а сам распознаватель(то, что в машобе называют модель). Это хорошо объясняет почему бывает очень трудно что-то вспомнить, например какое-то слово, но если тебе будут перечислять слова и какое-то из них то самое, ты моментально его распознаешь или то, что воспоминания визуальных образов очень недетализированы, т.е. если попытаться нарисовать то, что часто видишь и хорошо знаешь(сычевальня, например) получиться очень схематичная и убогая хрень с упущением кучи деталей)
Про ассоциативную память на нейронных сетях я слышал и раньше, но вот такой инсайт как конкретно это работает нахлынул только сейчас.
>не конкретный набор как-то закодированных чувств, образов, а сам распознаватель
Это вытекает из архитектуры вычислений, когда один нейрон уже сам по себе распознаватель
>Чтобы обрабатывать ЧБ 8битное изображение >1920x1080пикселей, нужна матрица весов >размером 2073600*кол нейронов в слое. байт.
>для 1000 нейронов это 2073,6GB. Если >добавить цвета и разрешения, то любой >суперкомпьютер сдувается. А это, один >единственный кадр изображения и один >единственный слой нейронов.
у тебя неправильная математика
>у тебя неправильная математика
Покажи правильную.
Ну то есть, допустим если мы кластеризуем, одно единственное изображение, то по пикселям можно прогонять, тогда у нас 2 координаты и интенсивность, но хрен редьки не слаще, это обычный метод наименьших квадратов получается, почти, и толку от такого счастья, мы теперь упираемся в классические последовательные вычисления. И теперь у нас экспоненциальный рост требований к вычислительной мощности, а не памяти.
Ты не туда зашел.
Делаем поссонами лабы по машобчику, сейчас пилим детектор огня...
Вот ложняки и не очень..
А ты чем занят, анон?
сори за даунские вопросы, но тем не менее
Большая часть фреймворков и кода под них может работать на винде. Но установить их трудно и заставить работать всегда проблема. Линукс это основная платформа.
Вот только не надо взрывать мне жопу!
Писать либы - удел настоящих датасаентистов, а не начинающих быдлокодеров
Кто знает, как в keras обмазать обычную сверточную сеть временем через TimeDistributed?
А то я хотел приделать низ от CNN к классификатору последовательностей фич (3D-сверточный SVC), но ниасилил ...
Примеры с гитхаба, стековерфлоу, докуменации не помогли...
И да, модель ни разу не Sequential!
Керас не может в кастомные архитектуры. Делай на голом тф, а лучше на питорче. В любом случас совершенно непонятно, что ты пытаешься сделать, и для получения какой-то конкретной помощи тебе придется выложить свой код.
Пока сделал на голом питоне:
1. Фичи кадров считаются в керасе
2. Запихиваются в примитивный ФИФО
3. Векторы из ФИФО конкатенируются по времени для каждого столбца выходного блока подаются на LinearSVC из sklearn.
4. ??????
5. PROFIT!
Юзаю анаконду из докера из под линуха, мне кажется это самый оптимальный вариант. Систему не засоряешь этой анакондой и работает все быстро
Юзаю анаконду из-под восьмерки. Все нормально. Установка самая обычная(далее->далее->далее->установить).
R тоже работает без проблем.
В общем, FAIL, а не профит, детектор дает ложняки на относительно неподвижное изображение огня.
т.е. если зажигалка перед камерой двигается - оно выдает отрицательный результат, если стоит на месте - положительный; если распечатать фото огня и не шевелить его - дает "положительный" результат.
Пипец, день коту под хвост.
Керас этот вообще мразь писала, от версии к версии API меняет, я сегодня день убил на исправления.
>Мы можем замерить сигнал на входе и выходе, построить мат. модель и реализовать в кремнии, этого достаточно. Совершенно ни к чему ковыряться в электрохимии нейрона, ведь мы не делаем компьютеры из мяса.
Совершенно верно, это называется идентификация системы по типу черного ящика, аппроксимация функциональной зависимости выхода от входов. В границах допустимых значений выхода и входов оно будет работать как биологический нейрон. Ты >>1102818 этого не понимаешь. Обработка сигнала нейронов - это в точности функция(и), аппроксимируемая(ые) идентификацией этой системы. Однако, зачем это надо, если задачу машинного обучения можно поставить без отсылок к нейрону, и показать оптимальные методы решения такой задачи? Чем и занимается теория статистического обучения Вапника.
>никуда вы не уйдете от теории статистического обучения Вапника, которая объясняет работу всех вообще возможных алгоритмов машоба
Опять этот сектант всплыл, лол. Ну ладно, дадим тебе шанс доказать преимущества твоей Вапникосекты.
1)Оцени мне на глазок VC размерность VGG-19
2)Объясни, почему Resnet позволяют обучить больше слоёв, опять же с позиции VC
Не осилишь, будешь публично обоссан.
>1)Оцени мне на глазок VC размерность VGG-19
>2)Объясни, почему Resnet позволяют обучить больше слоёв, опять же с позиции VC
И то и другое - хуйня и путь в никуда, т.к. все упрется в вычислительные мощности, которые придется наращивать бесконечно, т.к. манянейроночки - только асимптотически-эффективная хуйня.
>можно сдавать в утиль
Статья одна большая фальсификация. В качестве теста рассматривалась специальная олимпиада с партиями по 1 минуте времени на ход. Подозреваю, что это был единственный режим, где они добились успеха против stockfish. Пусть приезжают на TCEC и сыграют нормальные партии 120 minutes + 30 seconds. Но они не приедут, т.к. обосрутся.
В качестве косвенного пруфа того, что у них не получился прорыв в шахматах против stockfish, можно рассматривать пикрил. Нарисовали, что рейтинг ЭЛО их нейросетевой программы на самую чуточку больше stockfish (для го и другой хуйни у них отрыв на порядок).
Поэтому и были выбраны партии по 1 минуте. Время партии/время на ход — это гиперпараметр. Они оптимизировались по нему, чтобы их программа выигрывала, чтобы можно было высрать маркетинговую статью и дальше ебать инвесторов на бабки.
Нужна независимая проверка их высера.
>cтатистического обучения Вапника.
Посоветуй что можно почтитать? Какой бекграунд для понимания нужен?
The nature of statistical learning theory, бэкграунд обычный, как и для любого машоба - матанализ, теория вероятностей, местами линейная алгебра.
>Совершенно верно, это называется идентификация системы по типу черного ящика, аппроксимация функциональной зависимости выхода от входов. В границах допустимых значений выхода и входов оно будет работать как биологический нейрон.
Линк на конкретную модель или фантазёр.
По первой же ссылке в гугле "system identification neuron" https://www.ncbi.nlm.nih.gov/pubmed/16776594 там и других работ полно.
Кароче, братишка, всё ясно. Ты ДУМАЕШЬ, что так можно сделать, но сделал ли это кто-то ты нихуя не в курсе и даже не пытался узнать. Так что пошёл нахуй с общими заявлениями про биологические нейроны.
Гуглер, блять.
>Номер страницы, где определяется модель.
А номер значка в формуле не представить, тупень?
>>1104569
Дегенерат малолетний, нейросети на основе моделей биологических нейронов создавались еще в 90-х, Кохоненом, Коско и т.д. Но, внезапно, выяснилось что они ничем не превосходят любые другие существующие алгоритмы машинного обучения. А потом вылезли Лекун с Хинтоном, которые показали, что хуету можно стыковать, и понеслась пизда по кочкам. До сих пор всякая индусня именно этим направлением и занимается, попробуй объясни чурке-свидетелю наращивания слоев, что асимптотически-эффективная модель это путь в никуда. Но быдлу заходит, одна нвидия на своих видюхах поднимается на 800% в год. Видюхи крутятся - баблишко мутится. Кто же будет рабочую тему убивать. А нахуй ты идешь вместе с родителями, чучело.
>А номер значка в формуле не представить, тупень?
Всё ясно, саму статью ты сегодня первый раз в жизни увидел. Ч.т.д.
>>1104577
Пиздец аргументы уровня "васян где-то чёто делал в 90-х", линки на нерелевантное говно, которое ты погуглил потому что я тебе сказал (сам ты видимо недостаточно сообразительный, чтобы это сделать 10 лет назад).
Вот тебе факты жизни:
1. нет принципиального понимания как работает человеческий мозг (в том числе на уровне нейронов) и как из этой работы получается сознание/человеческий интеллект.
2. нет общих принципов построения ANN, всё что есть феноменологическое вуду (которое основано на самых очевидных свойствах биологического мозга), которое производит модели с кучей параметров, которые выставляют с потолка.
Как вы, тупые макаки, делаете вывод из 1 и 2, что сильный/человеокоподобный ИИ уже решённая задача мне просто непонятно. Точнее понятно, фантазёрство, proud ignorance syndrome, непонимание принипов научного познания.
https://en.wikipedia.org/wiki/AI_winter
На почитай и извлеки уроки из прошлого.
>2. нет общих принципов построения ANN, всё что есть феноменологическое вуду (которое основано на самых очевидных свойствах биологического мозга), которое производит модели с кучей параметров, которые выставляют с потолка.
Именно. Потому что сами нейроночки начались не с того. Естественно, что ничего хорошего и получиться не могло. Нахуярить от балды слоев, гиперпараметров и прочей хуйни без минимального представления зачем все это и при этом получить что-то ценное - нереально. Поэтому и шаманство и отсутствие даже внятных путей настройки под конкретные задачи кроме "ебись с фичами, гиперпараметрами и смотри что получится". Правильный подход - это формальная постановка самой задачи машинного обучения, от чего и нужно танцевать во всем, вплоть до вывода конкретных алгоритмов из этих же соображений. Т.е. все тот же Вапник.
>нет принципиального понимания как работает человеческий мозг
На уровне нейронов понимание есть. На уровне сознания человека - пока нет, но это вопрос времени. Винда и процессоры Пентиум тоже не сразу появились после изобретения транзистора.
красота
>На уровне нейронов понимание есть
объясняй. я вот считаю, что сознание и мысли лежат за пределами физ. тела.
>я вот считаю, что сознание и мысли лежат за пределами физ. тела.
Ты в это веруешь, а не считаешь. Чтобы так считать, нужны основания, а их у тебя нет, одна швитая вера в хуйню.
>Потому что сами нейроночки начались
форс этого говна начался, когда стал понятен охуительный потенциал экспертных систем и что бы макаки остались макаками им набросили это нейронное говно
>Чтобы так считать, нужны основания, а их у тебя нет, одна швитая вера в хуйню.
основания есть и это вполне популярная теория в академических кругах, а вот, то что мысли рождаются в мозгу это полнейший и не обоснованный бред
>основания есть
Нет оснований. Ты верунец = сосешь конец. Источник высшей нервной деятельности - это ЦНС, что доказано всеми возможными способами, начиная с 19 века. А манятеории верунцов это бред чучелоидов, не имеющих вообще ни одного подтверждения.
Хороший гой.
>что доказано всеми возможными способами
типа ебнули по башке, стал дураком? то что мозг управляет телом никто не спорит, но не более.
Нейронки решают определенные проблемы, которые не могли нормально решить до этого(распознавание изображений), так что какие проблемы?
Ты ведь знаешь что машоб это вообще не про сильный ии?
Ясно.
Find face тоже сосет потому что ты скозал что нейронки путь в никуда, а те теории, которыми именно ты интересуешься тру?
>самую чуточку больше stockfish
>разница 100 эло
Независимая проверка была бы полезна, но она невозможна из-за необходимости огромных вычислительных ресурсов. Они, наверное, под миллион долларов сжигают на такие исследования, это никому больше не под силу.
Ну и ясно, что они свой лучший результат показывают, не худший же показывать? Скорее всего, одна минута на ход была выбрана ради экономии ресурсов.
Лично мне совершенно ясно, что со вчерашнего дня низкоуровневые оптимизации альфа-бета поиска официально мертвы. Это тупиковая ветвь. Нейроночки можно еще развивать и развивать, но даже в текущем виде старая программа не выиграла ни одного матча из 100. Вангую полную остановку работ по старым программам и перевод их на нейрорельсы, как это случилось с го.
1) насколько это перспективно?
2) как и куда вообще вкатываться, если ты живёшь в залупе мне кажется, даже в рашке есть в каких-то университетах специальности, с этим связанные?
Какие вы хохлы меркантильные.
Я школотой задрачивал ассемблер просто потому, что мне это интересно было, а вам всем перспективы подавай.
Все хотят съебать, а перспективы есть только у детей олигархов.
Мое мнение - машоб не тот случай, где потребуется много спецов. Это не бухгалтерия, где тысячи 1С-ников ковыряют одинаковые формы, и не веб, где тысячи макак пилят одинаковые сайты.
Все типовые задачи для машоба скоро будут решены, и рыкон захватят компании-гиганты с умниками-профессорами в штате.
в принципе, вроде очевидно, но спасибо, что обратил на это внимание. даже если подпаду когда-нибудь под определение умника-профессора, на корпорацию мне вкалывать точно не хочется.
ФИВТ МФТИ, КТ ИТМО, ФКН ВШЭ, СПбАУ, с натяжкой ВМК МГУ и матмех СПбГУ. Стань призером Всеукраинской и поступишь без экзаменов. Алсо, можешь загуглить поступление для граждан иностранных государств на сайтах этих вузов.
При чём здесь СПбАУ? У них упор не на машоб, а на жёсткий компутер сосаенс, не? хохол про дата сайенс спрашивает вроде
Это такая школа жизни, после которой машоб будет казаться таблицей умножений (ну так оно и есть).
То есть чтобы понять что именно лучше подходит под заранее известную задачу, чтобы потом, подобрав нужный инструмент, уже плотно заниматься именно им.
Нервная модель стимула. Соколов, 60-е годы. Нихуя у вас тут авангард научной мысли. Лет через 20 до нечёткой логики додумаетесь.
Потому что нет там никаких 2к гигабайт, изображение на входе будет весить 2мб, после первой свертки, допустим 2гб, что уже не в каждую видеокарту влезает, но дальше уже меньше и не будет там 2к гигабайт.
Просто так долго тренировать и батч в 1 картинку будет, что еще ухудшит качество.
INPUT: [224x224x3] memory: 2242243=150K weights: 0
CONV3-64: [224x224x64] memory: 22422464=3.2M weights: (333)64 = 1,728
CONV3-64: [224x224x64] memory: 22422464=3.2M weights: (3364)64 = 36,864
POOL2: [112x112x64] memory: 11211264=800K weights: 0
CONV3-128: [112x112x128] memory: 112112128=1.6M weights: (3364)128 = 73,728
CONV3-128: [112x112x128] memory: 112112128=1.6M weights: (33128)128 = 147,456
POOL2: [56x56x128] memory: 5656128=400K weights: 0
CONV3-256: [56x56x256] memory: 5656256=800K weights: (33128)256 = 294,912
CONV3-256: [56x56x256] memory: 5656256=800K weights: (33256)256 = 589,824
CONV3-256: [56x56x256] memory: 5656256=800K weights: (33256)256 = 589,824
POOL2: [28x28x256] memory: 2828256=200K weights: 0
CONV3-512: [28x28x512] memory: 2828512=400K weights: (33256)512 = 1,179,648
CONV3-512: [28x28x512] memory: 2828512=400K weights: (33512)512 = 2,359,296
CONV3-512: [28x28x512] memory: 2828512=400K weights: (33512)512 = 2,359,296
POOL2: [14x14x512] memory: 1414512=100K weights: 0
CONV3-512: [14x14x512] memory: 1414512=100K weights: (33512)512 = 2,359,296
CONV3-512: [14x14x512] memory: 1414512=100K weights: (33512)512 = 2,359,296
CONV3-512: [14x14x512] memory: 1414512=100K weights: (33512)512 = 2,359,296
POOL2: [7x7x512] memory: 77512=25K weights: 0
FC: [1x1x4096] memory: 4096 weights: 775124096 = 102,760,448
FC: [1x1x4096] memory: 4096 weights: 40964096 = 16,777,216
FC: [1x1x1000] memory: 1000 weights: 40961000 = 4,096,000
TOTAL memory: 24M 4 bytes ~= 93MB / image (only forward! ~2 for bwd)
TOTAL params: 138M parameters
Потому что нет там никаких 2к гигабайт, изображение на входе будет весить 2мб, после первой свертки, допустим 2гб, что уже не в каждую видеокарту влезает, но дальше уже меньше и не будет там 2к гигабайт.
Просто так долго тренировать и батч в 1 картинку будет, что еще ухудшит качество.
INPUT: [224x224x3] memory: 2242243=150K weights: 0
CONV3-64: [224x224x64] memory: 22422464=3.2M weights: (333)64 = 1,728
CONV3-64: [224x224x64] memory: 22422464=3.2M weights: (3364)64 = 36,864
POOL2: [112x112x64] memory: 11211264=800K weights: 0
CONV3-128: [112x112x128] memory: 112112128=1.6M weights: (3364)128 = 73,728
CONV3-128: [112x112x128] memory: 112112128=1.6M weights: (33128)128 = 147,456
POOL2: [56x56x128] memory: 5656128=400K weights: 0
CONV3-256: [56x56x256] memory: 5656256=800K weights: (33128)256 = 294,912
CONV3-256: [56x56x256] memory: 5656256=800K weights: (33256)256 = 589,824
CONV3-256: [56x56x256] memory: 5656256=800K weights: (33256)256 = 589,824
POOL2: [28x28x256] memory: 2828256=200K weights: 0
CONV3-512: [28x28x512] memory: 2828512=400K weights: (33256)512 = 1,179,648
CONV3-512: [28x28x512] memory: 2828512=400K weights: (33512)512 = 2,359,296
CONV3-512: [28x28x512] memory: 2828512=400K weights: (33512)512 = 2,359,296
POOL2: [14x14x512] memory: 1414512=100K weights: 0
CONV3-512: [14x14x512] memory: 1414512=100K weights: (33512)512 = 2,359,296
CONV3-512: [14x14x512] memory: 1414512=100K weights: (33512)512 = 2,359,296
CONV3-512: [14x14x512] memory: 1414512=100K weights: (33512)512 = 2,359,296
POOL2: [7x7x512] memory: 77512=25K weights: 0
FC: [1x1x4096] memory: 4096 weights: 775124096 = 102,760,448
FC: [1x1x4096] memory: 4096 weights: 40964096 = 16,777,216
FC: [1x1x1000] memory: 1000 weights: 40961000 = 4,096,000
TOTAL memory: 24M 4 bytes ~= 93MB / image (only forward! ~2 for bwd)
TOTAL params: 138M parameters
>Ну и ясно, что они свой лучший результат показывают, не худший же показывать?
Тут "ноука" или что?
родители в ЗАГНИВАЮЩУЮ РАШКУ не отпустят. они, в принципе, нормальные, но в этом плане их переубедить сложно, ссориться не хочется, да и без их поддержки в другую страну я не перееду. в идеале бы поступить куда-то в канаду..................................................................................................
Угу, в Канаду он собрался. Ну если ты долларовый миллионер, то езжай.
Вы видите копию треда, сохраненную 26 декабря 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.