Двач.hk не отвечает.
Вы видите копию треда, сохраненную 4 сентября 2016 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
19 Кб, 600x646
machine learning #6 #799576 В конец треда | Веб
книги
Pattern Recognition and Machine Learning, Bishop.
Information theory, inference & learning algorithms, MacKay. http://www.inference.phy.cam.ac.uk/itila/
Machine Learning: A Probabilistic Perspective, Murphy
Introduction to Statistical Learning ( http://www-bcf.usc.edu/~gareth/ISL/ISLR Sixth Printing.pdf )
Elements of Statistical Learning ( http://statweb.stanford.edu/~tibs/ElemStatLearn/printings/ESLII_print10.pdf )
Foundations of Machine Leanrning, أشهد أن لا إله إلا الله وأشهد أن محمد رسول الله. http://www.cs.nyu.edu/~mohri/mlbook/
А. Пегат, "Нечёткое моделирование и управление"

другое
http://libgen.io / http://bookzz.org/ - здесь можно одолжить ^ книги и не только
https://vk.com/deeplearning и http://deeplearning.net/reading-list/
http://arxiv.org/find/all/1/all:+nejronochki/0/1/0/all/0/1
http://videolectures.net/mlss09uk_cambridge/
https://www.kaggle.com/ - весёлые контесты. денежные призы
https://www.reddit.com/r/MachineLearning/wiki/index

яп
1. http://julialang.org/
2. https://www.microsoft.com/en-us/research/project/infernet/
3. https://www.r-project.org/
4. питухон и так все знают

ПЛАТИНА
Книги хорошо, но с чего начать практический вкат?
Во-первых, вам нужна любая unix-based система. На Windows возможно запустить нижеперечисленное, но ждите пердолева с настройкой и неодобрительных взглядов анонимуса. Кроме того, в компаниях, так или иначе связанных с разработкой йоба-ПО и machine learningом, Linux/OS X является стандартом. Привыкайте.
Во-вторых, определитесь с языком. Python и C++ наиболее мейнстримовые инструменты, с ними вы без еды не останетесь. Есть еще R, на котором пацаны живут статистикой и анальными пакетами. Некоторые инструменты являются языко-независимыми (Vowpal Vabbit, XGBoost), но обвязывать их вы все равно будете из какой-либо среды.
На Java разработано много production-ready инструментов для бигдаты и если вы угораете по терабайтам данных, то имеет смысл посмотреть в её сторону. Впрочем, лучше это делать уже потом, когда прийдет осознание потребностей.
В-третих, выбирайте себе задачу. Что угодно: распознать качпу, обнаружить ботов по логам, найти раковых больных. Список можно посмотреть, например, на kaggle.com. После чего приступаете к решению выбранной задачи.

Не прийдется ли мне потом с таким наборищем знаний идти в макдак работать?
Несмотря на хайп вокруг ML, далеко не во всех IT компания есть необходимость в ML и понимание круга задач, которые можно решить этими методами. Но поверьте, в 2016 компетентный специалист будет востребован. В России потребителями ваших знаний могут стать: Яндекс, Mail.ru, Вконтакте, Rambler, Касперский, Билайн, Связной, ABBYY, Хуавэй. В биоинформатике есть определенный спрос, можно поскролить http://blastim.ru

Здорово, но я так и не понял чем же вы занимаетесь в IT компаниях?
Попытаюсь ответить со своей колокольни и сразу хочу предупредить, что это едва ли консенсуальное мнение.
ML-специалист - это такое зонтичное определение для человека, способного увидеть проблему, выгрепать кучу логов и данных, посмотреть на них, придумать решение проблемы и врезать это решение его в продакшн. По сути, это кодер, решающий не чисто технические, а, в некотором роде, человеческие проблемы.
Имхо, мы все же остаемся в первую очередь разработчиками.

Что такое TensorFlow?
TensorFlow - часть гуглового инструмента для перемножения тензоров и оптимизации функционалов. Часть - потому что важные куски типа параллелизации еще не выкачены в паблик. Если вам все ещё непонятно что это, значит это вам и не нужно, сириусли. Google перестарался с рекламой и теперь люди думают, что TF - это серебряная пуля и затычка для каждой бочки. До TF был Theano, который выполнял свою работу не хуже. И, в отличии от TF, он уже находится в стабильной фазе.

будет ли ML нужен в ближайшие 10 лет, или это просто хайп?
будет. хайп.

смогу найти работу?
Яндекс, мейлру, касперский, несколько биоинформатических компаний (iBinom, можно еще blastim.ru поскролить на тему работы), билайн (они с НГ целое подразделение открыли под ML и биг дату), связной. Ну и западные аутсорсы, если готов рачить за валюту.

нужна математика?
для начинающего ничего особого знать не нужно

поясните за нейроночки
нейроночка - массив

Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
86 Кб, 849x602
#2 #799584
платиновый вопрос:
когда говорят о линуксе, какой уровень владения предполагают?

https://www.edx.org/course/introduction-linux-linuxfoundationx-lfs101x-0
>>799892
#3 #799586
Кто-то делал сегментацию на нейроночках?
>>799675
#4 #799675
>>799586
Не делал, но в статье с CRF в виде нейроночки показывают годные результаты.
>>799685
#5 #799685
>>799675
А как же сегметируешь?
#6 #799720
>>799576 (OP)
Интересная статья про торч7 и как его под вин устанавливать
http://dmandreev.github.io/2016/03/05/torch7-windows/
266 Кб, 220x99
121 Кб, 640x420
754 Кб, Webm
#7 #799798
Скайнет для распознавания макакиной капчи уже написали?
>>800132
43 Кб, 700x470
#8 #799821
могли бы знающие порекомендовать и добавить в фак чего-то по теме обзора области: откуда это всё появилось, почему так исторически сложилось и зачем используется
в каждой книге сразу методы шпарят
>>800036>>800050
#9 #799833
Объясните как луа и торч7 поставить на вин7 ?
>>799834>>800013
#10 #799834
>>799833
хочется вот с этим поиграться
https://github.com/karpathy/neuraltalk2
#11 #799864
Ребята, давайте постараемся скомпилировать торч7 под вин и выложить бинарники?!

https://github.com/torch/torch7/pull/287
>>799892>>800013
17 Кб, 590x420
#12 #799892
>>799864
так поставь себе линукс или чо там у него..
если жалко игр, сегментируй диск
cc >>799584
41 Кб, 400x400
#13 #799934
Большой проблемой является Linux. Может быть, я буду получать окликнул реальными CS или ML двачерами за эти слова, но блять, если это не трудно использовать Linux. На Ubuntu я попытался установить драйверы NVidia один раз (следуя инструкциям в точности) замуровали моей сборки, удалил их из режима восстановления, сделал это снова по-другому, а затем провел целых два дня с помощью Баш, чтобы загрузить десятки зависимостей, многие со своими зависимостями, с их собственных зависимостей. Иногда они порвали друг друга, иногда они сломали мою ОС. Я получил его на работу, но величина икота, когда они происходят оставляет меня за отвращение к Linix. Я также сделал тот же самый процесс на облаке сервер, который был проще, без GPU и может оставить проекты, работающие на центральный процессор сервера и до сих пор есть компьютер для использования.

Я получил Keras работать с Теано на Windows, с моей GPU, но большинство глубоких библиотек обучения не будет работать на Windows, в том числе tensorflow, CAFFE, а на самом деле просто ни о чем другом. Так что в основном я использую Linux и молиться нет бедствия пивоварения под капотом
>>799949>>807390
#14 #799949
>>799934

> нет бедствия пивоварения под капотом


Спасибо, это помогло!
#15 #800013
>>799864
>>799833
Не стоит, поверь. Заебешься дрочить вприсядку с бубном и не факт что все будет работать как надо. Гораздо проще установить бубунту и в ней все поставить по мануалам.
#16 #800036
>>799821
Википедия, что-то есть в Уоссерман "Нейрокомпьютерная техника" (по ней изучать вообще не советую, слишком обзорно там теория дается)
>>800076
267 Кб, 900x1200
#17 #800050
>>799821

> в каждой книге сразу методы шпарят


ну почему же
в том же бишопе каждая глава начинается с мета-попиздонов вокруг темы
в нормальных учебниках всегда будет даваться подобная историческая мотивация
#18 #800068
>>799576 (OP)
Поясните, можно сервер арендовать с линуксом, чтобы юзать его именно для обучения написанной нейросети? Или может есть какие-то облачные сервисы для этого?
>>800073
#19 #800073
>>800068
для начинающего линух не нужен
арендованные облачные GPU-инстанцы на AWS - говно и виртуализация херит всю производительность
>>800089
27 Кб, 600x600
#20 #800076
>>800036

>что-то есть в Уоссерман


>Ф. Уоссермен. Нейрокомпьютерная техника: теория и практика. М. Мир - 1992.


>1992

>>800080>>800107
#21 #800080
>>800076
Все что раньше 2015 года - старье и неактуально?
#22 #800089
>>800073

>GPU-инстанцы на AWS


>виртуализация

>>800123
#23 #800107
>>800076

>откуда это всё появилось, почему так исторически сложилось и зачем используется

#24 #800123
>>800089
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using_cluster_computing.html

> GPU instances run as HVM-based instances. Hardware virtual machine (HVM) virtualization uses hardware-assist technology provided by the AWS platform. With HVM virtualization, the guest VM runs as if it were on a native hardware platform, except that it still uses paravirtual (PV) network and storage drivers for improved performance. This enables Amazon EC2 to provide dedicated access to one or more discrete GPUs in each GPU instance.

#25 #800127
>>799576 (OP)

>Часть - потому что важные куски типа параллелизации еще не выкачены в паблик.


Сколько еще будете копипастить это говно, которое уже неактуал
#26 #800132
>>799798
Надо бы кстати заняться. Хуй знает правда как цифры сегментировать.
>>800135
#27 #800135
>>800132
А что нейроночка сама не может найти способ как сегментировать? Ты еще и сам за нее должен думать?
>>800138
#28 #800138
>>800135
Ну-у, будь у меня кластер с топовыми теслами, я бы наверное попробовал скармливать капчу целиком. А так я думаю хуйня выйдет.
#29 #800156
Аноны, покажите пример кода простейшей нейронки.
#30 #800173
>>800156
А на кой тебе код? Бери какой-нибудь готовый движок.
>>800196
#31 #800191
>>800156
Какие тебе нейронки если ты в гугл не можешь?
>>800196
#32 #800196
>>800173
На кой мне движок? Хочу посмотреть как оно работает.
>>800191
А в яндекс можно?
#33 #800197
Например код перцептрона.
>>800202
83 Кб, 593x660
#34 #800201
>>800156
сделайте нечоткий контроллер
чтоб на триггеры "Аноны," и "нейроночки" выдавал "платина"
#35 #800202
>>800197
функцияАктивации(входа * веса);
#36 #800203
Вот если просто подумать головой и сложить 1 и 1.
1) четкое число - частный случай нечеткого, четкая логика - частный случай нечеткой.
2) теорема Байеса - частный случай нечеткой теоремы Байеса http://sipi.usc.edu/~kosko/Fuzziness_Vs_Probability.pdf
3) вероятность элементарно сводится к множествам (пруфы в статье выше).
4) четкие функции, отношения, аппроксимация функций частный случай своих более общих нечетких вариантов.
Разве из всего этого не следует очевидная тривиальность - нечеткие множества и нечеткая логика дает больше возможностей работать со всем вышеперечисленным?
Что касается вопроса сводимости нервной деятельности к нечетко-логическим операциям, поясните ,почему условный и безусловный рефлексы, доминанты, в общем сучае функциональные системы Анохина, нельзя рассматривать как нечеткие отношения, заданные на декартовых произведениях множеств стимулов и реакций? Из этого не следует ли сводимости любой нервной деятельности к множествам и операциям над ними? Повторюсь, четкое множество - частный случай нечеткого.
>>800237
#37 #800204
>>800156
for (int i = 0; i < input.size(); ++i)
out += input * weight;
out = 1 / (1 + exp(-out));
>>800212>>800242
#38 #800212
>>800204
И всё штоле?
600 Кб, 1215x388
#39 #800237
>>800203
нечеткая логика не особенно полезно говорить о частичном знании. Если вы разрешили логике второго порядка, вы могли бы иметь нечеткие мета-предикаты, которые описывали вашу уверенность о хрустящих предикатами первого порядка. Но с первой логики заказа (на самом деле, где мы хотим сосредоточить наше внимание), нечеткая логика не является полезным для задач, где мы используем теорию вероятностей.
>>800239
#40 #800239
>>800237
Смешная картинка, а петух-то почему не размытый, четкий?
>>800240
#41 #800240
#42 #800242
>>800204
Это на каком языке?
>>800666
#43 #800244
а где тимочка-нейроночка?
дочитал свою хуйню и забыл о нас?(
#44 #800250
Здесь обитает тот питух который ищет препа по матану?
#45 #800370

>нужна математика?


>для начинающего ничего особого знать не нужно



что именоо, калькулусу/матан?
Или дефолтной школьной математики?
>>800444
72 Кб, 650x575
#46 #800444
>>800370

> калькулусу

36 Кб, 620x594
43 Кб, 1122x620
40 Кб, 787x627
431 Кб, 1510x1039
#48 #800564
>>799576 (OP)

>будет ли ML нужен в ближайшие 10 лет, или это просто хайп?


>будет. хайп.



from corp import machinelearning
huita = machinelearning.done()
#49 #800565
Аноны, как доказать что сеть не оверфитит датасет в статье? Кто с такой задачей сталкивался, дайте пару дои.
535 Кб, 1550x1258
#50 #800591
Господа, хочу услышать комментарии по поводу моего пика.

Питонист, заебало клепать сайты на Джанге, хочу вкатиться во что-то интересное не меняя язык (уж больно нравится он мне).
640 Кб, 1560x975
#51 #800631
Короче слегка знаю питон(решаю c4 из егэ) и умею брать производные, можно вкатываться в машин лернинг и биг дата?
>>800652>>800653
#52 #800652
>>800631
Ага, и рейтинг 100$ в час не забудь поставить. А если серьезно, то я бы на твоем месте сначала вышку нормальную выбрал с хорошей математикой и не ебланил на матане.

Мимо->>800591
>>800657
#53 #800653
>>800631
Можно, только курс какой-нибудь на курсере пройди сначала.
>>800657
#54 #800657
>>800652
Да я тоже так думаю, самое забавное, что мне 22 уже(

>>800653
Пробовал яндексовую специализацию, так там начали с линейной алгебры, матана(не школьного), у меня голова малость поплыла, посоветуешь курс попроще, чтобы хотя бы пощупать эту тему с минимумом вышмата.
>>800684>>800777
#55 #800666
>>800242

>++i


что то из серии C/C++/C#
мимокрок
#56 #800684
>>800657
Ну а мне 24. И я как раз ебланил на матане. Теперь пожинаю плоды - учу матан самостоятельно. И да, дается тяжело. Думаю прогуляться по дереву, которое я запостил и посмотреть, что получится. А то фрилансить за 25 в час, делая однотипные задачи, уже порядком подзаебало. Жаль еще года три это делать придется.
>>800800
#57 #800777
>>800657
Анон, главное не сдавайся. Если голова кипит, делай перерыв и возвращайся снова. Начальный курс линала, матана и тервера ну очень важен в дальнейшем обучении. Отмучаешься сейчас - потом будет легко и приятно
>>801075
32 Кб, 500x406
#58 #800800
>>800684

>Жаль еще года три это делать придется.



А потом чего, внезапно вылупишься в датасаентиста?
Можно завести отдельную рубрику с маняфантазиями: кем я буду через 5 лет и кому продавать свои навыки.
В большие компании, которых мало, нужны яйцеголовые уровня пхд, для применения алгоритмов уже есть/допилят удобные апи, чтобы пользоваться могла домохозяйка, а если учить для себя, то всё равно нужны будут ебовые вычислительные мощности и выгоднее использовать пункт2.
это крик души, можешь не воспринимать на свой счет
>>800838>>801345
32 Кб, 500x367
#59 #800838
>>800800
Восемь сотен пиздеть не будут.

Да, были у меня такие мысли. У машинного обучения есть куча возможностей, которые крупные компании на моей жизни не покроют.

Основная моя идея была неплохо показана в "Программируем коллективный разум". Есть куча данных, над которыми никто не работает, но которые реально можно неплохо использовать (в том числе и в коммерции).

Юзать API сервисов и ваять свои сайты - наше все.
#60 #801006
>>800591

> continuous distributions: poisson. чоблядь?


> p-value в 2016


> по бейсу толком ничего


> euclidean distance лол


> etc etc

#61 #801075
>>800777
Ок, буду пробовать еще.
#62 #801345
>>800800

Быть художником > быть маляром
>>801384
#63 #801384
>>801345
Хороший маляр > художник средней руки
#64 #801397
Аноны, а как превратить обычный многослойный перцептрон в рекуррентную нейроночку?
>>801404>>801406
#65 #801404
>>801397
Делаешь вариационную аппроксимизацию, записываешь конволюцию с сигмоидом, потом уменьшаешь размерность интеграла (здесь поможет дельта функция дирака) как конволюция гауссовых распределений, и с обратной пробит-функцией маргинализируешься над постериором. Любой второкурсник справится. А если делать на МСМС — так задачка вообще на пять минут.
>>801408
#66 #801406
>>801397
Никак, у тебя градиенты вырождаться начнут. Бери LSTM
>>801418
#67 #801408
>>801404
Я не второкурсник.

>Делаешь вариационную аппроксимизацию, записываешь конволюцию с сигмоидом, потом уменьшаешь размерность интеграла (здесь поможет дельта функция дирака) как конволюция гауссовых распределений, и с обратной пробит-функцией маргинализируешься над постериором


Нахуя?
#68 #801418
>>801406
Странно, в книге написано из обычной MLP сделать реккурентную сеть и проанализировать взвешенный ряд.
>>801426
#69 #801426
>>801418
А, тебе для книги...
#70 #801578

>для начинающего ничего особого знать не нужно



Пиздаболия
>>802007
#71 #801641
Аноны, из перцептрона с 1 слоем, значит, можно сделать RNN, а из многослойного нельзя?
>>801671>>801876
#72 #801671
>>801641
Блять, ебучий цирк.
Короче, у меня получилось взять результат с прошлой итерации, просто спиздив ее из функции.
Так дальше входы оказались массивом из 4 чисел, а выходы из 20, как прикажете их перемножать?
>>801681
#73 #801681
>>801671
Или выходы надо сложить со входами?
#75 #801876
>>801641
Завтра ищешь в интернете книжку "Pattern recognition and machine learning". Похуй если ничего не поймёшь. Затем идешь на https://en.wikipedia.org/wiki/List_of_probability_distributions и изучаешь стандартные распределения от корки до корки. Потом зубришь, именно, сука, вызубриваешь теорему бейса - чтоб от зубов отскакивало. Когда напишешь свою первую иерархичскую модель, по пути изучив infer.net, поступаешь в нормальный университет, рекомендую Кембридж. Как переделаешь модель, чтобы выдавала по крайней мере 5 тысяч предсказаний в секунду, можешь идти дальше - тебя ждет увлекательный мир бейсовского вывода. Несопряжённые приоры, сверхбыстрое гамильтоновское монте карло, вариационный вывод. Отсос классико-макак / просто неудачников типа нечётко-питуха или сёрло-хуесосов, которые сосут хуй по жизни не заставит себя ждать и уже через пол года ты будешь получать такие суммы, что любая баба будет течь при одном упоминании твоей зарплаты.
>>801881>>801894
#76 #801881
>>801876

> Ctrl+F


> Bayes


> нечётко-питухи сёрло-хуесосы

#77 #801894
>>801876
Ты ебанулся использовать шарп приблуду от мелкомягких?
>>802002
#78 #801918
Аноны, вот добавил я выходы к входам, как ее обучать?
То-есть, откуда я должен узнать таргеты? У меня по сути, в рекуррентной сети Джордана 40 входов, а должна быть 20 Так как размер входа - 20 нейронов
>>801921>>801952
#79 #801921
>>801918
Или мне взять входы, умножить на веса и все это умножить еще раз на контекст?
#80 #801952
>>801918

>в рекуррентной сети Джордана


Господи, где ты ее нашел-то? SNNS штоле? Если да - почитай мануал и посмотри примеры, там все разжевано по вопросу как правильно подкладывать данные.
>>801955
#81 #801955
>>801952
Сеть Элмана дохуя лучше?
У меня в книге было написано взять выходы с шага -1 и умножить на веса.
Это сеть Джордана же.
>>801966
#82 #801966
>>801955

>Сеть Элмана дохуя лучше?


Сорта, насколько я понял. И то и другое есть в SNNS, который портировали в R - пакет RSNNS. https://cran.r-project.org/web/packages/RSNNS/index.html http://dicits.ugr.es/software/RSNNS/index.php там подробно про все нейроночки, вт.ч. и рекуррентные эти.
>>801969
#83 #801969
>>801966
Да я все понял, у меня только хуйня с np.sum() выходит, просто так он шлет меня нахуй, если np.sum((),axis = 0)), то в конце он пишет:

>Value Error: operands could not be broadcast together with shapes (10,2)(20,2)


Хотя у меня оба массива и входы и выходы размером 20,2

Может попробовать сделать сеть Элмана? Там с весов надо считывать после функции активации? И в многослойном перцептроне умножать после каждого слоя?
>>801972
#84 #801972
>>801969
А все, понял, почему-то входы становятся размером в 10,2
#85 #801998
>>799576 (OP)
Анон, поясни за профессию.

Мне очень интересна сфера ИИ, нейронных сетей и всего что с этим связано. Сейчас работаю прогером в иной сфере, но думаю через определённое время перекатиться.

Как дела в этой сфере со спросом/предложением? Грубо говоря, много ли платят? Не выходит ли так, что веб-макака (коей я пока что являюсь) получают столько же или больше?
114 Кб, 800x800
#86 #802000
>>801998

> ИИ

#87 #802002
>>801894
"мелкомягкие" единственные кто просёк самое перспективное направление в мл
#88 #802007
>>802570
#89 #802039
Если из многослойного перцептрона делать сеть Элмана, то:
Дополнительные входы должни быть только от первого слоя весов или от всех последовательно?
>>802064
#90 #802064
>>802039
https://ru.wikipedia.org/wiki/Нейронная_сеть_Элмана

> Нейронная сеть Элмана — один из видов рекуррентной сети, которая так же как и сеть Джордана получается из многослойного перцептрона введением обратных связей, только связи идут не от выхода сети, а от выходов внутренних нейронов.



твоя личная нейроночка-гуглёрша-автоответчица
>>802067>>802074
#91 #802067
>>802064
Не хочешь как-нибудь вместе потренить сеточки?
>>802068
#92 #802068
>>802088
#93 #802074
>>802064

>а от выходов внутренних нейронов.


Всех выходов?
Я читал это уже не один раз.
>>802084>>802157
#94 #802084
>>802074
хуй знает, из статьи неясно

твоя личная нейроночка-гуглёрша-автоответчица
>>802086
#95 #802086
>>802084
Ну вот же, не надо за идиота считать, я гуглил дохуя и только потом пришел в тред.
#96 #802088
>>802068
Бля это сеточка женского рода
>>802091
21 Кб, 500x589
#97 #802091
>>802088
тупой кусок мяса

твоя личная нейроночка-гуглёрша-автоответчица
#98 #802124
Эй гуглерша,лел, а сигнал в сети Элмана надо считывать до или после Функции активации?
#99 #802157
>>802074
Все ж нарисовано.
>>802162
#100 #802160
Пиздец, даже картинка не отправляется. Быдлосайт такой-то.
>>802161
#101 #802161
>>802160
капча, значит, нормас?
#102 #802162
>>802157
Там для однослойного, а как с многослойным не нарисовали.
И еще не сказали, что делать после того, как я перемножил матрицы, как их привести в нормальный вид входов.
>>802169
#103 #802169
>>802162
Да хоть для какого. Ты суть пойми. Ко входам просто добавляются выходы от промежуточных узлов. Это нужно для того чтобы нейроночкабыла типа с памятью. То же самое достигается более простыми методами, в частности, представлением данных в виде модели NARMAX или в виде матрицы Ганкеля. Что дает по-сути, тот же эффект, но специальных нейроночек для этого не требуется, можно использовать тот же перцептрон и вообще хоть что.
>>802174
#104 #802174
>>802169
Да суть я понял, надо же это реализовать еще.
Данные от выходов надо как-то представить в одинаковой форме со входами, что пиздец нелегко.
Что делать со смещенной нодой, например?
Просто переложить весь массив в вертикальный?
>>802183
#105 #802183
>>802174
Гугли матрицу Ганкеля. А входы можнонормировать же.
>>802198
#106 #802193
Рашкинская википедия написана тупым дауном.
Из мультиперцептрона, ага, блядь, что за даун это писал?
Сука, стоило зайти на английскую - все по человечески написано.
И в учебнике все так типа просто написано, в реальности же ошибок дохуя.
>>802197>>802237
sage #107 #802197
>>802193
айнепиздика
#108 #802198
>>802183
И как мне нормировать входы? Я на выходе получил массив из 60 чисел в 3 столбца и 20 строк.
И как мне сделать его таким, чтобы он был как входы? Если я добавлю ко входам его, то как мне обучать сеть?
#109 #802201
>>802198
Или рекуррентная сеть не умеет в задачу регрессии?
>>802208>>802237
#110 #802208
>>802201
>>802198
Ой блядь, надо же было добавлять после того, как высчитывал активацию.
Лол, прикиньте, оно заработало, на 1-м слою я беру значение с прошлых весов умножаю их параллельно и после того, как вычитываю активацию складываю.
>>802217>>802237
#111 #802217
>>802208
Аноны, это же считается за реккурентную сеть?
Ведет она себя и правда по другому, я складываю прошлую и настоящую активации
>>802237
#112 #802237
>>802248
#113 #802248
>>802237
Это тот датасет про выживших с титаника? Чего там решать-то, все решается rule mining'ом. Школьники, поди, такие задачи градиентным бустингом пердолят?
>>802252>>802792
#114 #802252
>>802248

> rule mining'ом


дип лёрнингом?
>>802253
#115 #802253
#116 #802255
К слову, тема довольно любопытная, а в этом ИТТ треде никогда не затрагивалась. http://www.rdatamining.com/examples/association-rules пример на R с титаником. Книжка по ссылке, к слову,довольно годная.
>>802792
#117 #802263
https://www.kaggle.com/mrisdal/titanic/exploring-survival-on-the-titanic
смотрите какая тяночка
уступили бы ей шлюпку?
>>802666
#118 #802278
>>800591
Шизофрения какая-то. Неравноположенные категории, да еще и включены совсем ебанутые.
#120 #802513
Что думаете по поводу курса яндекса "введение в машинное обучение" ?
https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/home/week/1
В данный момент читаю Бишопа, полёт нормальный. Стоит ли отвлекаться на этот курс?
>>802514
#121 #802514
>>802513
Урезанная версия курса Воронцова, в которую еще влит весь остальной дата сайенс для нубов.
#122 #802540
>>801998
бамп вопроса
#123 #802570
>>802007
Во всех курсах по ml для начинающих требования по линалу, матану, вероятности и статистики на уровне 2-ух лет технического вуза, так, что не надо мозги пудрить.
>>802578
#124 #802578
>>802570

> линалу, матану, вероятности и статистики


и что в этом особого?
то что ты перечислил даётся в любом пту и знакомо большинству посетителей раздела уже много лет
>>802580>>802582
#125 #802580
>>802578
Ну тогда так и напишите в шапке, для большинства людей ничего особого - это школьный уровень и это доска программистов, а не математиков.
#126 #802582
>>802578
Да и даваться оно может очень по разному, тут нужно реальное владение этими предметами и выебоны можешь свои засунуть себе в анус датасайнтист
#127 #802666
>>802263
Шлюпка не рассчитана на ее вес.
>>802675
69 Кб, 960x640
#128 #802675
>>802666
богиня тредика
>>803732>>807423
#129 #802778
>>802758
Зачем этому замечтаельному треду говноконфа с вебмакаками, изучающими пиздон?
Еще и называют это компуктер ссаенс
#130 #802792
>>802248
>>802255
Объясните популярно, чем тут AR лучше деревьев?
>>802812
#131 #802812
>>802792
Ты про какие деревья? Рандом форест штоле?
>>802825
#132 #802825
>>802812
Про decision tree. Ensemble на выбор.
#133 #803181
Поясните за албфабэта алгоритм в шахматах. Он прекращает перебор как только счёт окажется в пользу противника? То есть если он сначала бьёт фигуру противника и потом отдаёт свою, но не такую тяжёлую, то он углубление продолжает, а вот вариант сначала отдать свою не важную, а потом забрать у противника ценную фигуру он рассматривать не будет? Это глупость какая-то. Как правильно?
>>803529
#134 #803319
>>802286
лол
#135 #803343
Аноны, выходит что Радиальные сети - это сеть, с которой информация поступает в мозг от глаз.
Сверточная - это та, которая распознает образы.
Рекуррентная сеть - та, которая распознает звуки?
>>803355
59 Кб, 500x375
#136 #803355
>>803343
ага
#137 #803427
Аноны, нахуй нужны сплайны?
#138 #803433
Есть у кого нибудь инфа или может ссылки на какие нибудь работы по алгоритмам обучения спайковых сетей? Нужно обучить именно спайковую сеть, но вот годных алгоритмов найти пока так и не удалось, двачну для любой инфы по этому поводу.
>>803488>>803489
#139 #803488
>>803433

>спайковых сетей


Чем они лучше неспайковых? Где реализованы?
>>803492
#140 #803489
>>803433
В любом случае, смотри в сторону разновидностей хеббовского обучения.
>>803493
#141 #803492
>>803488
Лучше тем, что они быстрее и объемнее по количеству нейронов. А реализованы они в нейроморфных чипах и в мозге.
#142 #803493
>>803489
Есть такая штука - STDP, правило, которое является частным случаем как раз Хеббовского обучения. Но: 1 - этого правила по хорошему недостаточно, 2 - нужны либо рабочие примеры реализации обучения сети с таким правилом или хотя бы литература, поясняющая про подобное обучение.
>>803496
#143 #803496
>>803493

>литература, поясняющая про подобное обучение.


У Коско http://gen.lib.rus.ec/book/index.php?md5=CCC0771774E761EB91EE2019A244305B в 4ой главе рассмотрено 4 основных варианта хеббовского обучения. Вообще, 1ая часть этой книжки очень годный взгляд на нейроночки в целом.
>>803504
#144 #803504
>>803496
спасибо, посмотрим
#145 #803529
>>803181
Бамп вопросу.
>>803543
#146 #803543
>>803529
Шахматы не актуальны, читай:
http://sci-hub.cc/10.1038/nature16961
>>803545
#147 #803545
>>803543
Я не умею в ml и хочу сделать простые шахматы. Помоги.
>>803553
#148 #803553
>>803545
Есть жи открытые шахматные движки, ковыряй-модифицируй https://ru.wikipedia.org/wiki/GNU_Chess

>Основан на модификации профессора Тони Марсланда, внесённой им в алгоритм альфа-бета минимакса, и называемой Поиском Основных Отклонений (Principal Variation Search — PVS). Этот алгоритм работает надёжно и достоверно.

>>803556
#149 #803556
>>803553

> Совсем недавно произошёл возврат к идее, которую поддерживают разработчики GNU Chess: полный обсчёт конечных узлов


Он в лоб все возможные ходы перебирает.
>>803558
#150 #803558
>>803556
Все возможные ходы он не переберет даже до японской пасхи. Это какая-то модификация основного алгоритма, поскольку у программы как-то получается неблохоиграть:

>блиц-рейтинг GNU Chess версии 5.04, работающей на компьютере на базе процессора Cyrix 166 MHz (эквивалент Pentium 200 MHz), с настройками по умолчанию превысил 2100 пунктов (рейтинги сильнейших шахматистов превышают 2700).

>>803561
#151 #803561
>>803558

>Все возможные ходы он не переберет даже до японской пасхи


На ограниченную глубину же. Можешь прочитать как это работает и объяснить в каком случае он обрезает узел?
https://chessprogramming.wikispaces.com/Alpha-Beta
#152 #803631

> Представим, что где-то в глубине дерева перебора мы обнаружили, что максимумы белых и черных сравнялись. Допустим, мы просчитываем позицию для белых. Если мы продолжим перебирать в данной позиции, то максимум для белых может еще увеличиться, а может остаться прежним, но он уже сравнялся с максимумом черных. Это значит, что когда программа вернется в точку (рекурсивно), в которой максимум для черных, результат будет отвергнут, т. к. он не превышает максимума для черных в этой позиции. Также это значит, что в данной позиции для белых мы можем прекратить перебор и вернуть полученный результат досрочно.


Что это значит? Помогите понять. Сделали например 2 бесполезных ходе где никто никого не побил. Их максимумы сравнялись. И дальше не имеет смысла проверять? А если поменялись фигурами равной цены. То максимумы снова сравнялись, но смысл продолжать есть т.к. обмен фигурами может продолжится. Тогда какой смысл выходить из перебора когда максимумы равны?
>>803639
#153 #803632
Как полному нубу вкатиться в machine learning? обоссыте, но не бейте
4978 Кб, Webm
#154 #803639
>>803631
выбирает ход так чтоб минимизировать максимальную прибыль противника
непомню деталей, тут https://2ch.hk/pr/res/792098.html (М) могут помочь
>>803662>>803665
#155 #803662
>>803639

>выбирает ход так чтоб минимизировать максимальную прибыль противника


Это понятно. Я про условие выхода. Ведь если он прекращает перебор когда противник побеждает, то он понимает что по этой ветке идти не надо и выходит. Я всё понял пока печатал! Спасибо!
#156 #803665
>>803639
соус вебм?
>>803668
#158 #803732
>>803739>>803760
#159 #803739
>>803732

>Group


Проигрываю с даунов из /pr/, которые находят какие-то базовые вещи, знание которых у чистых математиков является само собой разумеющимся, и дрочат на них.
#160 #803740
>>803739
Он на тетку дрочит, аутист.
>>803744
#161 #803744
>>803740

>на тетку дрочит


Но зачем? Дали вам 2D-богинь, нет, не хочу богинь, буду на шлюх дрочить.
38 Кб, 604x404
#162 #803745
>>803739

>обсуждают тян


>лезет умничать



у тебя загон есть в обосцае, пердолик
>>803752
5 Кб, 80x70
#163 #803752
>>803745
Чем же это тян интереснее идеалов и дивизоров? Поссал на биопроблемников.
#164 #803757
>>803739
Проигрываю с даунов из /sci/, которые реализуют какой-нибудь квиксорт, знание которого у чистых программистов является само собой разумеющимся, и дрочат на него. Пример из жизни.
>>803761
388 Кб, 640x640
#165 #803760
>>803732
что в ней божественного? мужиковатая технарка с вонючим ртом
#166 #803761
>>803757
Тащемта, для эффективности квиксорта надо к нему кучу улучшений дописать.
>>803768
#167 #803768
>>803761
тащемта поебать, тащемта
обосцал квиксорт, капельки урины алсо попали на /sci/ долбоёбо-дегенерата
>>803772
#168 #803772
>>803768
Слесарь вдруг начал махать руками и обосрался под себя.
148 Кб, 1539x1024
#169 #803775
#170 #804108
Introduction to Statistical Learning и особенно An Elementary Introduction to Statistical Learning Theory -- 10/10
>>804127
#171 #804127
>>804108
Почему? Чем лучше какого-нибудь Бишопа?
>>804414>>804472
#172 #804414
>>804127
Бишоп - кусок говна.
#173 #804430
Аноны, поясните за кубический сплайн.
Как он подбирает сколько необходимо иметь регионов и узлов?
>>805889
#174 #804472
>>804127
Бишопа я не читал, с первого взгляда выглядит как обстоятельный учебник.
Elementary Introduction to Statistical Learning Theory -- 200 страниц, введение для нубов, покрывающее также базовый тервер и матстат. Introduction to Statistical Learning -- тоже самое, только на 400 страниц.
>>804512
#175 #804512
>>804472
Объем ничего не значит.
Да и лучше прочитать книжку поменьше, но зато освоить, чем прочитать сотню страниц и забросить, не добившись никаких результатов.
>>804554
12 Кб, 937x240
#176 #804514
Что здесь делает 7,8,9 и 13 строки?
Как они производят интерполяцию и как они делят на узлы? Не понимаю, как это вписывается в общую формулу αiΦi(x),
>>804603
1593 Кб, 1824x3264
#177 #804526
ай ай ай, кое-кто ниасилил 100 страниц божественного бишопа и решил слегка взбугуртнуть в тред
но только слегка
>>805138
#178 #804554
>>804512

>Объем ничего не значит.


Да я не думаю.

> Да и лучше прочитать книжку поменьше, но зато освоить, чем прочитать сотню страниц и забросить, не добившись никаких результатов.


Я согласен, поэтому и порекомендовал эти книжки как вводные.
#179 #804603
>>804514
Аноны, так никто не может пояснить?
>>804615
#180 #804615
>>804603
Ты скинь нормально код.
>>804618
#181 #804618
>>804615
Да это и есть весь код, кубический сплайн
>>804621
#182 #804621
>>804618
Текстом.
>>804624
#183 #804624
>>804621
import pylab as pl
import numpy as np
x = np.arange(-3,10,0.05)
y = 2.5 np.exp(-(x)2/9) + 3.2 np.exp(-(x-0.5)2/4) + np.random.normal(0.0, 1.0, len(x))
nParam = 2
A = np.zeros((len(x),nParam), float)
A[:,0] = np.exp(-(x)2/9)
A[:,1] = np.exp(-(x0.5)
2/4)
(p, residuals, rank, s) = np.linalg.lstsq(A,y)
pl.plot(x,y,'.')
pl.plot(x,p[0]
A[:,0]+p[1]*A[:,1],'x')
pl.show()
>>804625>>804628
#184 #804625
>>804624
Ай лол,сейчас найду через кого скинуть
>>804628
6 Кб, 292x154
#186 #804640
>>804628
Все это по формуле
>>804874
#187 #804874
>>804640
>>804628
Аноны, ну так можете пояснить?
>>804913
#188 #804913
>>804874
в чём собственно вопрос?
>>804935
#189 #804935
>>804913
Как это все происходит? Интерполирование и выбор knotpoint, я никак не могу разобраться.
>>804958
#190 #804958
>>804935
ручками подбираешь или выпуклой оптимизацией
это просто гиперпараметры
>>804970
#191 #804970
>>804958
И как это все подбирается? Я не понимаю, на кой хуй здесь нужен

>(p, residuals, rank, s) = np.linalg.lstsq(A,y)


и

>pl.plot(x,p[0]A[:,0]+p[1]A[:,1],'x')


Особенно за 2-ю строку.
>>804992
#192 #804992
>>804970
Ну ты че, тупой? Не можешь загуглить что делают функции exp, lstsq и plot?
>>804994
#193 #804994
>>804992
Я знаю, что они делают, но не понимаю, нахуя.
Нахуй нам нужен этот np.linalg.lstsq(A,y)
И зачем мы умножаем x,p[0]A[:,0]+p[1]A[:,1]
>>805073
#194 #805073
>>804994
Хорошо, на другом примере, если у меня есть некоторая обучающая выборка с зашумлением и я хочу ее интерполировать, то что мне делать?
Как мне построить ее модель? Если это, например, синусоида?
>>805079
#195 #805077
Хотел бы написать что-то для практики на Java. Вспомнил, как какой-то чувак в зк выкладывал свой код с использованием нейросетей и внезапно захотел себе тоже.
Поскольку это учебный проект, хотел бы всё сделать с нуля используя только стандарную библиотеку. Задачу думаю взять какую-то наглядную с обработкой изображений, например, распознавание рукописного текста (или хотя бы цифр).
Проблема в том, что знаний в области МЛ у меня почти никаких нет: спроектировать грамотно сеть и всё продумать я не смогу. Из МЛ я только прошёл курс китайца на курсере, да и то давно.
Идеально было бы найти какую-то статью где вся математика уже сделана, а мне остаётся только реализовать.
Взлетит или нет? Будет ли слишком медленно работать из-за того, что нет быстрых операций над матрицами/векторами?
#196 #805079
>>805073
a sin(bx) + c
>>805116
#197 #805116
>>805079
То-есть взять ту же самую модель синусоиды, сравнить ее с нашими данными, и получаем ту самую ошибку?
И потом берем ошибку и умножаем на модель данных, получая приближение к изначальной функции.
Только где тут интерполяция?
>>805135
27 Кб, 613x533
#198 #805135
>>805116
что за хуйню я читаю
>>805149
#199 #805138
>>804526
Лол, заказал где-то год назад Бишопа с Амазона, какое-то копеечное издание из Индии по лицензии Springer. Пришла книжонка с неразрезанными плотными листами и хуёвейшей печатью.

Через полгода на NIPS в Канаде подвалил к представителю издательства и рассказал про то, как разрезал книгу, как графье в 19 веке, чувиха почему-то очень расстроилась.
>>805145>>805176
47 Кб, 604x604
#200 #805145
>>805138
P.S. Зашел в тред и не понимаю, как с вами, придурками тут общаться, если вы не можете разобраться ни в чем, и китаец вас ничему не научил?

Кстати, взял там же на NIPSe автограф у Ng
#201 #805149
>>805135
Посмотри в код, который я сбрасывал выше, он по учебнику дается и я нихуя не могу разобраться.
Обещали интерполяцию, а дали какую-то хуевую аппроксимацию с методом ошибки наименьших квадратов.
>>805160>>805177
#202 #805160
>>805149
А не, в глаза долблюсь, лол.
>>805177
#203 #805176
>>805138
мудило решил сэкономить двадцать долларов
результат - 700 страниц индийcкой туалетной бумаги
#204 #805177
#205 #805350
Так, ананасы, нужна помощь по теану. Увеличил я выход до 20-ти чтоб распознавать несколько цифр одновременно.

y = T.imatrix('y') теперь матрица а не вектор

layer3 = LogisticRegression(input=layer2.output, n_in=500, n_out=20) - 20 выходов

преобразовываем выход из 2д в 3д чтоб считать средние значения по десяткам
self.p_y_given_x = self.p_y_given_x.reshape((self.p_y_given_x.shape[0],2,10))

как правильно записать целевую функцию если раньше она была такой

def negative_log_likelihood(self, y):
logtmp=T.log(self.p_y_given_x)
return -T.mean(logtmp[T.arange(y.shape[0]), y])
>>805377
#206 #805377
>>805350

> средние значения


максимальное, т.е
42 Кб, 474x600
#207 #805659
Почаны, а для чего вы хотите использовать/используете машинное обучение?
#208 #805660
>>805659
Хочу бота состряпать для начала, а потом кое-что другое.
#209 #805683
>>805659
для того, чтобы опубликовать статьи и получать за это деньги.
>>805722
#210 #805722
>>805683
Хитрючий пидор
#211 #805759
>>805659
Просто интересно. Хобби можно сказать.
#213 #805880
>>805839
Такое впечатление, что какой-то мимотурок, не слышавший про R, описал этот тред. Целый набор разнородной хуйни, которая давно есть в R, притом большей частью стандартно

To start with the machine learning libraries, install the basic and most important ones first, for example, numpy and scipy.

To see and do operations on data: pandas (http://pandas.pydata.org/)
For all kinds of machine learning models: scikit-learn (http://scikit-learn.org/stable/)
The best gradient boosting library: xgboost (https://github.com/dmlc/xgboost)
For neural networks: keras (http://keras.io/)
For plotting data: matplotlib (http://matplotlib.org/)
To monitor progress: tqdm (https://pypi.python.org/pypi/tqdm)
#214 #805889
>>804430
Вводятся граничные условия, в т.ч. на производные. Дальше хуярится СЛАУ и решается.
#215 #805900
>>805880
На R нет Tensorflow и Keras. Там вообще есть нейросети под GPU?
Так же под Python есть NLTK для NLP. Добавлю, что все умы в лабораториях хуярят на Python. Кто-то по старинке на Matlab, кто-то для тырпрайса на Java.
(Т.к. Deep Learning появился несколько лет назад)
>>805939
#216 #805939
>>805900

>На R нет Tensorflow и Keras.


Tensorflow есть, пакет rFlow. Керас не знаючто это. Нейроночки сверточные? Если да, то есть MXNet, он не хуже тензорфлоу этого вашего.

>Там вообще есть нейросети под GPU?


Есть. MXNet можно собрать с поддержкой куды. Есть еще что-то, не помню названия. Из диплернинга есть еще всякие машины Больцмана и аутоенкодеры.
#217 #805995
>>805839
Меня удивляет почему это раньше еще никто не сделал, хотя бы на уровне бойлерплейта.
106 Кб, 736x737
sage #218 #806046
PCA + XGB + DL
#219 #806234
насколько реально написать нейросеть, которая сможет рерайтить новости?
и реально ли это сделать с Java?
>>806339
1017 Кб, Webm
#220 #806339
>>806234
всё зависит от мощности твоего GPU-кластера
>>806516
#221 #806516
>>806339
а клауд калькулэйшнс можно использовать?
>>806519
#222 #806519
>>806516
На Амазоне есть инстансы с видюхами, в общем-то ничетак.
#223 #806605
>>805880
потому что R используют только выпускники факультетов статистики. У них мозги поломаны настолько, что они не приходят в ярость от этого языка. Но и кэггл код на R выигрывает редко.
>>806668
#224 #806668
>>806605

>R используют только выпускники факультетов статистики. У них мозги поломаны настолько, что они не приходят в ярость от этого языка.


А от чего там можно приходить в ярость?
#225 #806681
>>805880
Вали нахуй со своим R, он нужен то паре аутистов.
Предлагаю банить нечеткопетухом и R-макак
#226 #806685
ВЫ НЕ ПОНЯЛИ СУТИ ТРЕДА
ЗДЕСЬ ПАЦАНЫ УГОРАЮТ ПО ПИЗДОНУ И ЕБАШУТ МАТАН, ЛЮБОЙ PHD-ПЕТУХ ПОТЕЧЕТ ОТ УРОВНЯ ЗНАНИЙ, КОТОРЫЙ БУДЕТ ВАМ ДОСТУПЕН.
ВЫ РЕШИЛИ ПРИЙТИ К НАМ В ТРЕД СО СВОЕЙ ХУЙНЕЙ? ВЫ БУДЕТЕ ОПУЩЕНЫ, АУТИСТЫ, МЫ ВВЕДЕМ СВЯЩЕННУЮ ПИЗДОНОВОЙНУ
168 Кб, 789x498
#227 #806736
Стоит ли изучать теорию меры или нет?

Я закончил учебник по терверу, но там было без теории меры, борелевских множеств и прочего говна. Вот думаю, а нужно ли вообще это все для ML или лучше забить и двигаться дальше, читать Бишопа или ISL/ESL?
>>806742
#228 #806742
>>806736
если мера не интерсна - читай бишопа, у него мер нет
мера позже может пригодиться, тогда и посмотришь если мл не заёбёт к тому времени xe xe
#229 #806751
Как вы понимаете все эти формулы, пиздец.
>>806812
#230 #806812
>>806751
Учили математику?
>>806951
89 Кб, 697x589
#231 #806900
Множества и (что то же самое) логика - это то, с чего вообще начинались нейроночки. Я понимаю, что ИТТ кроме меня никто не читал ту самую статью МакКаллока и Питтса 1943 года, которая считается основополагающей в этом направлении, но факт остается фактом, взаимодействия между нейронами в этой статье рассматривается с позиции матлогики. Опять же, активность нейронов не только спайковая по типу "все или ничего" 1 или 0, true или false. Есть еще градуальные потенциалы, которые лежат в основе ЭЭГ, да вся сетчатка работает именно на них, без спайков как таковых. А градуальные потенциалы не сводимы к бинарной логике, там не только 0 или 1, но и весь интервал между нулем и единицей. Т.е. очевидно, что эту активность нейронов можно формализовать только нечетко-логическими операциями. Даже те же сигмоиды в нейроночках это типичные функции принадлежности, вероятность тут вообще не при чем.
>>806905
25 Кб, 697x589
#232 #806905
>>806900
Mnozhestva i (chto to zhe samoye) logika - eto to, s chego voobshche nachinalis' neyronochki. YA ponimayu, chto ITT krome menya nikto ne chital tu samuyu stat'yu MakKalloka i Pittsa 1943 goda, kotoraya schitayetsya osnovopolagayushchey v etom napravlenii, no fakt ostayetsya faktom, vzaimodeystviya mezhdu neyronami v etoy stat'ye rassmatrivayetsya s pozitsii matlogiki. Opyat' zhe, aktivnost' neyronov ne tol'ko spaykovaya po tipu "vse ili nichego" 1 ili 0, true ili false. Yest' yeshche gradual'nyye potentsialy, kotoryye lezhat v osnove EEG, da vsya setchatka rabotayet imenno na nikh, bez spaykov kak takovykh. A gradual'nyye potentsialy ne svodimy k binarnoy logike, tam ne tol'ko 0 ili 1, no i ves' interval mezhdu nulem i yedinitsey. T.ye. ochevidno, chto etu aktivnost' neyronov mozhno formalizovat' tol'ko nechetko-logicheskimi operatsiyami. Dazhe te zhe sigmoidy v neyronochkakh eto tipichnyye funktsii prinadlezhnosti, veroyatnost' tut voobshche ne pri chem.
>>806907
#233 #806907
>>806905
Паста с фочана, раходимся
>>806911
sage #234 #806911
>>806907
И наборы (само) логика - это где все это началось сетки настроение. Я понимаю, что в ITT, но меня никто не читает той же статье McCulloch и Pitts в 1943 году, считается важным в данном руководстве, но совершенно очевидно, что международное общаться между нейронами в этой статье обсуждается математическую логику ситуацию. Опять же, активность нейронов, а не только своего рода шип "или все" 1 или 0, истинным или ложным. Шаг за шагом потенциалы, основанные на ЭЭГ, но для Retina работает, так что шипом. Другие потенциалы, которые не могут быть сведены к бинарной логики, а не только 0 или 1, но в диапазоне от нуля до единицы. Они. Совершенно очевидно, что формальная нейронную активность может только нечеткие логические операции. Даже те, в функции сигмовидной сетки настроение обычного членства, кажется, ничего общего с.
6 Кб, 471x185
#235 #806951
>>806973
#236 #806973
>>806951
И что тут такого?
>>807006
#237 #807006
>>806973

Где ты достал силы, чтобы читать эти шифрованые манускрипты?
>>807025
#238 #807025
>>807006

> Где ты достал силы, чтобы читать эти шифрованые манускрипты?


Психостимуляторы. Шучу, но лишь частично.

Конкретно по тому пику можешь почитать вот эту статью с цветными картинками:
http://colah.github.io/posts/2015-09-Visual-Information/
#239 #807207
нейроночки - артисты в душе
https://vimeo.com/175540110
#240 #807387
О-па, анончики, вас то я и искал.

Как раз хотел бы работать с ИИ, нейросетями нк и возможно биоинформатикоф в общем. Но так как знаний в этой сфере (как и в знании ЯП) не больше, чем в статье википедии, думаю, что с вами у меня всё получится.
>>810007
#241 #807390
>>799934
Блин, ток к вам пришёл, а уже обзмеился. У вас тут атмосфера хорошая
#242 #807423
>>802675
Блять, на этой фотографии она выглядит просто отлично, а на всех остальных.... meh

Зря гуглил. Это разбило мне мой манямирок.

Сука...
>>807433
#243 #807433
>>807423
Она бы тебе все равно не дала.
>>807436
#244 #807436
>>807433
Да я как бы и не хотел...
#245 #807591
Аноны, можно ли нахуй забить в книге на часть с линейным дискриминантным анализом?
Или это очень важно и не стоит? Ну просто не интересно, пиздец, да я еще и не понимаю, нахуй он нужен?
Иду дальше по книге, нигде не вижу, чтобы к нему возвращались.
Вы используете сокращение размерности в ваших проектах? Оно вообще нужно?
>>807604
#246 #807604
>>807591
забивай всё что не интересно
>>807608
#247 #807608
>>807604
А может оно дохуя нужно будет?
>>807610
#248 #807610
>>807608
если будет нужно для чего нибудь интересного - посмотришь
#249 #807616
алсо я хуй знает что у тебя там за книга
если бишоп то он нахуй ненужно, опускай всё до 4.3
>>807620
#250 #807620
>>807616
Stephen Marsland Machine Learning
#251 #807698
Бля, а вообще удобно, взять матрицу, очистить от шума и расположить нормально.
Интересно, получается LDА или PCA нужны только для представления данных в визуальном виде и для того, чтобы нейроночка могла легче обучиться? Для чего еще на практике оно может пригодиться?
Жаль, что я хуево знаю матан и не могу понять все эти операции со скалярами и матрицами.
Где про все это можно почитать, чтобы для даунов было понятно, линейная алгебра, матрицы, скаляры, скалярное выражение.
>>807723
#252 #807723
>>807698
визуализация да, сжатие данных, уменьшение размерности
нейроночки обожают пца

> Где про все это можно почитать, чтобы для даунов было понятно


конец списка
>>807736
#253 #807736
>>807723

>конец списка


Какого списка?
>>807738
#255 #807741
>>807738
Сразу бы дал ссылку, где спиздить.
Как не русский прямо.
>>807745>>807750
#256 #807745
>>807741
я латыш
в шапке ссылки есть
#257 #807750
>>807741
Мне оттуда до 5 главы читать только Включительно?
>>807757>>807774
#258 #807757
>>807750
Так там про скаляры ничего вообще не написано.
Матрицы, Векторы, Векторное пространство, даже нейроночка с графами задета, а скаляров и скалярного выражения нету.
>>807760
#259 #807760
>>807757
а не, я даун, все нормально.
#260 #807774
>>807750
до 6й включительно
SVD - самый сок PCA
11 Кб, 688x280
#261 #808053
У меня может быть платиновый вопрос.
Есть одна нейросеть. Взял исходники на JS и переписал их на Си++. В качестве активационной функции используется логистическая функция (то, что называют "сигмойд").
Как только взвешенная сумма с предыдущих нейронов и биаса переходит за число 37, процессор округляет получившееся число до единицы
https://www.wolframalpha.com/input/?i=(1+e^(-37))^-1
То есть если нужно посчитать саму e^(-sum), то сумма может дойти до ~700, и всё будет ок, но там число вида 0,9999999... которое проц хранить правильно не умеет.

Так как output = 1, то дельта (target x output x (1-output)) всегда равна нулю, и веса не исправляются.
Теперь вопрос: как с этим бороться? Единственное, что я придумал это проверять: если получившийся вес нейрона больше 0.99999, то я делаю именно такой вес.
#262 #808085
>>808053
Отнимай максимум от входящих значений, то есть если на вход вектор v, то делай v = v - max(v).
>>808096
#263 #808096
>>808085
Там наоборот же дельта очень маленькая. Сам посчитай

target x (1-10^(-N)) x (1 - (1-10^(-N))) =
target x (1-10^(-N)) x 10^(-N) =
target x (1-10^(-N)) x 10^(-N) =
target x (10^(-N) - 10 ^ (-2N) ) =
target x ~(0.000001-0.000000000001)

А если дельта маленькая, то и change тоже
#264 #808116
>>808053
http://cs231n.github.io/neural-networks-1/#actfun

Sigmoids saturate and kill gradients. A very undesirable property of the sigmoid neuron is that when the neuron’s activation saturates at either tail of 0 or 1, the gradient at these regions is almost zero. Recall that during backpropagation, this (local) gradient will be multiplied to the gradient of this gate’s output for the whole objective. Therefore, if the local gradient is very small, it will effectively “kill” the gradient and almost no signal will flow through the neuron to its weights and recursively to its data. Additionally, one must pay extra caution when initializing the weights of sigmoid neurons to prevent saturation. For example, if the initial weights are too large then most neurons would become saturated and the network will barely learn.
>>808160
#265 #808160
>>808116

> if the initial weights are too large then most neurons would become saturated


Я двумя способами инициализировал:
1. равномерно (-1; 1)
2. нормальное распределение с вершинами в -1 и 1 (и входящим только в тот же промежуток (-1; 1) ), и почти ничего не падает на ~0. Такой вариант распределение посоветовали на Швабре, мол, веса должны как можно сильнее отличаться от 0, чтобы их легче было обучать, потому что если на всех весах будут нули, то такую сеть не обучить.

Тогда какое мне распределение делать? Нормальное, но с вершинами в -0.75 и 0.75?

Кстати, ещё кое-что. Чтобы получить 37, можно сложить всего-то 1000 нейронов с взешенными значениями 0.037. Или 100 с 0.37. Или всего 74 со средним взвешенным значением 0.5; это же всего-ничего, мне не хватает столько нейронов на слое.
#266 #808174
Аноны, а нейроночку можно использовать для рисования немного глубже?
Например, есть сфера, источник освещения и листы разного цвета.
По сути, надо выполнить задачу аппроксимации функции.
Скормлю нейроночке около десяти рисунков с различным положением источника освещения и сферы и нейроночка тогда научится сама подбирать тени?
Можно ли также научить ее делать анимацию материалов?
То-есть зайти в какой-нибудь Marvel, где просчитывается работа тканей и в зависимости от положения частей и их скорости, размера и плотности материала научить нейроночку линией рисовать то, как платье двигается?
Правда тут будут играть роль еще и складки, ведь ткань может быть завернута по разному, пришита, застегнута на молнии.
То-есть у меня программа, я рисую платье, нейроночка сама ставит на него тени, сама анимирует движения в зависимости от того, как двигается персонаж.
По сути научиться говорить с нейроночкой на 1-м языке, она видит форму, ищет штриховку или тени, сама найдет точки схода.
>>808201>>808373
27 Кб, 546x475
#267 #808201
>>808174

> около десяти

>>808202
#268 #808202
>>808201

>сотен


А для больших бликов должно вполне сработать и с 10.
>>808383
#269 #808373
>>808174
Попробуй лучше гуглувскую адаптировать, там можно сделать так, чтобы стиль одной картинки применить к стилю другой.
Глубокие нейросети обучаются на примерно 10к изображений, причем на нихуевых видеокартах с кудой (на проце время прохода такой сети может быть несколько десятков секунд, и бэкпроп еще столько же, на видюхе для одного изображения все может примерно за секунду сделаться).
>>810008
#270 #808383
>>808202
Есть идея сделать игру на нейронных сетях.
2-х мерную стрелялку или что-нибудь вроде этого.
Суть в том, что нейронная сеть будет просчитывать свет, поведение окружения, игровые условия.
Только интересно, как это по ресурсам будет?
>>808386>>808395
#271 #808386
>>808383
почему именно на нейронных сетях?
как ты себе это представляешь?
>>808392
#272 #808392
>>808386
Мне кажется, что так можно реализовать вообще все, что угодно, то-есть я могу обучить нейронную сеть алгоритму Вороного и при выстреле в стекло она будет просчитывать физику, свет и трещины.
То-есть игрок постоянно будет подавать информацию на входы уже обученной нейронной сети.

>почему именно на нейронных сетях?


Хуй знает, подход очень интересен.
>>808396>>808398
#273 #808395
>>808383
Дохуя по ресурсам. Скорее всего даже успевать просчитывать все не будет.
>>808398
#274 #808396
>>808392
Попроси свою мамау сворить борщь через нейронную сеть, дай на вход "мама, что на обед", а на выход обучи расбери пай сигналить на ноги с сервомотором поглаживать твой животик. Подход чень итересен.
>>808400
#275 #808398
>>808392
А все это будет в 2D/3D редакторе.
И нейронная сеть будет генерировать уже заготовленную анимацию.
В том же юнити, например, нельзя нормально сделать дыры от пуль в стене, а где-нибудь в Блендере, с помощью сторонних скриптов можно.
Ну так беру и совмещаю без лишнего геморроя, и за образование трещин здесь будет отвечать уже не PhysX, а нейронная сеть, которая сгенерирует осколки, а PhysX будет обрабатывать уже физику для них.
>>808395
Разве уже обученная сеточка не работает быстрее обычной?
>>808399>>808403
#276 #808399
>>808398

>Разве уже обученная сеточка не работает быстрее обычной?


Че-т проиграл.
Кури короче основы нейросетей. Куча материалов в инете.
>>808402
#277 #808400
>>808396
Если интонация в голосе не свидетельствует о серьезном уровне голода, просто симулировать жест роботизированной рукой, при помощи сервомоторов, который намекнет на желаемое время приготовления борща.
#278 #808402
>>808399
Да я уже вкурил.
Обученная сеточка же не требует трат ресурсов на алгоритм обучения, неужели тоже жрет так уж дохуя?
Ну ладно, тогда не помеха, пусть покупают больше видеокарт.
>>808405
#279 #808403
>>808398
физикс не рисует осколки, он, как раз, генерирует их реальное положение, что как бы и есть "физика" в твоем понимании.
>>808404
#280 #808404
>>808403
Физикс использует уже заранее сделанную анимацию, он не умеет в динамику вроде.
А вот считать, как и куда разлетятся осколки он умеет.
>>808406
#281 #808405
>>808402
тебе нужно точно генерить осколки на основе окружающей среды, сеточкой ты можешь апроксимировать все случаи генерации(много наборов), но в итоге ты получишь убогую реализацию везде, не будет такой сеточки которая одинаково хорошо сгенерит поведение тел в разных средах.
>>808408
#282 #808406
>>808404
физиксу вообще похуй на анимацию, он считает модель поведения тел в зависимости от окружающих факторов. Итог передается в карту на рендер.
>>808409
#283 #808408
>>808405
Мне нужно лишь генерировать лишь карту осколков.
То-есть, когда пуля попадет в стекло, произойдет событие, все данные подаются на на входы сеточки и сеточка сгенерирует карту осколков, всем остальным занят физикс.
>>808410
#284 #808409
>>808406
Я говорю про разрушаемые меши в физиксе.
А тот же самый Вороной и сам по себе жрет дохуя ресурсов.
И все данные можно очень даже редуцировать и разбить на классы, если подключить тот же поиск по дереву.
#285 #808410
>>808408
Чем теб мешает аплаить карту осколков через обычные темплейты? Любая дополнительная характеристика, типа углы соприкосновения пули со стеклом, лекто апплаятся через геометрически формулы. В чем проблема? Тебе нужно чтобы сеточка для тебя выучила все основы и себя не напрягать?
>>808411
#286 #808411
>>808410

>Тебе нужно чтобы сеточка для тебя выучила все основы и себя не напрягать?


Да, хочу ебаться с сеточками.
>>808412
#287 #808412
>>808411
У меня есть подозрение, что сеточка даст тебе дисторшн в поводении на уровне шакалов джепег. Ну еслиесть время глянь, потом расскажешь.
>>808420
#288 #808420
>>808412
Да, больше и не надо, чтобы ресурсы лишние не жрать.
На самом деле она может выжрать даже меньше, чем сам Voronoi Fracture.
В любом случае попытаюсь что-нибудь с 2д редактором сделать интересного, а может и с куском ткани в 3д.
Мне кажется, что простейшая 2д физика и освещение не займет много ресурсов.
>>808422>>808423
#289 #808422
>>808420
збс
как тренировать будешь? у тебя есть выборка данных?
>>808435
#290 #808423
>>808420
если у тебя есть обученная модель, то почти не будет разницы в производительности с применением темплейтов, потомучто это почти одно и то же.
>>808435
#291 #808435
>>808422
Ну в случае с тканями через меши, в случае с освещением есть несколько подходов.
Думаю пока через карты освещения, которых сгенерю целую кучу и нейроночка будет знать, что есть меш и он находится на таком-то расстоянии от источника света и будет генерировать наиболее подходящий свет.
Да, будет немного мыльновато, но у меня нет ресурсов разбирать HD.
>>808423

>то почти не будет разницы в производительности с применением темплейтов


Так оно и хорошо.
#292 #808585
Расскажите про возможности нейроночек в рисовании?
Эти фильтры мне понравились, а можно ли заставить нейроночку искать именно 1-н объект на рисунке и в зависимости от его состояния заменять его другим?
>>808599>>808803
#293 #808599
>>808585
Чтобы конкретно рисовали еще не встречал нейроночки.
Есть нероночки, которые выдают границы объектов, есть нейроночки, которые полностью выделяют объекты своими цветами. Т.е. в этих случаях конкретно картинка получается. Вот что-то типа второго варианта тебе бы могло подойти, с условием, что замена будет выполняться каким-то отдельным алгоритмом.
Гугловская сеть же изначально заточена под простую классификацию, а те рисуночки делаются так: снимаются данные нейрончиков с одного из внутренних слоев и визуализируются.
#294 #808803
>>808585
Более 90% работы с любой нейроночкой - это сбор и подготовка данных. Если сможешь выбрать правильную нейроночку, собрать нужные данные и оформить их в пригодном для нейроночки виде, считай задача решена.
#295 #808894
Куда тренд пропадает постоянно?

Засуньте его в прикреплённый
>>809452
#296 #809452
>>808894
от местных закрепляющих дождёшся
я 3 года жду пока они рнр/js мразей в /wеb/ выкинут
>>809454
#297 #809454
>>809452
Чем они тебе мешают-то? Не обращай внимания
>>809456
#298 #809456
>>809454
ну ок
#299 #809873
>>801998
Бамп. Мне тоже интересно.
>>809882
#300 #809882
>>801998
>>809873
Ну, если у вас не хватает мозгов зайти в поисковик и пробить имеющееся предложение, то можете работать веб-макаками дальше.
#301 #809926
>>801998
Макаки больше, если ты не уберпроффинейронщик. Заебали тупить. Работа либо денежная, либо интересная. Се ля ви
#302 #809951
Реально ли вкатываться на самообучении? С математикой дружу, но как конкурировать с задротами из топовых вузов? Или мест хватит всем?
>>809967>>810001
#303 #809967
>>809951
Конкурировать где? Каких мест?
>>809977
#304 #809977
>>809967
Конкурировать на места специалистов по ML.
#305 #810001
>>809951
Да нихера щас толкового еще не сделали на нейроночках, последнее че сделали - описание изображений естественным языком и все заглохло пока. Может скоро еще чем-то порадуют.
#306 #810007
>>807387
о, я как раз этим и занимаюсь. тут прикольно, вкатывайся к нам. могу переслать тебе пару параграфов из введения заявки на грант, которые я помог написать.
>>810030>>810044
#307 #810008
>>808373

>на видюхе для одного изображения все может примерно за секунду сделаться


нет. обычно берут сразу батч изображений (64 или 128), один проход батча около 70 милисекунд. Посмотри сбенчмарки торча7. У меня сейчас в задаче 16 образцов за 1.8 секунд считает и в итоге эпоха около часа-полтора, а всего надо под 100-200 эпох. Я уже заебался с такими скоростями ждать.
#308 #810030
>>810007
А ты биоинформатег? Как туда вкатиться? Есть ли работа?
>>810182
#309 #810044
>>810007
Покажи
>>811488
#310 #810128
Всем привет. Подскажите, пожалуйста, почему многие люди используют Lua для написания нейронных сетей? Чем он отличается от других скриптоязыков, таких как Руби или JS?
#311 #810179
>>810128
Привет
>>810180>>810181
#312 #810180
>>810179
Как дела?
>>810183
#313 #810181
sage #314 #810182
>>810030
судя по хедхантеру или бластим вакансий очень мало и туда требуются скорее биологи с кодерскими скилламитипа как на фбб мгу и не ниже магистра
при уровне зарплат ниже процентов на 20-30
так дело обстоит?
>>811582
#315 #810183
>>810180
Проснулся, умылся... Хотел пойти и познакомиться с одной тянкой, которая листовки у метро раздаёт и постоянно мне улыбалась, но когда сегодня подошёл - её там не было.
Хоть я и не расстроился, всё равно жаль немного. Мб завтра повезёт.

А у тебя?
>>810185
#316 #810185
>>810183
Херово. Не рассказывает никто про lua.
>>810186
#317 #810186
>>810185
Сам почитай.

Я пока учусь всему этому, так что подсказать не могу. Уверен, что если ты поищешь инфу самостоятельно, то узнаешь всё, что необходимо. Поверь мне
>>810187
#318 #810187
>>810186

>Сам почитай.


Да искал я. Нигде не написано почему именно lua.
Удачи в обучении. Сам сейчас 2 года сижу в джава энтерпрайзе, думаю потиху начать перекат в ML. Да и тему для диплома в универе желательно хороший выбрать.
#319 #810188
>>810187

>хорошую

#321 #810287
Блять, никогда не имел дело с книгами на ангельском такого рода. Мдэээмс
74 Кб, 479x479
#322 #810333
>>810187
торч же на луе, не?
>>810450
sage #324 #810450
>>810333
OpenFace на питоне.
>>812017
#325 #810477
>>810187
Прост))
Без торча луа в мл мало кому нужен. Автор(ы) писали на луа для себя просто потомучто, ну и постепенно набралось на фреймворк.
#326 #810888
>>808053
В общем, я сделал так. Я раскидываю веса с нормальным распределением 97% значений в [-0.5; 0.5], а потом нормализую веса по алгоритму отсюда: https://habrahabr.ru/post/198268/
Получалось, что я каждый вес на втором слое умножаю на 0.02. К моему удивлению такие маленькие веса работали, и сеть обучалась
#327 #810908
>>808053

>то, что называют "сигмойд"


Никогда в этом слове и-краткой не было. https://ru.wiktionary.org/wiki/-оид

>Теперь вопрос: как с этим бороться?


Batch normalization layer. При прямом проходе он считает среднее арифметическое и дисперсию всего batch'a, далее вычитает среднее и делит на дисперсию. При обратном проходе градиент возьми отсюда https://kratzert.github.io/2016/02/12/understanding-the-gradient-flow-through-the-batch-normalization-layer.html
>>811015
147 Кб, 1920x1080
#328 #811015
>>810908

> At the moment there is a wonderful course running at Standford University, called CS231n - Convolutional Neural Networks for Visual Recognition


Кстати, очень рекомендую эти лекции.
https://www.youtube.com/playlist?list=PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC

В 5-6 лекциях объясняется batch normalization, различные функции активации, методы оптимизации и прочее.
>>811053
#329 #811053
>>811015
А на ютубе есть что-то новое чего нет в их пдфках? Не люблю лекции как формат, туу слоу.
5005 Кб, 700x394
#330 #811209
До здесь, мы видели только один недостаток в статистике частотной. Ну, это только начало.

20-й век увидел массивный рост в статистике частотной применяется к численным моделям, чтобы проверить, отличается ли от другого один образец, параметр является достаточно важным, чтобы быть в модели и variousother проявлений проверки гипотез. Но статистика страдала частотной некоторые большие недостатки в его конструкции и интерпретации, которые представляют собой серьезную озабоченность всех проблем реальной жизни. Например:

1. р-значения, измеренные с образца (фиксированный размер) статистики с некоторыми изменениями с намерением остановки изменения намерения и размер выборки. i.e Если два человека работают на тех же данных и имеют разные остановочный намерения, они могут получить два различных p- значения для одних и тех же данных, что нежелательно.

Например: Человек А может выбрать, чтобы остановить подбрасывание монеты, когда общее количество достигает 100 в то время как B останавливается на 1000. Для различных размеров выборки, мы получаем различные т-баллы и разные р-значения. Кроме того, намерение остановить может изменяться от фиксированного числа перестроек к общей продолжительности листать. В этом случае, мы обязаны получить различные р-значения.

2- доверительный интервал (C.I), как р-значение сильно зависит от размера выборки. Это делает остановки потенциал абсолютно абсурдно, так как независимо от того, сколько человек выполняют тесты на одних и тех же данных, результаты должны быть последовательными.

3- Доверительные интервалы (C.I) не являются распределения вероятностей, поэтому они не дают наиболее вероятное значение для параметра и наиболее вероятные значения.

Эти три причины достаточно, чтобы заставить вас идти в думать о недостатках в подходе и частотной почему существует потребность в байесовского подхода. Давайте найдем его.

Отсюда, мы сначала понять основы байесовской статистики.
>>811222
#331 #811222
>>811209
Паста с форчана, расходимся

Up here, we saw only one flaw in the frequency statistics. Well, that's just the beginning.

The 20th century saw a massive increase applied to numerical models in the frequency statistics to check whether differs from another one sample parameter is important enough to be models and hypothesis testing variousother manifestations. But statistics frequency suffered some major weaknesses in its design and interpretation, which are a major concern to all the problems of real life. For example:

1. p-values ​​measured with the sample (fixed size) statistics, with some modifications with the intention of stopping the change of intention and the sample size. i.e If two people are working on the same data and stopping have different intentions, they can get two different p- values ​​for the same data, which is undesirable.

For example: A person may choose to stop the coin toss, when the total amount reaches 100 while B is stopped at 1000. For different sample dimensions, we obtain different m-points and different p values. In addition, the intention to stop can vary from a fixed number of modifications to the total duration of flipping. In this case, we have to get a different p-values.

2- confidence interval (C.I), as the p-value is heavily dependent on the sample size. It does stop potential is absolutely absurd, because no matter how many people carry out tests on the same data, the results should be consistent.

3 Confidence intervals (C.I) is not a probability distribution, so they do not give the most probable value for the parameter and the most probable values.

These three reasons enough to make you go to think about the shortcomings in the approach and frequency for some reason there is a need in the Bayesian approach. Let's find him.

Hence, we first understand the basics of Bayesian statistics
#332 #811362
Имеет смысл вкатываться? Всегда нравилась статистика, но сейчас каждый первый абитуриент хочет заниматься дата сайнсом, это немного пугает.
>>811368
#333 #811368
>>811362

> Имеет смысл вкатываться?


> Всегда нравилась статистика


да, имеет

> сейчас каждый первый абитуриент хочет заниматься дата сайнсом, это немного пугает


это тебя не должно волновать
>>811371
#334 #811371
>>811368
Почему не должно волновать?
>>811373
#335 #811373
>>811371
а почему должно пугать?
>>811379
#336 #811379
>>811373
Потому, что задачи то специфические, много дата сайнтистов не надо, а у многих, кто идёт со мной в вузик планы заниматься именно этим. В итоге, когда мы все начнем искать работу, работы на всех не хватит. Хотя все равно буду в вкатываться, хоть мозги развивает.
#337 #811387
Да и из того, что уже на этом сайте обсуждают ml, можно сделать некоторые выводы.
#338 #811398
поддвачну - пускай лучше другие занимаются тем что меня интересует
я боюсь неопределённости, не хочу делится. поем лучше говна
>>811414>>811438
#339 #811414
>>811398

>это мелкобуквенное проецирование


Ну что же ты, русский.
#340 #811438
>>811398
Чем делиться?
>>811449
#341 #811449
>>811438
Он же написал - говном.
#342 #811453
Не люблю неопределенность просто.
#343 #811488
>>810044
Deep learning for molecular biology and neuroscience

Deep learning (DL) is a new approach in the field of machine learning, that recently

gained momentum and sparked a lot of interest in the research community [1]. Unlike

previous, “shallow” approach, DL tries to learn hierarchical representation of the data in hand.

It alleviates the need for feature engineering and curse of dimensionality that limited

performance of a “shallow” approach.

Recently, DL was applied to biological data and yielded remarkable results in the

human splicing code prediction [2], identification of DNA- and RNA-binding motifs [3] and

predicting the effects of non-coding DNA variants at single nucleotide polymorphism precision

The key to successful application of deep learning to a problem is the presence of

hierarchical structure in the data and its spatial or sequential arrangement. Both of these

criteria are fulfilled in protein structures, therefore paving a way for future breakthrough in

computational drug design and protein structure and interaction prediction.

Deep learning field strongly influenced modern theories of brain activity. The most

stellar results were achieved in describing brain visual cortex. Before the DL gained

popularity, the models of visual cortex relied on fitting parameters to predict neural activities of

these areas [5]. However this approach failed to describe higher-level areas such as V4 and

IT. With the insight from machine learning an DL in particular new approach called goal-driven

networks became mainstream. According to this method a set of images is fed to the model,

that is optimized to predict the categories of depicted objects instead of direct prediction of

neural activities. This approach gave the first predictive model of the spiking responses in the

1. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.

2. Xiong, Hui Y., et al. "The human splicing code reveals new insights into the genetic determinants of

disease." Science 347.6218 (2015): 1254806.

3. Alipanahi, Babak, et al. "Predicting the sequence specificities of DNA-and RNA-binding proteins by deep

learning." Nature biotechnology (2015).

4. Zhou, Jian, and Olga G. Troyanskaya. "Predicting effects of noncoding variants with deep learning-

based sequence model." Nature methods 12.10 (2015): 931-934.

5. Decharms, R. Christopher, and Anthony Zador. "Neural representation and the cortical code." Annual

review of neuroscience 23.1 (2000): 613-647.

6. Yamins, Daniel LK, et al. "Performance-optimized hierarchical models predict neural responses in higher

visual cortex." Proceedings of the National Academy of Sciences 111.23 (2014): 8619-8624.
#343 #811488
>>810044
Deep learning for molecular biology and neuroscience

Deep learning (DL) is a new approach in the field of machine learning, that recently

gained momentum and sparked a lot of interest in the research community [1]. Unlike

previous, “shallow” approach, DL tries to learn hierarchical representation of the data in hand.

It alleviates the need for feature engineering and curse of dimensionality that limited

performance of a “shallow” approach.

Recently, DL was applied to biological data and yielded remarkable results in the

human splicing code prediction [2], identification of DNA- and RNA-binding motifs [3] and

predicting the effects of non-coding DNA variants at single nucleotide polymorphism precision

The key to successful application of deep learning to a problem is the presence of

hierarchical structure in the data and its spatial or sequential arrangement. Both of these

criteria are fulfilled in protein structures, therefore paving a way for future breakthrough in

computational drug design and protein structure and interaction prediction.

Deep learning field strongly influenced modern theories of brain activity. The most

stellar results were achieved in describing brain visual cortex. Before the DL gained

popularity, the models of visual cortex relied on fitting parameters to predict neural activities of

these areas [5]. However this approach failed to describe higher-level areas such as V4 and

IT. With the insight from machine learning an DL in particular new approach called goal-driven

networks became mainstream. According to this method a set of images is fed to the model,

that is optimized to predict the categories of depicted objects instead of direct prediction of

neural activities. This approach gave the first predictive model of the spiking responses in the

1. LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." Nature 521.7553 (2015): 436-444.

2. Xiong, Hui Y., et al. "The human splicing code reveals new insights into the genetic determinants of

disease." Science 347.6218 (2015): 1254806.

3. Alipanahi, Babak, et al. "Predicting the sequence specificities of DNA-and RNA-binding proteins by deep

learning." Nature biotechnology (2015).

4. Zhou, Jian, and Olga G. Troyanskaya. "Predicting effects of noncoding variants with deep learning-

based sequence model." Nature methods 12.10 (2015): 931-934.

5. Decharms, R. Christopher, and Anthony Zador. "Neural representation and the cortical code." Annual

review of neuroscience 23.1 (2000): 613-647.

6. Yamins, Daniel LK, et al. "Performance-optimized hierarchical models predict neural responses in higher

visual cortex." Proceedings of the National Academy of Sciences 111.23 (2014): 8619-8624.
#344 #811489
>>811488
Хоть бы pastebin заюзал.

Прчитаю на досуге
#345 #811540
>>811488

Take up minimal space during anti-racism dialogues and protests.Protests and anti-racism discussions should always center on the oppression experienced by people of color. If you are an ally who always has the microphone or the bullhorn, you’re taking up too much space.

Stop contributing to gentrification and calling it “urban development.”Many white allies feel too comfortable talking about white privilege without pushing for their residential communities to legislate against gentrification, which is like reverse white flight at the expense of a mass POC eviction notice.Are you living in a redlining district without calling out the displacement of people of color? Are you content with advocating for POC as long as you don’t have to live in their neighborhood?

Listen when people call you on your microaggressions.Your intent to be anti-racist doesn’t necessarily mean you automatically fit the bill. If people call you on microaggressions, don’t argue—listen. If you knew a word or phrase was offensive, you probably wouldn’t have said it. Being an ally doesn’t mean you’re above being educated on racism.

Never invite POC to the table for the sake of claiming diversity.“Diversity” is now a buzzword and “diversity work” is a very profitable industry. Don’t invite POC to your events so you can say they personify diversity or to hit an organizational quota. Engage with diverse communities because you plan on being intentional about hearing our stories and letting us come to the table authentically.

Refrain from using your POC friends as your “urban dictionary.”If you are engaging in discussions about race, you won’t always understand cultural references. Your POC friends or colleagues are not your “urban dictionary.” (And yes, I’ve heard people ask me if they should look up words I’ve used in the urban dictionary.)You may have to do some research to participate in anti-racism work, and that’s okay. Just think; POC spend their entire lives learning about culture from a white supremacist perspective. A few minutes on Google won’t hurt you.

Stop lifting up non-confrontational POC as examples for what POC activism should be.Martin Luther King, Jr. was a great man—but he wrote more than his “I Have a Dream” speech. Few white folks quote his “Letter from a Birmingham Jail” to talk about King’s Legacy:“I have almost reached the regrettable conclusion that the Negro’s great stumbling block in his stride toward freedom is not the White Citizen’s Counciler or the Ku Klux Klanner, but the white moderate, who is more devoted to “order” than to justice…”

History through a white lens immortalizes the “safe,” diluted parts of liberation in hopes of POC seeking future liberation in similar ways. This framework centers the comfort of white folks and disregards the complexity of processing and rebelling against oppression.

Here’s the thing—experiencing racism is a lot more uncomfortable than experiencing a radical response to it. If you’re uncomfortable with expressions of emotional pain by the oppressed, you may want to work harder at dismantling their oppression.

Call your friends, family and co-workers out on racism—even if a POC isn’t in the room.I’ve had plenty of friends tell me stories about times their family members, friends, or colleagues said something racist. I usually wonder why they are telling me when most of their stories don’t end with them confronting the racism they encountered.How do you confront racism when the spotlight isn’t on you? Does it take a protest or a speech for you to call out racism? Can you address the racism of the people you love most?

Understand that all anti-racism work doesn’t look the same and advocate accordingly.Sometimes anti-racism work is about Black folks. Sometimes anti-racism work is about the entire African Diaspora. Sometimes anti-racism work is about Asian American folks. Sometimes anti-racism work is about Southeast Asian immigrants.“People of color” is an umbrella term that doesn’t address the complexities of the many people who experience racism. Understand that POC don’t go to bed in one-size-fits-all pajamas; our struggles and our liberations require nuanced thinking and action.

Realize that all discussions about race aren’t for you. And be okay with it.Should black people say the “n” word to each other? Should Beyoncé express her pain by calling someone Becky? Some conversations aren’t for white folks. They are intraracial critiques that don’t require an ally’s opinion. An anti-racist ally is like a guest at a family dinner. You’re invited to the table, but you should know what conversations require your abstention.

Recognize that you’re still racist. No matter what.Sometimes, anti-racist allies talk in an “us vs. them” framework when they discuss race, with the “us” being POC and anti-racist allies and the “them” being racist people. That’s an oversimplification of centuries of racism, and it also avoids one simple truth.White people always benefit from institutionalized racism, no matter how anti-racist your ideologies may be. You can’t disconnect yourself completely from the racism from which you benefit, and recognizing that is a large step in rejecting white privilege.

> 1488
збс!
#345 #811540
>>811488

Take up minimal space during anti-racism dialogues and protests.Protests and anti-racism discussions should always center on the oppression experienced by people of color. If you are an ally who always has the microphone or the bullhorn, you’re taking up too much space.

Stop contributing to gentrification and calling it “urban development.”Many white allies feel too comfortable talking about white privilege without pushing for their residential communities to legislate against gentrification, which is like reverse white flight at the expense of a mass POC eviction notice.Are you living in a redlining district without calling out the displacement of people of color? Are you content with advocating for POC as long as you don’t have to live in their neighborhood?

Listen when people call you on your microaggressions.Your intent to be anti-racist doesn’t necessarily mean you automatically fit the bill. If people call you on microaggressions, don’t argue—listen. If you knew a word or phrase was offensive, you probably wouldn’t have said it. Being an ally doesn’t mean you’re above being educated on racism.

Never invite POC to the table for the sake of claiming diversity.“Diversity” is now a buzzword and “diversity work” is a very profitable industry. Don’t invite POC to your events so you can say they personify diversity or to hit an organizational quota. Engage with diverse communities because you plan on being intentional about hearing our stories and letting us come to the table authentically.

Refrain from using your POC friends as your “urban dictionary.”If you are engaging in discussions about race, you won’t always understand cultural references. Your POC friends or colleagues are not your “urban dictionary.” (And yes, I’ve heard people ask me if they should look up words I’ve used in the urban dictionary.)You may have to do some research to participate in anti-racism work, and that’s okay. Just think; POC spend their entire lives learning about culture from a white supremacist perspective. A few minutes on Google won’t hurt you.

Stop lifting up non-confrontational POC as examples for what POC activism should be.Martin Luther King, Jr. was a great man—but he wrote more than his “I Have a Dream” speech. Few white folks quote his “Letter from a Birmingham Jail” to talk about King’s Legacy:“I have almost reached the regrettable conclusion that the Negro’s great stumbling block in his stride toward freedom is not the White Citizen’s Counciler or the Ku Klux Klanner, but the white moderate, who is more devoted to “order” than to justice…”

History through a white lens immortalizes the “safe,” diluted parts of liberation in hopes of POC seeking future liberation in similar ways. This framework centers the comfort of white folks and disregards the complexity of processing and rebelling against oppression.

Here’s the thing—experiencing racism is a lot more uncomfortable than experiencing a radical response to it. If you’re uncomfortable with expressions of emotional pain by the oppressed, you may want to work harder at dismantling their oppression.

Call your friends, family and co-workers out on racism—even if a POC isn’t in the room.I’ve had plenty of friends tell me stories about times their family members, friends, or colleagues said something racist. I usually wonder why they are telling me when most of their stories don’t end with them confronting the racism they encountered.How do you confront racism when the spotlight isn’t on you? Does it take a protest or a speech for you to call out racism? Can you address the racism of the people you love most?

Understand that all anti-racism work doesn’t look the same and advocate accordingly.Sometimes anti-racism work is about Black folks. Sometimes anti-racism work is about the entire African Diaspora. Sometimes anti-racism work is about Asian American folks. Sometimes anti-racism work is about Southeast Asian immigrants.“People of color” is an umbrella term that doesn’t address the complexities of the many people who experience racism. Understand that POC don’t go to bed in one-size-fits-all pajamas; our struggles and our liberations require nuanced thinking and action.

Realize that all discussions about race aren’t for you. And be okay with it.Should black people say the “n” word to each other? Should Beyoncé express her pain by calling someone Becky? Some conversations aren’t for white folks. They are intraracial critiques that don’t require an ally’s opinion. An anti-racist ally is like a guest at a family dinner. You’re invited to the table, but you should know what conversations require your abstention.

Recognize that you’re still racist. No matter what.Sometimes, anti-racist allies talk in an “us vs. them” framework when they discuss race, with the “us” being POC and anti-racist allies and the “them” being racist people. That’s an oversimplification of centuries of racism, and it also avoids one simple truth.White people always benefit from institutionalized racism, no matter how anti-racist your ideologies may be. You can’t disconnect yourself completely from the racism from which you benefit, and recognizing that is a large step in rejecting white privilege.

> 1488
збс!
>>811548
#346 #811544
>>811488

>previous, “shallow” approach



Что ты имел в виду?
>>811564
#347 #811548
>>811540
Мы такую хуйню в школе учили
>>811554
#348 #811554
>>811548
а что race is a social construct и homosexuality is genetic тоже учили?
заставляли окончательно определяться с сексуальной ориентацией в 6 лет?
>>811557
#349 #811557
>>811554
Я про 10-11 класс говорю. Там близкие темы затрагивались до пиздеца
#350 #811564
>>811544
линейные и около-линейные модели, типа деревьев, лесов,свм и тд.
>>811575
#351 #811575
>>811564
И при чём тут МЛ или ДЛ?
#352 #811577
>>810128
Пиздатостью.
#353 #811582
>>810182
Похоже на то. Я спрашиваю, потому что видел несколько программа а ля http://bioinformaticsinstitute.ru/ , где учат конкретно алгоритмической биоинформатике, и непонятно, что потом после этого можно делать.
#354 #811640
https://www.ted.com/talks/blaise_aguera_y_arcas_how_computers_are_learning_to_be_creative#t-407260

Для залётных нюфажин было бы интересно послушать
#355 #811720
2 задачи:
1) классификация текста по трем категориям со сбалансированными классами
1) сентиментная классификация текста, с несбалансированными классами
Много ли смысла при N=1000 заниматься оптимизацией гиперпараметров и токенизатора?
>>812383>>812558
33 Кб, 1001x285
#356 #811738
Ну вот и мой момент славы. Только что смёрджили мой весьма серьёзный PR с фиксом, в очереди на мёрдж до релиза сентябрьского ещё 2-3 PR.

Чувствую себя прикольно, не знаю почему. Что скажете? Коммитили ли вы в апстрим когда-нибудь? Моё имя останется в списке коммитеров релиза навсегда :3
>>811741
#357 #811739
После какого курса я буду понимать математику ml, или лучше самому курить всякие курсы mit и учебники?
>>811741>>811746
#358 #811741
>>811739
Математика там состоит из линала, поэтому читай его сразу.
>>811738
Сап, Ибраим.
>>811742
72 Кб, 799x805
#359 #811742
>>811741
Я знаменит!
Ибраим
#360 #811746
>>811739
1-3 курс. Вообще на самом деле нужен только первый курс (На котором как сказали выше есть линал) и теория оптимизации. Но я думаю последнее ты можешь и заранее прочитать сам, это не сложный предмет. Я например об этом предмете узнал из корсеры, и только потом нам на третьем курсе его преподали.
>>811749
#361 #811749
>>811746
Что по оптимизации можно почитать?
>>811863
#362 #811863
>>811749
Бойдаboyd vandenberghe
>>811875
#363 #811865
Мне надо как можно быстрее сделать тестовое задание с использованием логистической регрессии с методом стохастического градиентного спуска, и все это на питоне с pandas и sklearn. дайте линков где можно про это прочитать за разумное время.
Только вкатываюсь в область, знаний по машин лернингу почти 0. Сейчас смотрю Нг на курсере, там что-то есть похожее, но именно стохастического градиентного спуска я у него не вижу.
Пока что самое близкое что мне надо нашел вот тут:
https://learningwithdata.wordpress.com/2015/04/30/tutorial-on-logistic-regression-and-optimization-in-python/
#364 #811874
>>811865

> тестовое задание


куда работать устраиваешся?
>>811890
#365 #811875
>>811863

> boyd vandenberghe


> 700 страниц


Скажи, что надо читать только Theory?
>>811865
https://gist.github.com/ageitgey/c40fba50b6fece4ee1e7
>>811890
#366 #811890
>>811874
Извини, не могу сказать. Не очень большая компания, насколько я понимаю (т.е. не яндекс, мэйлру и подобные).
>>811875
спасибо, смотрю
>>811893
#367 #811891
>>811865
Стохастический градиентный спуск - то же самое что и обычный градиентный спуск, только производные считаешь не по всей выборке а только по рандомному подмножеству этой выборки. Т.о. больше шансов добраться до лучшего решения. Хотя для лог регрессии в этом нет смысла, функция потерь квадратичная и ты всегда в один минимум сойдёшься, потому-что других нет.

Алсо, тебе реализовать нужно эти методы самому или можно использовать? Вон в scikit-learn есть SGDRegression готовая.
>>811904>>811972
#369 #811895
>>811865
ААА ПОЧЕМУ Я ЧИТАЮ ОЧЕРКДНУЮ КНИГУ ПО МАТЕМАТИКЕ И ДОКУМЕНТАЦИЮ НОВОЙ ЕБЫ А ЭТОТ ДАУН В ЭТО ВРЕМЯ УСТРАИВАЕТСЯ НА РАБОТУ
37 Кб, 604x340
#370 #811904
>>811891

> функция потерь квадратичная



>>811895

> это сожаление

>>811905>>811907
37 Кб, 400x300
#371 #811905
>>811904

>функция потерь квадратичная


Что не так?
>>811914
#372 #811907
>>811904
Да я плачу просто. Всю жизнь видимо буду мамкину ежу кушать.
>>811914
330 Кб, 1700x1734
#373 #811914
>>811905
>>811907
так и будет
пока ты теряешь лучшие годы жизни рвя своё срачло метешей и алгоритмами, такие вот васяны с нулём познаний и без интереса к теме займут все тёплые места
енжой!
#374 #811918
>>811914
И что делать? Страдать У него небось и тянка есть.
>>811967
#375 #811921
>>811914
Ну я и так не на самом плохом месте. Крестокодером проект пилю, правда никак не связано с ML, это жаль, да. Ну в моей мухосрани работу по ML не найти, как хобби остаётся.
#376 #811967
>>811895
>>811914
схуяли вы ребята взяли что я "васян без интереса к теме"? я вообще-то впервые с мл столкнулся 3 года назад, понял что без математики никак, и с тех пор 3 года уже ебашу математику как только могу. и я сейчас вижу что за эти 3 года я с математикой нормально так поразбирался, так что теперь можно и мл начать.
а тестовое задание - это вообще случайно получилось, я не ожидал, знакомый свел.
>>811918

>У него небось и тянка есть.


есть, жена называется, лол
>>812033
#377 #811972
>>811891
>>811893
спасибо

>Алсо, тебе реализовать нужно эти методы самому или можно использовать? Вон в scikit-learn есть SGDRegression готовая.


я думаю что надо по-максимуму использовать все готовое, а велосипедить по-минимуму.
>>811974
#378 #811974
>>811972
Ну тогда загрузишь выборку через pandas, отпрепроцессишь её, (Бинаризуешь категориальные признаки, нормализуешь, заполнишь пропуски в данных или удалишь такие обьекты) и запустишь SGDClassifier.

По идее это строк 15 займёт.
#379 #811976
>>811895

>ЧИТАЮ ОЧЕРКДНУЮ КНИГУ


>ЧИТАЮ


я не знаю осознанно ли ты написал слово "читаю", но _читать_ математику особого смысла нет. я потратил на это очень много времени и когда столкнулся с необходимостью что-то решить/доказать понял что нихуя не умею. книги по математике надо _прорабатывать_, т.е. решать самые сложные упражнения как минимум, и еще пытаться доказывать самому теоремы перед тем как прочитать док-во в книге.
#380 #811978
>>811974
хоть я и не знаю многих слов в твоем посте, звучит как нечто не очень сложное. спасибо.
я наверняка сюда еще напишу по ходу своего продвижения
#381 #812013
>>810128
lua самый быстрый (условно) среди скриптоязыков
#382 #812017
>>810450
там только обертка и препроцесиснг на питоне, сама нейронка на торче-луа
53 Кб, 759x691
#383 #812033
>>811967

> я вообще-то впервые с мл столкнулся 3 года назад, понял что без математики никак, и с тех пор 3 года уже ебашу математику как только могу

#384 #812383
#385 #812558
>>811720
Шот такое эн?
Слушай сюда, сынок. С текстами всё просто. Либо ебашишь представления(подсчут слов, тээфайдиэф, элдэа/элэса), потом накатываешь эсвыэм, нативного бейса или логитрегрессию. Фитишь параметры, чекаешь качество. Всё короч
>>812568>>812577
#386 #812568
>>812558
Эмоциональной окраской не занимался. Отдельные слова-фичи могут неплохо зайти при малом числе классов
#387 #812577
>>812558
N строк в матрице на вход. Вопрос в том, что когда N=1000 и M=очень много, какие теоретические гарантии того, что делая Фитишь параметры, чекаешь качество, я не фичу просто шум?
>>812583>>813465
31 Кб, 348x414
#388 #812583
>>812577
Заебал, почитай статьи. На практике при небольшом числе классов и небольшой выборке делают, то что я тебе назвал. При больших данных перекат к сеточкам через латентные модели.

Это блять машинное обучение, а не сука статистика
>>812590
162 Кб, 460x767
#389 #812590
>>812583
Ты мне назвал очевидные вещи, все пацаны на районе их уже знают.

>Это блять машинное обучение, а не сука статистика


Охуел что-ли, падла? Это Statistical Learning.
#390 #813305
>>811865
Короче с вашими советами я че-то такое сделал
http://pastebin.com/9h1AL6nQ

на вход два csv, первый обучающий, второй тестовый. параметры при обучении: без регуляризации, без свободного коэффициента (intercept), число итераций = 10^6/n, где n - кол-во строк в обучающем наборе. в конце надо вывести коэффициенты построенной модели и доли ошибок, получаемых на обучающем и тестовом наборах.

ошибка у меня получается 0.13, и насколько я понимаю это хорошо

все правильно?
>>813889
#391 #813465
>>812577
Делить нужно выборку на training и validation сеты, тогда и будут тебе гарантии.
>>813529
#392 #813529
>>813465
Это по умолчанию делается.
#393 #813798
Аноны, кто шарит в СММ (скрытые марковские модели)
Реализовал смешанную СММ (дискретная по состояниям, непрерывная по наблюдаемым значениям)
Собственно есть проблема с алгоритмом Баума-Велша, он после переоценки в матрицу ковариации сует вообще Nan значения. Кто может помочь?
Вот код http://paste.ofcode.org/hAg8JYVkAy4KZtjvsFkuQJ
>>815951>>816938
#394 #813889
>>813305
бамп вопросу
>>813897
#395 #813897
>>813889
Нет. Параметры подбирай через GridSearch, scoring function — f1_weigted, проверку делай через cross_val_score с cv=10.
#396 #813907
Можно ли применить ML для генерации контента? Скармливаем спрайты или модельки, получаем какой-нибудь микс.
4169 Кб, Webm
#397 #813968
А почему эти ваши нейроночки не пишут на языках с зависимыми типами? Сразу бы получали строгие доказательства сходимости или отсутствие таковых. Заодно всякие маняалгоритмы 99,9% нейроночек бы отсеились. Осталась бы годнота, которую хоть сейчас в промышленность и куда угодно.
>>813982
#398 #813982
>>813968

> Сразу бы получали строгие доказательства сходимости или отсутствие таковых


это конечно забавный вскукарек, но нет
>>813987
#399 #813987
>>813982
Поясни, почему нет. Любая нейроночка, как и все остальное, представима в виде зависимых типов.
#400 #813995
>>813991
Так и есть, пруверов полно же, в чем проблема?
#401 #814002
>>813897
а можешь объяснить почему мой вариант неправильный?
>>814300
#402 #814036
>>813897
что такое вообще этот GridSearch? зачем мне его использовать? читаю доки и не могу догнать
>>814300
#403 #814041
Сап, гайс. Помните систему мелкомягких, которая определяла, что изображено на фото?
Такой вопрос: есть ли ее исходники?это раз.
Второй: если есть исходники, как ее обучить самому? Что для этого нужно.

Друган работает в магазине техники, хотел бы сделать для веселья определитель марки. Типа 10 стиральных машинок разных брендов и чтоб эта штука определила бренд
>>814302
#404 #814300
>>814002
Потому что у тебя там нет ни подбора параметров, ни проверки нормальной.
>>814036

>Grid Search: Searching for estimator parameters

>>814826
#405 #814302
>>814041
300к и готов сделать.
#406 #814306
Псаны, а объясните поч все дрочат на GPU в ML (tf в частности)? Только из-за того что GPU лучше может в || вычисления? И насколько мощной должна быть видюха тада?
>>814419
#407 #814339

>>Зашёл в ML тред


>>Захотел стать вебмакакой

#408 #814340
Ребят, просто ради интереса. Сколько здесь анонов которые работают в сфере ML? Кто уже написал что-то послжнее хэлоуворлда?
>>814432
#409 #814419
>>814306
Потому что, например, у PS4 CPU при максимальной загрузке (которую достичь достаточно затруднительно) выдает 80ГФлопс, а GPU - 1800 ГФлопс.
>>814630
#410 #814432
>>814340
Месяц, как устроился учителем машин в местную контору. Из бекграунда только курс Воронцова, изучение исходников sklearn и один учебник по статистике (Лагутин).

В целом нравится так как скилл качается и платят норм, но ощущаю себя ml-макакой: просто юзаю готовые алгоритмы, подбирая параметры глазомером, и придумываю эвристики. Выкинув приставку ml ничего не изменится, так можно в любой области работать. Недавно посмотрел вступительные в ШАД, стало еще грустнее.
#411 #814441
>>814432
Надо в рисерч идти — после ШАДа чуваки также отправляются в конторы макакить, только за больше денег чем в вебе.
>>815083
84 Кб, 661x696
#412 #814535
>>814043
Все, что есть в нейроночках и других МЛ-алгоритмах, тривиально формализуется в виде зависимых типов. То, что конкретный код писать долго - вообще не аргумент, код пишут гигабайтами, и всем норм. Тут какая-то другая причина.
#413 #814630
>>814419
А если ноут, нужно ли ставить tf для GPU или идти в облако?
>>814678
#414 #814678
>>814630
Используют не просто ГПУ, а ГПУ с поддержкой Куды, причем такие, стоимость которых порядка нескольких сот тысяч рублей.
>>814702
#415 #814702
>>814678

>не просто ГПУ, а ГПУ с поддержкой Куды


Сразу видно специалиста. Где ты ГПУ без куды видел последние лет 10?
А вообще, это одна из причин, почему сверточные нейроночки - путь в никуда. Любая серьезная задача требует мощности уровня гугловских кластеров, простому хую с игровой видюхой ловить нечего кроме перерисовки котиков в пикассо-стайл и прочей клоунады без задач.
>>814720
#416 #814720
>>814702

>Где ты ГПУ без куды видел последние лет 10?


ATI
#417 #814826
>>814300
спасибо тебе за помощь. буду благодарен за ответы на еще несколько вопросов.

1) у меня в условиях задачи жестко прописаны некоторые параметры:

>без регуляризации, без свободного коэффициента (intercept), число итераций = 10^6/n, где n - кол-во строк в обучающем наборе


т.е. вот эту штуку я создаю уже с параметрами (в моем коде который я сюда скидывал такого нет, это я уже поправил):
clf = SGDClassifier(loss='log', penalty='none', fit_intercept=False, n_iter=n_iter)

зачем мне при таком раскладе вообще нужен GridSearchCV? если он действительно мне нужен, то какие параметры ему указывать в param_grid? все примеры которые я находил оперировали одними и теми же параметрами: loss, alpha и еще парочкой. Но у меня-то они и так известны: loss='log', alpha вообще д.б. равен нулю, ведь penalty='none' (так ведь?), и число итераций известно. я сейчас даю пустой словарь в param_grid, и оно мне вроде выдает какой-то результат, но я не уверен что это то что надо. вообще реультат (доля ошибок) с использованием GridSearchCV не улучшился, остался таким же как был.

2) с cross_val_score я вообще все правильно делаю?

вот какой у меня сейчас код:
http://pastebin.com/vyAtu615
#418 #814829
>>814826
извините меня ребята за тупые вопросы, я сам по жизни очень люблю в таких вещах как можно более въедливо разбираться, но иногда надо просто сделать быстро, вы понимаете.
#419 #814831
>>814826
в cross_val_score забыл f1_weighted указать, только щас заметил
#420 #814898
>>814826
это снова я

еще я вот что не могу понять. в задании у меня последний пункт:

> после обучения надо вывести в файл коэффициенты построенной модели


это что имеется в виду? это же не про целевую переменную (y_predicted) речь, а про что-то в clf ?

>>811974
>>813897
это один и тот же анон?
>>814940
#421 #814911
обучил макакиной капче, буду теперь вакабу шатать
>>815099
#422 #814940
>>814898

>это один и тот же анон?


Нет, я забыл об этом треде. Но тот анон прав.

Про коэффициенты - тебе нужно 2 параметра обученной модели, coef_ и intercept_.

>>811974 - анон
>>815398
#423 #814943
>>814826
В твоём случае ты мог бы попробовать варьировать все параметры конструктора отсюда http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier

Например попробовать классификатор с разными функциями потерь, разными регуляризациями, и т.д.

С помошью GridSearch, и найти лучшее решение из заданных комбинаций. Но т.к у тебя нет регуляризации и функция потерль log - ты можешь поварьировать пожалуй только learning_rate.

В конкретно твоём случае GridSearch я думаю можно не использовать.
>>815398
#424 #814946
>>814432

>Недавно посмотрел вступительные в ШАД


А шо там? Сложно слишком?
>>815071
#425 #815071
>>814946
Для меня видимо да, выдал решил бы задачи 2.
>>815169
#426 #815083
>>814441

>после ШАДа чуваки также отправляются в конторы макакить, только за больше денег чем в вебе.


>>814432

>устроился учителем машин в местную контору. Из бекграунда только курс Воронцова, изучение исходников sklearn и один учебник по статистике (Лагутин).


>платят норм



Вы в меня прям надежду вселяете. Как раз недавно начал делать веб-проект для портфолио, использующий машинное обучение. Неужели удастся перекатиться из веба?

Кстати, платят норм - это сколько?
>>815156
#427 #815099
>>814911
сегментировал или сразу всю капчу на вход подаешь?

если сегментировал, то как?
>>815214
#428 #815132
>>814432
Что такое эвристики в контексте ml? Некие методы решения проблем?
>>815156
#429 #815156
>>815083
Как сеньору в команде.
>>815132
Хитрые фичи, фильтры для предсказаний, оптимизации.
>>815160>>815252
#430 #815160
>>815156
Спасибо.
#431 #815169
>>815071
Где можно взглянуть на эти вступительные?
>>815171>>815173
#432 #815171
#434 #815189
Для русекогоспод как начать вкатываться? inb4:с курса Воронцова
#435 #815214
>>815099

>если сегментировал, то как?


Опять вы выходите на связь, никчемный господин? Капчу правильнее всего распознавать сверточными сетями, а они сегментацию делают автоматически, у них структура такая.
>>815392
#436 #815252
>>815156

>Как сеньору в команде.


От 150 тыщ?
#438 #815392
>>815214
я так-то впервые в треде писал

из нейронок имею опыт только с многослойным перцептроном

короче я понял, что надо внимательнее изучить cnn, спасибо
#439 #815398
>>814943
>>814940
спасибо!
>>815619
#440 #815423
Анончики, поясните за ТензорФлоу. Сейчас предлагают перейти на другой проект с тензорфлоу. Зачем он вообще нужен?
>>815425
#441 #815425
>>815423
Читай шапку, блеать!
#442 #815538
Не, аноны, ml это слишком оверхайпнуто. Сейчас везде сотни курсов по этой хуйне, через пару лет в госдуму будет легче попасть, чем на работу по ml. Или есть подвох?
>>815579>>815621
#443 #815579
>>815538

> есть подвох?


их мало кто заканчивает. слышал что того же нг курс что-то около 5% проходит до конца - школьникам просто не интересна/слишкам сложна.
количество курсов отражает спрос - он огромен и будет только расти до следующей депрессии
на самом деле сейчас самое лучшее время для вката, особенно для русского анона - матем подготовка в русских вузах даётся намного более толковая чем на западе http://portal.tpu.ru/SHARED/s/SHUROLE/Education/link/The_fifth_rule_of_arithmetics.pdf например
#444 #815616
>>815579
Статистику можешь привести?
>>815618
#445 #815618
>>815616
Насчёт курсов на корсере я думаю можно даже не приводить, там у любого STEM курса до конца доходят процентов 5-10.
>>815619>>815621
#446 #815619
>>815618
Я кстати не этот >>815579 анон.

>>815398
Ну ты хоть нам расскажи когда тебя возьмут/не возьмут на работу, что за работа или о чём там базарили на собесе.
#447 #815621
>>815618
Понимаю, но я не привык верить на слово, да и просто проанализировать хотелось бы.
Потому что слова вот этого анона >>815538
насторожили
>>816937
#448 #815779
Я в принципе знаю двух принципов для лечения сложных систем в простых способов: первый принцип модульности, а второй является принцип абстракции.
Я апологетом вычислительной вероятности в машинном обучении, потому что я считаю, что теория вероятностей, в отличие от нечёткой логики, реализует эти два принципа в глубоких и интригующих способов, а именно - через факторизации и через усреднение. Эксплуатируя эти два механизма настолько полно, насколько это возможно, мне кажется, что путь вперед в машинном обучении.
#449 #815951
>>813798
Никто не в состояние помочь?
если все заработает, я даже не прочь вознаградить.
>>816911
#450 #815966
>>815579

>того же нг курс что-то около 5% проходит до конца



этот?
https://www.coursera.org/learn/machine-learning
он же там всю математику разжевывает, а каждое задание тремя-пятью строчками рушается
>>815995>>816001
106 Кб, 736x737
#451 #815995
>>815966
у него ИНТУИТИВНЫЙ ПОДХОД
>>816008
#452 #816001
>>815966
Всю более-менее сложную математику он просто пропускает, так и говоря, что это сложно. Но оказывается, что для среднестатистического хуя даже та математика которая остаётся оказывается слишком сложной. Просто, как я заметил, многие здесь плохо себе представляют уровень знания математики обычного программиста, а он обычно не дотягивает даже до 11 классов школы.
#453 #816008
>>815995
Я к тому, что тоже думал, бля пиздец сложна будет, а по факту одну неделю в день не особо напрягаясь проходил

Ын конечно знатно расчехляет, еще можно Рафгардена по алгоритмам выделить.
>>816042
#454 #816042
>>816008

>еще можно Рафгардена по алгоритмам выделить


ваще мне не вкатил, попробовал его слушать, но надолго меня не хватило.
а вот Сэджвик - ок, оч хорошие курсы.
еще по алгоритмам хвалят степик, но я этот курс не пробовал, он у меня в планах
>>816051
#455 #816051
>>816042
странно, а мне Седжвик унылым показался. Хотя он автор алгоритмов, статей и постов, а Рафгарден в этом смысле неизвестен. Мне Рафгарден вначале показался слишком самодовольным каким-то, но потом стало ОК.

Еще Бонэ (Boneh) годно за криптографию расчехляет, (тоже автор статей и проч.), но он что-то уж слишком долго со второй частью курса тянет

>еще по алгоритмам хвалят степик,


на курсере появилась целая специализация по алгоритмам, ВШЭ+Яндекс + кто-то из буржуев
посмотри, может глянется
#456 #816422
Знаю не тот тред, но раз зашла тема, посоветуйте что по алгоритмам сортировки там, структуры данных. И ещё бы по паттернам что.
>>816503>>816504
#457 #816503
>>816422
По паттернам вот хорошая книга: http://eu.wiley.com/WileyCDA/WileyTitle/productCd-0470682272.html
#458 #816504
>>816422
А тут парни из дипмайнд поясняют за сортировку: https://arxiv.org/abs/1410.5401
#459 #816521
Посоны, это ваше машинное обучение было в полной мере развито уже в 70-е годы. С чего вдруг сейчас начался хайп? Что изменилось?
#460 #816530
>>816521
Тогда не было мощностей для нейроночек. Потом появились всякие кернел трики, а потом GPU, кластеры, облака, вот это всё.
37 Кб, 500x359
#461 #816553
>>816521
Осознали что пора роботов начинать клепать, а то мы как лохи всё руками да руками.
70 Кб, 233x292
#462 #816570
>>816521

> машинное обучение было в полной мере развито уже в 70-е годы


лол
окропил школьника
>>816593>>816599
#463 #816593
>>816570
Линейную регрессию-то еще диды на бумажке делали. Это тоже машинное обучение, или, как сейчас стали говорить, AI.
>>816599>>816621
27 Кб, 613x533
#465 #816621
61 Кб, 1067x825
#466 #816688
чёт проиграл
>>816726
#467 #816700
Чем бы чеки магазинные распознавать? tesseract полную хуйню выдает частенько.
>>816703>>816704
#468 #816703
>>816700
Ставишь на виртуалку пиратский файнридер с батч процессингом и распознаешь.
#469 #816704
>>816700
во-первых погугли получше
я читал статью как раз про чеки

тебе надо сначала определить region of interest, здесь поможет HOG или возможно что-то попроще
затем преобразуешь его в прямогугольник и распознаешь чем можешь,

http://www.pyimagesearch.com/ - почитай
>>816732
8 Кб, 201x250
25 Кб, 399x499
#470 #816705
Что из этого выбрать?
>>816712
#471 #816712
>>816705
Ничего. Тратить 300 страниц на разжевывания мануала по pandas и sklearn -- это совсем охуеть можно. Читай сразу книги по ML.
>>816801
#472 #816726
>>816688
Ценнейшие мнения каглобыдла по вопросу чем лучше пердолить датасет "титаник" - диплернингом, xgboost'ом или рандомфорестом. Надеюсь, SVM и главные компоненты не забыли.
#473 #816732
>>816704

Сейчас гляну. Я чек-то обработал в редакторе, словарик ему свой дал, но косяки есть уровня вместо знака тождества ставит пятерку. Я хз, как эту гниду обучить можно чему-то.
421 Кб, 1289x605
#474 #816799
Анон, вкатывайся
есть действующие компуктер саентисты, регистраций не надо
на этом же домене гугловский алфабит, это не ловушка

ai-lab.xyz
#475 #816801
>>816712
двачую, начинал читать такую же хуиту по джанге
так там тупо мануал с сайта переаписывается, еще и устаревший
#476 #816823
>>816799

>это не ловушка


Звучит подозрительно
#477 #816911
>>815951
Ну смотри, я этот твой алгоритм не понимаю, но мне кажется тебе надо поймать момент когда получается NaN значение и посмотреть на вход для вычисления. Всё ли тебя там устраивает? Может банально точности не хватает, может что-то не туда сходится.
#478 #816930
#479 #816934
>>816799

> 47 Members Online


уютненько, атмосферненько
>>816935
#480 #816935
>>816934
>>816799
Это что вообще? Говночат?
>>816959
77 Кб, 900x500
#481 #816937
>>815621
лучше спроси себя имеет ли смысл ботать книжки, когда в любой момент может начатся крупномаштабный военный конфликт
#482 #816938
>>813798
в дебаггере код гонял?
>>817075
7 Кб, 200x200
#483 #816959
>>816935
да, говночат на говноплатформе, которая поглотит все остальные говноплатформы,
во главе говночата киберпанк-тян
>>816961
#484 #816961
>>816959
они планируют книгу обсуждать, так что кому хочется английский попрактиковать приходите

Our next book is Superintelligence by Nick Bostrom. We will read two chapters a week beginning August 15th. We will hold discussion groups on Thursday and Sunday evenings (US EDT) at 17:00 UTC-5 and last as long as necessary.   That means Chapter 1 will be discussed August 18th and Chapter 2 will be discussed August 22nd for example. If you would like to participate, please send me a private message and purchase the book ahead of time. It has recently come out in paperback and qualifies for free same-day or two-day shipping in most of the United States.
>>816972
#485 #816972
>>816961

>Superintelligence: Paths, Dangers, Strategies (2014) is a book by Swedish philosopher Nick Bostrom from the University of Oxford. It argues that if machine brains surpass human brains in general intelligence, then this new superintelligence could replace humans as the dominant lifeform on Earth


Секта свидетелей сингулярности
>>816975
#486 #816975
>>816972
любишь проводить бинарную классификацию?
приходи и предложи свою книгу
#487 #817075
>>816938
Да, собственно так и понял, что нан записывается при переобучением Баума-Велша.
#488 #817192
Я считаю, что это было бы очень трудно убедить умного человека, что ток [Частотная] статистическая практика была разумной не тем более нечёткая логика, но это было бы гораздо меньше трудностей с подходом через вероятности и теорему Байеса. - Джордж Коробка, 1962.
>>817220
79 Кб, 1153x561
#489 #817220
>>817192

>Джордж Коробка


Гугл понимает сам себя. ШОК 18 СМОТРЕТЬ БЕЗ РЕГИСТРАЦИИ И СМС
#491 #817256
>>817254
Ну, вот и конец макакам. Теперь менеджер будет раз в неделю кнопочку нажимать и показывать красивые картинки на совещаниях.
#492 #817340

> 1960


> Ну, вот и конец макакам.



> 1970


> Ну, вот и конец макакам.



> 1980


> Ну, вот и конец макакам.



> 1980


> Ну, вот и конец макакам.



> 1990


> Ну, вот и конец макакам.



> 2000


> Ну, вот и конец макакам.



> 2010


> Ну, вот и конец макакам.



> 2016


> Ну, вот и конец макакам.

>>817349
#493 #817342
>>816599
"2012AchievementThe Google Brain team, led by Andrew Ng and Jeff Dean, create a neural network that learns to recognise cats by watching unlabeled images taken from frames of YouTube videos.[28][29]"

Что за хуйня? Этого сейчас никто не помнит кроме задротов которые редактировали эту вики. Все знают, что в 12ом году Алекс Крижевски выйграл imagenet.

Ссылка говно.
>>817417>>817428
10 Кб, 206x309
8 Кб, 219x230
#494 #817345
Жена автора ISLR брутальна.
>>817354
#495 #817349
>>817340
Ты не сравнивай макак с десятком исследователей из академии — эти всегда будут нужны. А вот бустеры лесов — нет.
>>817353>>817387
#496 #817353
>>817349
при чём тут исследователи, норкоман?
#497 #817354
>>817345
покажи свою
sage #498 #817387
>>817349

>десяток яйцеголовых исследователей в академии


>вкатывальщики с сосача

#499 #817417
>>817342
Я помню, это хайпили на хабрах. Но вообще ты прав.
#500 #817428
>>817342
https://en.wikipedia.org/wiki/User:Vipul
Пост проплачен индийскими петухами.
55 Кб, 540x960
#501 #817443
где же ты моя наташа
#503 #819171
>>799576 (OP)

>поясните за нейроночки


>нейроночка - массив


все хорошо, но вот это - wut?
>>820591>>821846
#504 #820591
>>819171
нюфаня)))
#505 #821846
>>819171
нунитраль, лучше объясни
Обновить тред
Двач.hk не отвечает.
Вы видите копию треда, сохраненную 4 сентября 2016 года.

Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее

Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
« /pr/В начало тредаВеб-версияНастройки
/a//b//mu//s//vg/Все доски