Вы видите копию треда, сохраненную 27 августа 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.
да и пора уж новую шапку запилить
книги
А. Пегат, "Нечёткое моделирование и управление"
другое
https://www.deeplearningbook.org/
https://www.youtube.com/watch?v=mbyG85GZ0PI&list=PLD63A284B7615313A не индус а ебиптянин
яп
конец списка
Тред #1: https://arhivach.org/thread/147800/
Тред #2: https://arhivach.org/thread/170611/
Тред #3: https://arhivach.org/thread/179539/
Тред #4: https://arhivach.org/thread/185385/
Тред #5: https://arhivach.org/thread/186283/
Тред #6: https://arhivach.org/thread/187794/
Тред #7: https://arhivach.org/thread/196781/
Тред #8: https://arhivach.org/thread/209934/
Тред #9: https://arhivach.org/thread/223216/
Тред #10: https://arhivach.org/thread/234497/
Тред #11: https://arhivach.org/thread/240332/
Тред #12: https://arhivach.org/thread/246273/
Тред #13: https://arhivach.org/thread/256401/
Тред #14: http://arhivach.org/thread/257951/
У господ каникулы: некогда
прохожу по изображению окном 3x3 пикселя, и записываю вектор из этих 3 пикселей?
Был для RGB изображения массив:
1) ширина-высота-3
Должен стать массив:
2) ширина-высота-9
>>1004808
Причём яндекс?
для питона есть nltk и gensim, никто не призывает читать книги про анализ текстов на питоне, к тому же такие книги в основном о питоне, а не о анализе текстов.
> и gensim,
Уже интереснее, но не то. Короче, нет на пистоне нормальных тулз для анализа текстов. Это печально.
> LSTM достаточно точно описывает нейрон?
Достаточно для чего? Нет, искусственные нейроны это математические модели, которые основаны на биологических, но их задача быть эффективными, а не похожими. Близкие к настоящему нейрону модели могут быть использованы в специализирующихся на этом проектах, вроде Blue Brain, но на практике у них нет применения, или оно не обосновано.
> Именно на них можно будет построить ИИ ?
Нет.
> Какой сейчас предел в количестве моделирования?
Что есть количество моделирования? На полный мозг, например, человеков пока не хватило.
> Если наращивать количество нейронов, перевод будет точнее?
Увеличение размера и количества слоев имеет свои пределы полезности, масштабирование это не решение, нужно подбирать архитектуру.
Проблема не с тем чтобы была больше мощща, а с тем что используются подходы 70-80х. Математике нужно догнать развитие железа.
>Достаточно для чего? Нет, искусственные нейроны это математические модели, которые основаны на биологических, но их задача быть эффективными, а не похожими. Близкие к настоящему нейрону модели могут быть использованы в специализирующихся на этом проектах, вроде Blue Brain, но на практике у них нет применения, или оно не обосновано.
Это че, моделировали, моделировали, а на практике так и нет применения? Мда.
Практика это машинное обучение, датаслесарство - дана предметная область и в ней надо решать задачи как можно более простыми методами. Пока не появился ИИ, его моделирование следует относить к теории.
на сколько я понял, то в настоящем нейроне вероятность передачи по одному из каналов, а в искусственном - вес связи.
> Проблема не с тем чтобы была больше мощща, а с тем что используются подходы 70-80х. Математике нужно догнать развитие железа.
В области машоба все равно лучше теории статистического обучения Вапника небыло и скорее всего не будет ничего. Саму задачу обучения не получится поставить шире и точнее. Но большинству похуй же, пока подход уровня 'нахуярим побольше слоев' дает результаты лучше, чем более умные алгоритмы.
Настоящий нейрон это сложная система физических и химических процессов. Воссоздавать сам по себе нейрон на базе железа нет смысла, пока не изучена работа всего мозга - мы не можем собрать всю сеть, а сам нейрон без нее... просто не для задач машинного обучения.
>>1004964
Этот подход рано или поздно себя исчерпает. Вообще, забавно будет наблюдать картину в программировании лет через 10, когда в вебе останется только 3.5 соцсети с широким функционалом, а автоматизация вытеснит остальных макак из профессии.
> что за ушастый чёрт?
> есть с ним порево?
У мамки своей спроси, наверняка есть, он ее регулярно поебывает.
но есть куча инструментов изучать отдельные нейроны, можно же делать модели и сравнивать с поведением отдельных групп нейронов.
Построили. Не изучили.
Этим занимается computational neurosciene. Но пытаться на этом сделать машоб - это (как по-моему Ле Кун говорил) все равно, что пытаться сделать самолет на с помощью махания крыльями. Нейроны сложные, при чем довольно сильно и избыточно.
Понять основные отличия в их функциях и хотя бы прикинуть приблизительные модели. Понять на сколько полна существующая модель нейрона и возможна ли замена одного натурального нейрона несколькими искусственными.
Можешь посмотреть вот этот курс - https://www.coursera.org/learn/computational-neuroscience
Начинается с описания работы биологических нейронов, далее рассказывается про то, как наблюдения за группами нейронов превратились в первые мат. модели, после чего описание мат. моделей перерастает в описание backprop.
TL;DR биологический нейрон несоизмеримо сложнее того, что называется нейроном в машобе. Описанию первого даже на базовом уровне посвящены книги, а о последнем можно рассказать в двух предложениях.
>Описанию первого даже на базовом уровне посвящены книги
Важны каналы передачи сигналов и как они обрабатываются и передаются далее же. Хотелось бы примеров в двух словах для начала.
Калий-натриевые насосы (и др. механизмы) на поверхности нейрона поддерживают высокую концентрацию ионов натрия, кальция и хлора снаружи, и высокую концентрацию ионов калия внутри нейрона. Нейромедиаторы, улавливаемые дендритами, провоцируют вливание ионов из межклеточной жидкости внутрь клетки, изменяя таким образом мембранный понетциал. Когда мембранный потенциал доходит до определенной отметки, клетка возбуждается и в ней начинается сложный процесс входа и выхода ионов, который сопровождается ионным током по аксону. Аксон покрыт миелиновой оболочкой, которая предотвращает потерю заряда, а миелиновая оболочка разделена на сегменты перехватами Ранвье, в которых ионный ток дополнительно усиливается. Доходя до конца аксона, ионный ток высвобождает нейромедиаторы, а клетка переходит на некоторое время в период восстановления. Эффект от высвобожденных нейромедиаторов определяется синаптической пластичностью.
Синаптическая пластичность - это основа для памяти и одновременно крайне сложный механизм, который зависит от синхронизации спайков и ионных эффектов, описанных выше в этом посте. Поэтому сделать и просто, и очень похоже на биологический нейрон на сегодняшний день не выйдет. Нейросаенс это не машинное обучение. Нейросаенс это биофизика, а машинное обучение это, если хочешь, модное название для статистики.
Пожалуй, с точки зрения создания ИИ мы ближе к чему-то совершенно отличному от человеческого мозга. Точно так же, как воздушный шар не похож на птицу.
Вебкамера на глаз тоже не очень. Но мне кажется такая сложность в функционале только из-за процессов эволюции, а суть процесса не сильно и сложна, и все таки все можно упростить.
так а в чем их разновидность?
Таки в последнее время байесовские методы в сочетании в дип лернингом показывают очень крутые результаты -- и теоретические, и практические
Сейчас диплернинг курильщика. Диплернинг здорового человека это глубокие стеки из SVM и глубокий бустинг. Пока в зачаточном состоянии, но в перспективе порвут эту хуйню с мильенами слоев.
Исследователем - нет, изобретателем - да.
Техническое образование (высшая математика), тысячи часов программирования, пара курсов на курсере и несколько книг.
в генсим есть lda и lsi (хотя они и не шибко продвинутые), есть и отдельная библиотека для lda
Кто тут умный-то? Полтора ебалая. Все темы, что тут обкашливаются - это любая книшка в тему + общее представление о матанализе, теорвере и линейной алгебре.
>Реально ли быть громким, эм, исследователем, но при этом самоучкой?
Сложно сказать. Если реально угореть по этой теме и не пожалеть времени и сил, то да.
Можно, но зачем именно сетью? Родина дала тебе марковские цепи, генетические алгоритмы и прочее счастье для получения новых текстов из датасета. Решения вообще проще выводить аналитически.
https://2ch.hk/sci/res/403016.html (М) да в общем, я хотел что-то такое сделать, но автоматизировать чуток хотя бы.
Можеть быть я неправильно понимаю?
Почему составители книг по нейронным сетям и статическому обучению аутисты?
У Мерфи прямо в начале поясняется за MAP, хотя оно нахуй не нужно там, а только потом поясняется за Теорию Вероятности, причем так, что ты не поймешь, придется гуглить, пояснений о том, как работает формула нет.
Автору Machine Learning: Probabilistic Perspective хочется пожелать рака прямой кишки за объяснение теории вероятности с помощью сложнейшего примера.
Можно было использовать простой пример, но лучше выдать сложный, а потом написать:
"Ой, вы что-то не поняли? А гляньте в учебник по теории вероятности, нахуй мы это написали, если вы изначально могли заглянуть туда? Ну хз)))"
на этапе обучения вот такая ошибка
UnimplementedError (see above for traceback): Cast string to float is not supported
[[Node: linear/linear/ToFloat_4 = Cast[DstT=DT_FLOAT, SrcT=DT_STRING, _device="/job:localhost/replica:0/task:0/cpu:0"](SparseTensor_6/values)]]
Все категориальные признаки переписаны в тензоры, все вещественные во float64, две метки классов во float64
Двачую.
Тебе не хватает Бишопа?
А это что такое? Нечеткое множество штоле? Пиздец вы клоуны, лол.
А еще есть методы?
Проблемный ньюфач вкатывается в тред, вопрос такой, буду писать диплом на очень интересную тему, которая звучит как "Оценка ценности информации при геологоразведочный работах на основе баесовых сетей". Про баесову теорию в курсе, возможно, даже смогу ее применить, вопрос лишь в том, что я не шарю в программировании. В описании темы указано, что понадобится знание R и матлаба.
Вопрос вот в чем, с чего начать изучение этих пакетов и стоит ли вообще, может есть варианты получше? Вопрос еще в сроках, так как на всю работу примерно полтора месяца.
нейронныесети.рф
Антоши, а какую ось лучше юзать? Я так понимаю, что линукс? Но он у меня криво на ноутбук встает.
https://cran.r-project.org/web/views/Bayesian.html что касается R, по этой ссылке есть даже больше, чем нужно. Находишь подзодящий пакет из обзора, читаешь документацию к нему, разбираешь примеры, применяешь к своей домашке.
Смотря для чего. Если нужен пистон, то однозначно глинукс, в винде заебешься + все примеры и уроки для глинукса. Бубунта оптимальна. Ее можно и на винду поставить как приложение.
Иди сапоги защищай, какой из тебя специалист, если ты домашку нагуглить не можешь?
Везде или введения для чайников, или пейперы на 50 страниц на английском. Нужно что-то среднее.
Какой make в 2017, юзай cmake, а CMakeLists.txt для куда это три строчки https://codeyarns.com/2013/09/13/how-to-build-cuda-programs-using-cmake/
Введения для чайников на русском языке сразу выкинь на мороз, там обычно пишут такую хуиту, что страшно становится.
Вообще забудь про научно-техническую литературу по теме на русском языке, считай что нет ее.
Вот тут есть охуенное введение в нейроночки для зрения http://cs231n.github.io
Что-то проще ты вряд-ли найдешь
>изи жи))))
так что старайтесь, учитесь, все у вас будет збс.
Не телепорт случаем?
Надо видимо математику учить дабы было актуально. Хотя и математиков в скором будущем автоматизируют.
Как метанейроночки, но уже метамета.
Метанейроночки под метамфетамином
Нахуя? Максимум можно взять другой учебник и адаптировать его под рашкинские реалии.
Рыночек порешает.
Русские это которые не смогли в математику?
> вручную писать нейросети
Даже если в это можно поверить, зачем писать что-то сложнее AND с нуля?
> писать на питоне
На питоне обучаться будет значительно дольше, плюсы все еще рулят. Но что-то простое можно начать и на питоне + керас.
> какие книги читать
Читай документацию по либам, школьник.
И да, следи за речью, тут приличные люди сидят.
Норм, чтобы посмотреть вообще что есть машоб и надо ли оно мне?
мимопроходил .net developer, которому надоел crud ежедненво
Ой нахуй оно тебе надо, все наоборот валят из машиноба в тырпрайз, я вот был недавно на курсах дядьки-профессора-пхд по АИ, который свалил из АИ и перекатился в spring давать лекции про фреймворк. Вот где деньги крутятся реальные, а не ссаный АИ.
Дядька просто слишком тупой, чтобы продавать за миллионы свой стартап гуглу. Макаки должны страдать изучая новые конструкторы от других макак.
А ты чё, такой гений? А ну-ка давай выкладывай ссылку на свой супер-пупер стартапчик?
А я уже продала ^_^
Как-то всё усложнено, а я к тому же бы не выдержал слушать такие черно-белые (хоть бы цветные мелки завезли, не говорю уже о презентациях) лекции, тем более на английском. Разве что, транскрипции читать.
Хз, мне наоборот лекции гораздо проще слушать, в книги надо вчитыватся и там как правило намного больше плотность информации. Поэтому я обычно сначала смотрю курс лекций, получаю общую картину, а потом уже читаю книгосы, перехожу к практике. Про черно-белые однако посмешил, может еще если лекция не в fullHD или 4k тоже не смотришь?
думаю, огромный, хотя бы потому, что если поступишь, то, значит, что голова на плечах есть
>На питоне обучаться будет значительно дольше, >плюсы все еще рулят. Но что-то простое можно >начать и на питоне + керас.
питон - это просто оболочка для библиотек на плюсах
не читал, наверное, очередной хайп, который забудут через неделю
Неужели никому ITT не интересна эта платформа?
Начнем с того, что сие платная параша. Потом, абсолютно неясно чем оно лучше облачной платформы от Сирожи. Гугл так'то посерьезнее контора в этом плане. Что'то я не слышал про решения от айбием уровня слесарьфлоу.
нейроночка может всё что может твой мозг
твой мозг может всё что может массив чисел
массив чисел может вообще всё
import caffe
А то по формуле
E[(x1 − µ1)(x1 − µ1)] E[(x1 − µ1)(x2 − µ2)]
Не очень понятно. И как, например, рассчитать подобную матрицу для двух наборов данных, у которых не равное количество элементов?
>Поясните за ковариационную матрицу.
Это матрица для выборки (1 набора данных). Ты считаешь средний вектор и эту матрицу. Имея эти два числа ты можешь посчитать нормальное распределение векторов в выборке.
Если у тебя 2 набора данных (2 выборки), то соотвественно и матриц, средних векторов у тебя будет 2.
А если у меня 3 выборки, например? Или если выборка не укладывается в квадратную матрицу, то нельзя?
Для такой вот матрицы все посчитать легко, а вот в том, как считать в подобных примерах, как на пике, я путаюсь.
На этом пике мы вычисляем для S13
А как вычислить для S12? Или для S11?
Покажите, как изменится формула.
>выборка не укладывается в квадратную матрицу
Выборка это множество (ну или если хочешь лист или вектор-столбец или вектор-строка -- просто набор векторов). Ща замучу тебе пример.
Лучше напиши в чем у тебя задача. Из картинки не очень понятно.
Да я пытаюсь понять, как ковариационную матрицу вычислять ручками.
А то в учебнике вообще непонятно, да и автор видимо забыл указать про деление на среднее, либо вообще не посчитал нужным.
На картинке показан пример вычисления ковариационной матрицы, вот ссылка https://math.stackexchange.com/questions/2316185/example-of-a-covariance-matrix
https://mathematica.stackexchange.com/a/81128
Для векторов более высоких размерностей все тоже самое (средний вектор и сфероид и т.д.).
Чувак, ну это слишком сложно.
Я то не могу сообразить, как формулой воспользоваться, а ты мне даешь пример, из которого мне вообще ничего непонятно.
Пробовал кто?
>пример вычисления ковариационной матрицы, вот ссылка
Посчитал для векторов по твоей ссылке.
>>1010689
>>1010688
>>1010682
Все, я таки понял, ориентируясь на свой пример.
Так, чтобы вычислить 1 значение в x1 формула такая:
((2−3)(2−3)+(3−3)(3−3)+(4−3)(4−3))/3-1
Чтобы вычислить 2 значение в x1 формула такая:
((2-3)(5-4.666667)+(3-3)(8-4.666667)+(4-3)(1-4.666667))/3-1
А для x2 мы просто возьмем 2-й столбец и для 3-его по аналогии.
Спасибо, анон.
Ну и в чем разница?
Типа умное кукарекнуть? да я просто так кукарекнул, тему поддержать, не дать умереть ИИ в очередной раз, как уже было в прошлом веке итд
До сих пор для ИИ нет дешёвого железа даже и появится оно лет через 20 только.
Да я понял, что оно в форме колокола.
А как считать? Для чего оно применяется? Что такое x в формуле?
>А как считать?
Можешь погонять случайную величину по шахматной доске, только случайно не сожри слишком много печенья, сахар в таких количествах для здоровья вреден, http://www.exler.ru
>Для чего оно применяется?
У вас на военной кафедре должна быть такая задача, и ещё Гугл знает какую-то хрень под названием probability matrix — я не копал глубоко.
Так второе включается в первое. Вон достигли максимума в pacman'е недавно с помощью коллективного ИИ. Или ты о использовании человеческого? Тогда хуита.
Почти гарантировано тебя позовут поговорить. Знаю по собственному опыту.
>До сих пор для ИИ нет дешёвого железа даже и появится оно лет через 20 только.
Ты неправ.
Написал ИИ на оптических нечетких вычислителях, но пока очкую выкатывать миру, слишком нестабильно все.
Почему deep learning это symbolic compuations, а не machine learning?
Deep learning находит фичи в графических изображениях, графах структур молекул и подобное, а классический машобчик работает с числовыми значениями.
Ну и все, теперь можешь добавлять в резюме: strong skills in linear algebra, differential geometry, machine learning, NEURAL NETWORKS, deep learning, python coding, concurrent algoritms, GPU computations, dataflow programming
Кирилл, 16 лет
Какое направление, такое и название.
Кто-нибудь работал с пакетом neuron и с его встроенным языком hoc?
Я сейчас вкатываюсь в это дело и мне сложно не фейспалмить от его кривизны и неповоротливости.
так_надо.
На самом деле, в этом пакете уже есть всё необходимое для симуляции спайковой НС вплоть до уровня напряжений на синапсах - именно то, что мне сейчас надо. Писать собственные велосипеды не хотелось бы, да и не окупится это дело по затратам времени.
С другой стороны, постижение этого языка идёт крайне медленно, в первую очередь оттого, что я большую часть времени фейспалмлю от языковых решений. И вот думаю - может быть, это не язык кривой, а я туплю? Поэтому и хочу спросить у других, может, кто имел с этим дело.
Скорость изменения вероятности при изменении величины.
Автоp учебника Machine Learning: An Algorithmic Perspective
Показывает формулу Гауссова распределения, но не говорит о том, что эта формула для непрерывной переменной и позволяет получить pаспpеделение веpоятностей.
И почему он говоpит о ноpмальном pаспpеделении, но игноpиpует распределение Пуассона? Оно что, не нужно?
Ненавижу его, как можно писать настолько на отъебись?
https://www.reddit.com/r/MachineLearning/ возможно. Регистрация на реддите атмта, даже подтверждение электронной почты не надо.
Не совсем, ему нужен:
https://www.reddit.com/r/learnmachinelearning/
Твой сабреддит для обсуждения новостей и проектов.
Просто ты неосилятор. Не стоит сюда лезть, если у тебя нет минимальной математической культуры.
Да есть она, просто пояснения в книге на уровне "А вот это вот важное Гауссово распределение," и больше ничего толком не сказано.
А если бы я знал это заранее, то мне бы книга нафиг не была нужна. Обьяснить можно все с помощью аналогий и примеров.
Проще только если считать по количеству строк кода.
сайты проще, просто ты сам неосилятор и не умеешь в дизайн
https://www.youtube.com/watch?v=7yhDA65k7zk
Знаю арифметику. Как вкатиться в машоб?
Узнаешь еще логарифмы, сигма-функцию и можешь подавать заявки на синьора. Ну и словечек там поднаберись: оверфиттинг, свертка, тензоры-хуензоры и т.д.
Нормально они в переводах текста работают, у гугла сейчас рекуррентные сети и работают они хорошо. Человеческому переводу офк проигрывают.
>рассмотрение вне концепции черного ящика
По-моему уже всем очевидно, что манясети -- это тупиковый путь развития науки. Вместо разумного познания и развития математического аппарата давайте хуячишь черные ящики. Почему он работает похуй. Ведь главное "хуяк-хуяк и в продакшен".
Хуйню не неси, одно другому не мешает. Сетки решают задачи, для которых ты будешь тысячи лет пилить лаконичный и стройный мат. аппарат потому что пространство решений очень огромное. Попытка решить задачу частично перебором, частично анализом задачи. И с развитием вычислительных мощностей в этом нет ничего плохого.
Ты про теорию статистического обучения Вапника не слыхал, школотрон?
Кому нравится этот машоб, статистика? Рили, видел эту хуйню в универе - тоска смертная.
мне нравится
я получаю дозу эндорфинов от толкания вперёд науки, публикации пейперов, придумывания новых алгоритмов и доказывания теорем
машобчик - збс
Где почитать про обычные (фидфорвард) нейрончики? Особенно интересует обратное распространение. Я ньюфаг.
cs231n
R конечно. А так питон. О хаскеле вообще забудь, уж лучше С++ учи, раз статику хочешь.
Для меня матлаб более человеческий, но R наверное тоже норм. Хаскель точно не нужен, во всяком случае в машобе.
R и питон
Зато IDE заебись
Главный недостаток матлаба не в проприеиарности, всегда ж спиздить можно, а в конских системных требованиях и в общей ненужности. Все, что есть в матлабе, есть и в другом, свободном софте.
В программировании не шарю, но вот клюнул петух и пришлось разобраться с нейронными сетями, пытаюсь вникнуть плюс разбираюсь с питоном.
Задача следующая, есть куча данных в формате
parameter1parameter2parameter3class
1,00,24,1A
3,02,24,7A
6,05,25,7A
3,02,24,7A
22,021,211,1A
4,03,25,1A
14,013,28,4B
321,0320,2110,7B
6,05,25,7B
3,02,24,7B
22,021,211,1B
4,03,25,1A
14,013,28,4A
321,0320,2110,7A
321,0320,2110,7A
321,0320,2110,7A
12,011,27,7A
312,0311,2107,7A
12,011,27,7C
312,0311,2107,7C
3,02,24,7C
6,05,25,7C
3,02,24,7C
4,03,25,1B
14,013,28,4B
312,0311,2107,7B
Нужно сделать программку, которая могла бы принимать на вход данные в таком формате с уже определенным классом, а потом после обучения, могла бы сама классифицировать данные в подобном формате и сама определяла бы для них последний столбик Class. Что читать, куда воевать и прочее? Молю, анон, хелп ми.
В программировании не шарю, но вот клюнул петух и пришлось разобраться с нейронными сетями, пытаюсь вникнуть плюс разбираюсь с питоном.
Задача следующая, есть куча данных в формате
parameter1parameter2parameter3class
1,00,24,1A
3,02,24,7A
6,05,25,7A
3,02,24,7A
22,021,211,1A
4,03,25,1A
14,013,28,4B
321,0320,2110,7B
6,05,25,7B
3,02,24,7B
22,021,211,1B
4,03,25,1A
14,013,28,4A
321,0320,2110,7A
321,0320,2110,7A
321,0320,2110,7A
12,011,27,7A
312,0311,2107,7A
12,011,27,7C
312,0311,2107,7C
3,02,24,7C
6,05,25,7C
3,02,24,7C
4,03,25,1B
14,013,28,4B
312,0311,2107,7B
Нужно сделать программку, которая могла бы принимать на вход данные в таком формате с уже определенным классом, а потом после обучения, могла бы сама классифицировать данные в подобном формате и сама определяла бы для них последний столбик Class. Что читать, куда воевать и прочее? Молю, анон, хелп ми.
>Матлаб бесчеловечен, поскольку проприетарен.
А можно ли его полностью заменить на Gnu Octave?
На маке этот Octave безбожно глючил (или я криворукий), поэтому пока матлаб
Уж лучше тогда питон. Матлаб хорош двумя вещами - IDE из коробки и общей искоробочностью. А octave - типичный опенсорс, который нужен, чтобы запускать на сервере не переписанные на питон скрипты.
>Матлаб хорош двумя вещами - IDE из коробки и общей искоробочностью
У меня ощущение, что я с этим аноном живу в параллельной вселенной. В его вселенной у матлаба есть ide и по-всей видимости в нем удобно работать.
В моей вселенной матлаб -- это образец того, как не надо писать недоязыки программирования. Это скриптовое поделие по-сути является оберткой вокруг lapack. И если в 70-х так еще можно было делать, то в 2017 это некроговно выглядит атавизмом. Типов нет: где переменные, где чистые функции, где процедуры не понятно. Из-за этого в нем до сих пор нет автозаполнения, а есть какой-то обрубок. Стандарт оформления кода ужасен. m,n,h,w -- типичные имена матриц, функций, программ, субпрограмм, переменных, строк. Так пишут только дауны. Шейдинг 3д-графиков говно. В 2д-графиках до сих пор нет антиалиасинга. Единственная сильная сторона матлаба состоит в том, что он быстрый. Но зато потом надо потратить несколько недель на перенос прототипа в нормальный язык. Если так нужна быстрота, то проще уж выучить фортран и не ебать себе мозг этой скриптовой оберткой.
Нейронные сети на Степике.
>Типов нет: где переменные, где чистые функции, где процедуры не понятно.
Типичный динамический язык.
>Стандарт оформления кода ужасен. m,n,h,w -- типичные имена матриц, функций, программ, субпрограмм, переменных, строк.
Тебе наверное и музыкальная нотация сложна - кружки какие-то, полоски.
>Единственная сильная сторона матлаба состоит в том, что он быстрый.
Сильная сторона матлаба - это дебаггер с REPL и выводом графиков. Питон такое может, но это нужно искать IDE и т. п., а здесь ты получаешь все из коробки. О чем и написал.
>Если так нужна быстрота, то проще уж выучить фортран и не ебать себе мозг этой скриптовой оберткой.
Более тупое утверждение сложно придумать. Как альтернативу для медленного прототипного языка предлагать устаревшее говно.
>кушает сладкий хлеб стива молера
>считает фортран устрарешим
>MATLAB started its life in the late 1970s as an interactive calculator built on top of LINPACK and EISPACK, which were then state-of-the-art Fortran subroutine libraries for matrix computation.
Выбери одно.
У тебя нет силлогизма.
Если язык С появился на компьютере PDP11, из этого не следует, что PDP11 не является устаревшим говном. Из этого вообще ничего не следует.
Ну и я не знаю каким долбоебом нужно быть, чтобы рассуждать в стиле "у питона низкоуровневые функции написаны на С - значит учите С, пацаны, питон не нужен".
C нужен, Питон не нужен. Питон до сих пор не может в большую часть сишных библиотек для машоба, которые давно есть в том же R.
Это ты, R-петух, не нужен.
Первый: почему в Pandas нельзя обращаться к элементу по индексу типа data['Age'][3], только срезы делать типа data['Age'][3:7]?
>Я никогда не поверю, что такая вещь нужна одному мне на всей этой сраной планетке.
А кому еще? Слишком узкоспециализировано (я вообще не представляю, зачем это может понадобиться - чтобы искать по ключевым словам, достаточно распознать текст, чтобы читать вообще картинки достаточно), макаки дешевле, плюс нотации слишком дохуя, чтобы сделать более-менее приемлемый датасет.
>нотации слишком дохуя, чтобы сделать более-менее приемлемый датасет.
Вот это ложь и провокация. Есть латех, т.е. его текстовые комманды и их рендер в окончательную символику. Я не вижу, почему:
1) из последнего нельзя восстановить первого.
2) сгенерировать средствами того же латеха любой требуемый для подобной задачи датасет. Т.е. все ведь готово, не нужно искать по интернету тысячи фоток котиков одного размера.
>>1014222
>возьми да напиши, в чем проблема?
Проблема в том, что миллионы индусов до сих пор не сподобились. Хотя, по твоим словам, работы на один вечер.
1) Эта ебулда платная. Платная, год 2017.
2) В одном пейпере видел сравнение этого поделия с нейроночками, обученными на готовом датасете из математической нотации, у твоей хуитки там вообще смешные цифры, 26% правильно распознанных формул или около того.
Т.е. отдельные опыты в этом направлении есть, как и готовые датасеты, вот только готовых для нормального пользователя решений нет.
Я сначала подумал, что ты хочешь OCR рукописных формул, может быть даже в реальном времени.
Ну возьми и сгенерируй датасет. Что тебя останавливает?
>Я сначала подумал, что ты хочешь OCR рукописных формул, может быть даже в реальном времени.
Нет, конечно же. Не рукописное и не в реальном времени. Мне нужен текст из тысяч страниц примерно пикрелейтеда. Это латех + AMS-TeX.
>Ну возьми и сгенерируй датасет. Что тебя останавливает?
Вот опять "возьми и сделой". Я недостаточно могу в эту хуйню, чтобы взять и сделать. И у меня нет фермы из десятка видюх, на которой такая нейроночка сойдется хотя бы за неделю-другую. Зато я смотрю, тут специалистов полно. Я даже готов рублей 200 заплатить (ну раз все так просто) за готовое решение - обученная на датасете из латеха + AMS-TeX-а нейроночка, распознающая рендеренные пдф-ки в простой текст, скажем, юникод.
Запили КРАУФАУДИНГ.
>Так почему до сих пор я не вижу ни одного сколько-либо готового решения для OCR математических текстов?
Эндрю Ын сказал, что это задачка для второкурсника и им с Яном Лекуном ею лень заниматься. На самом деле уже есть несколько готовых решений на гитхабе. Была где-то страничка, где все подобные проекты собраны, но сейчас не гуглится. Поиск, кстати, у гугла почти окончательно доломан. Почти ничего уже найти нельзя.
https://openai.com/requests-for-research/#im2latex
ну, это тебе нужно, ты и сделай, я не могу представить такой ситуации, что мне нужно распознавать отпечатанную формулу, которая уже была в электронном формате
> Даже с отбитыми в армейке мозгами можно выигрывать конкурсы по машобу.
А кто сказал, что мозги отбили ему, а не он? Успешный человек жи, сначала сажал чеченов на бутыль, потом пошел в датасаенс.
> Эндрю Ын сказал, что это задачка для второкурсника и им с Яном Лекуном ею лень заниматься.
Здесь говорят то же самое, типа можно за один вечер сделать. Однако, по факту этого не сделал никто. В гугле ровно один прожект, и то сырая хуитка, с которой неясно что и как делать. При этом существует платное решение, что говорит о наличии спроса. Что-то не сходится.
Прочитать правила перед участием у него почему-то мозгов не хватило
Я доучиваюсь на математика, проприетарщина не нужна, octave это не серьезно. Область применения - тяжеловесные вычисления, в том числе и на видеокартах, всевозможный машоб и моделирование процессов, может быть с простеньким гуем. Требуется быстродействие, простота, меньше "программирования" (ООП-фаги могут укусить меня за зад).
А для чего тогда применим Хаскелль?
R довольно простой но может достаточно долго ворочать всякие там матрицы 50к х 300к
А что ворочает быстрее?
С программерской точки зрения было много ненужного вольфрама и порой внезапные "запилите гуй, документацию, взаимодействие с юзером и мне плевать что вы это не учили, потому что саентисты, а не макаки", с математической - копания в решениях, которые просто не выгодно кодить.
Рекомендую.
А что в рке такие вещи пишут на самом r? Во всех серьезных либах такие вещи байтоебы на сях или плюсах пишут, а то античные фортрановещи биндят.
Я для примера сказал. У меня учебный проект просто был рекомендалку написать именно а R.
Одно дело когда все современные решения долго ворочают такие матрицы и совсем другое когда только рка, что не есть гуд. Сам я не в курсах, с ркой дел не имел
Какой тебе R, ты ж в гугл даже не можешь. Базовый пакет в R для работы с матрицами - это враппер для набора тулз на фортране и сях.
>The Matrix package provides a set of S4 classes for dense and sparse matrices that extend the basic matrix data type. Methods for a wide variety of functions and perators applied to objects from these class es provide efficient access to BLAS (Basic Linear Algebra Subroutines ), Lapack (dense matrix), TAUCS (sparse matrix) and UMFPACK (sparse matrix) routines.
Раст - официальный язык СЖВ-куколдов. Очевидно же, не хотят зашквара. Нет смысла чинить то, что работает.
>Почему код на фортране до сих пор не переписали на расте?
Потому что в код на фортране вложены миллиарды долларов министерств обороны и энергетики США. Он там отлажен вплоть до ручных ассемблерных оптимизаций. Ничего быстрее уже не будет.
Забей, этот шизик с кучей свободного времени по всему двачу эту хуйню с куколдами форсит
Ничего быстрее для суперкомпьютеров может и не будет, а вот для обычного слесаря с x86 и игровой видюшкой есть куда ускоряться.
Нет нормальной поддержки итальянского.
https://www.youtube.com/watch?v=FmSsek5luHk
я даже не представляю, что сейчас творится в этой области! Наверное, кони и скейбордисты теперь везде!
про сотовые я даже не заикаюсь
2k17
@
не знать что человек напишет код эффективней чем компилято, вопрос только в человекочасах
сможет ли макака (которая примат, а не господа из других трудов) написать роман если будет бесконечно хуячить по клавиатуре ?
>сможет ли макака (которая примат, а не господа из других трудов) написать роман
А ты сам-то типа не макака можешь?
В том-то и речь, что дело не в человекочасах.
Эта хуерга что-ли отдельные кадры описывает? Прошлый век. Вот как надо https://youtu.be/pER0mjzSYaM
А наоборот может, текст в видео? Джва года хочу нейрон очку, которая будет делать ЦП по текстовому описанию :3
Если известно, к каким классам принадлежат векторы, то SVM, если неизвестно, то somoclu.
с помощью индусов
Проиграл с этих обобщений. Можно сразу
void callbackForEachFrame(){
print("Something happens right now")
}
ты чё охуел тут такие вопросы задавать ?
мы тут теоретизируем, пиздуй отсюда!
callbacks -> ModelCheckpoint
Нужно как можно проще, без свистелок и для работы с .csv
из вышесказанного не понял, что лучше плюсы или питон
хуярю диссер, дошел до необходимости написать нейросеть, до этого писал проги на матлабе, немного знаю плюсы
есть ли смысл вкатываться в питон или на плюсах можно норм все реализовать
ключевой критерий - время обучения написанию нейросетей
питон
Бери matcaffe, тебе хватит
Хватило, орги говорили что все ОК и хуй положат на это правило, но ВНЕЗАПНО неполучилось.
Слесарьфлоу такое может.
Имеется несколько кривых (x,y), для каждой точки есть свой класс, всего классов около 10. Также имеется куча данных, которые не классифицированы. Задача - через свм, нейронные сети и рандомный лес проклассифицировать пустые данные, а также используя тренировочную подборку определить, какой из алгоритмов подходит лучше в конкретном варианте.
Куда лучше копать? Есть ли уже готовые решения, чтобы осталось только вставить свои код в компилятор, подгрузить свои данные и посмотреть результат? Какие инструменты нужны (R, Matlab, Python)?
Какой код, какой компилятор? Грузишь датасет куда угодно, на нем тренируешь по обучающим данным свм и что там тебе нужно, потом по тестовым делаешь предикт и сравниваешь какой алгоритм больше угадал. Чистое слесарство жи.
>какие компиляторы
То есть, ты хочешь сказать, что мне не обязательно ебаться с языками, учить их с нуля, а потом искать коды в открытом доступе и подстраивая под себя работать с данными?
>куда угодно
Это куда? Можно пару примеров? Пока нашел только оранж.
Заранее спасибо, анон.
Есть набор данных, который содержит несколько функций от х, причем х общий для всех и дискретизация одинаковая. Также кроме значений функций, каждый х содержит какой то класс, это тренировочные данные. Необходимо на них проверить несколько алгоритмов и выбрать лучший, который потом будет использоваться на пустых данных, которые надо классифицировать.
Если программировать не хочешь, возьми какой-нибудь azure ml или что-то отсюда https://www.quora.com/What-are-the-alternatives-to-Azure-Machine-Learning-and-Amazon-Machine-Learning
А так из R, Matlab, Python тебе подойдет все, что угодно.
> Это куда? Можно пару примеров? Пока нашел только оранж.
Ты ж сам примеры написал. R тот же. Там почти 11000 дополнительных либ, реализующих любые алгоритмы машоба. Сам язык знать не нужно, работа с готовыми библиотеками элементарна. Ты написал, тебе надо SVM, оно есть например в пакете e1071. Читаешь документацию, профит.
> Если программировать не хочешь, возьми какой-нибудь azure ml
Зачем? Это ж облачный сервис. Для чего с ним ебаться, если все можно поставить локально, R тот же?
> Weka
Вот кстати в чем суть этой хуитки? Нескучный интерфейс? Так Statistica все равно в этом плане пижже.
Я не знаю локальной альтернативы, в которой весь путь можно накликать мышкой. Знаешь - скажи.
Но эти курсы внезапно платные. Теперь в раздумьях: годная ли специализация или есть что получше? На той же курсере, например. Давным-давно проходил стэнфордский курс от Andrew Ng, когда coursera ещё была бесплатной.
Не вижу, сколько денег стоит без логина, но тот же Воронцов - годный мужик в плане обучения, только вкладываться по времени все равно придется. Реши для себя, ты хочешь только сейчас или серьезно готов вложить времени и сделать. Если второе - плати.
> тот же Воронцов - годный мужик в плане обучени
В плане мозгоебства, ты хотел сказать? Его лекции по SVM и лда/топикмоделям это пиздец натуральный.
> Я не знаю локальной альтернативы, в которой весь путь можно накликать мышкой. Знаешь - скажи.
Да вон жи, выше написали, weka. Гуй, мышка, стрелочки, диаграммы. Все как ты хочешь.
А, KEEL еще. Это поделие интересно наличием там помимо кучи всего прочего финграммов т.н. Но тут нечеткую логику принято хейтить.
Сантехнику припекает.
>есть временной ряд и признаки для каждого значения
>Признаков для предсказываемых значений нет
Выбери что-то одно
А конечная цель какая? Предсказание временного ряда? Ну построй из него матрицу Ганкеля и предсказывай.
Я одного понять не могу - как мне могут помочь признаки для известного периода?
Формулки это не плохо, плохо то, что он одну неведомую хуйню объясняет с помощью хуйни еще более неведомой. Показать, как он крут, у него получается, а вот нормально объяснить, в чем и есть цель лекции - нихуя. На примере лекции про SVM у него вообще нихуя не понятно в сравнении с Вапником даже в оригинале на английском, о чем тут говорить вообще.
Анончики, какие есть классические датасеты? Накидайте названия или ссылки на самые основные.
Из популярных знаю только cifar, mnist, iris.
Ну уж для матлаба целые подборки на рутрекере, причем на русском.
ml-class.org
> отсканированой книги читаемый текст
Кстати на основе детектора можно сделать. Только размечивтаь лень чет, там запятые и точки и мало ли еще какая фигня попадется. На одной странице около 2к разметок делать а таких страниц где-то надо около 500 штук хотя бы или пробнуть обучать по дной букве- символу, тогда сложность разметки на порядок упадет, не понятно тогда что с пробелами делать. Думаю, на сегодняшнее время был бы самый лучший конвертер.
По линейной алгебре книжка Умнова, еще на Степике вроде лекции есть. По теорверу Ширяев, только тебе потом для всяких распределений нужно будет научиться интегрировать.
Есть целевой вектор. Назовем его V-target.
И есть набор векторов. Для простоты пусть их будет 3: V1, V2, V3.
Я хочу найти набор коэффициентов k1,k2,k3 такой что, эвклидового расстояние между V-sum = k1 V1 + k2 V2 + k3 V3
и
V-target
минимально?
Если кто знает с помощью какой оптимизационной техники (или может это вообще аналитически можно решить) лучше решать?
В итоге задачу можно переформулировать в такой форме минимизировать норму
||V_i.k-v_target||
с неизвестным вектором k. Чем такое лучше всего решать?
> Посоны, кто-нибудь может знает стандартное название такой задачи?
Система линейных уравнений.
Ax = b
A - матрица из столбцов [V1 ... Vn]
x - вектор [k1, k2, k3]
b - V-target
Спасибо, но я уже сам все это понял. Кек. Правда, в результате условие задачи надо как-то менять. Никакие осмысленные результаты из получающихся решений не выходят. Слишком много возможных комбинаций, а как наложить дополнительные ограничения я пока не придума.
Что за задача?
А вы итт на чем пишите? Я не сверх специалист, знаю, что котируется питон. На мой взгляд у него та же сфера, что и у матлаба
Есть реализации kmeans с использованием GPU?
Есть закрытые математика и физика бакалавриата "Экспериментальная ядерная физика", энтрилевельные познания сей, средний скилл электроники.
Сейчас всё бросил и записался в кодеры, но иллюзий не питаю, бакалавриат особо ничему не научит, надо к магистру всему научиться самостоятельно и уже просто искать работодателя.
Вероятно, без нейросетей тут не обойтись.
Я примерно понимаю, как написать, положим, распознавание речи обычным способом. Спектр, базы данных, всё такое.
А вот как это делают нейросети — даже близко не представляю.
Слесарьфлоу это либа для перемножения тензоров и др. операций с ними. Нейроночки это очень малая часть того, что там реально можно намутить, однако это уже не слесарство.
> Я примерно понимаю, как написать, положим, распознавание речи обычным способом. Спектр, базы данных, всё такое.
> А вот как это делают нейросети — даже близко не представляю.
Апроксимация функции от многих аргументов через суперпозиции частных функций от 2х аргументов т.н. нейронами. По имеющимся данным. Параметры настраиваются итеративно, до обеспечения минимальной ошибки.
CS224n: Natural Language Processing with Deep Learning
Всё остальное можешь даже не открывать, все мэннинги и шутцы безбожно устарели.
В общем случае NP, для фиксированного количества итераций O(IterNN_dim*n_clusters).
>Посоны, запустил матлабовский kmeans на 5 миллиардов точек с целью разбиения на 10 кластеров. Эта срань написала, что за 100 итераций она не сошлась и больше пока ничего не пишет. Работает уже вторые сутки. Это нормально? Какая у него алгоритмическая сложность? Сколько еще дней ждать? Выключать жалко -- вдруг уже близок конец. Запуская в первый раз.
>
Какая размерность у данных?
>Какая размерность у данных?
Там были 2-мерные точки. В общем он отработал где-то через шасов 6, после того как я написал сюда пост с вопросом.
Еще есть функциональный анализ, теория графов, генетические алгоритмы, снижение размерностей, скрытые марковские модели, случайные блуждания и теория информации. Все как ты любишь.
Нечеткая логика есть.
Почитай хоть "Теорию вероятностей" Вентцель, хотя бы 1 главу оттуда, из опхуй-поста выпилили, как и большинство других книжек. Это годный учебник, поясняется и за теорему Байеса на пальцах с примерами.
Чем отличаются генетические и меметические алгоритмы? Что лучше? Что используется?
Меметические алгоритмы - это генетические + локальный поиск, а не простой рандом как в генетических. Меметические быстрее сходятся.
>А. Пегат, "Нечёткое моделирование и управление"
Не увидел в этой книге задач на доказательства. Как извлечь из нее пользу?
Мне кажется эту книгу добавляют для троллинга. Но я, правда, ее не читал.
>Не увидел в этой книге задач на доказательства.
На доказательства чего?
>Как извлечь из нее пользу?
Какого рода польза тебя интересует?
>На доказательства чего?
Ну я математик и привык прорабатывать материал, решая задачи. А тут какая-то хуйня для слесарей, которым лениво загружать мозг.
>Какого рода польза тебя интересует?
Вкуривание теории, необходимой для машоба.
> Ну я математик и привык прорабатывать материал, решая задачи.
Типичная узколобая макака, спешите видеть.
Есть ли какой-либо вменяемый софт для всестороннего анализа данных? Гугление дало слишком много всего, надеюсь, что ИТТ знают более-менее проверенные вещи.
>Вкуривание теории, необходимой для машоба.
Там большая часть того, что нужно знать для использования нечетких множеств в машобе.
>Есть ли какой-либо вменяемый софт для всестороннего анализа данных?
Есть. https://cran.r-project.org/
Идешь на сайт мита и наворачиваешь математические курсы.
Проучитится два-три года в шараге.
Ну все чин чинарем: скачал датасет для бинарной классификаци 12 признаков на 70 тысяч измерений. Скопировал код вызываюший svm'а из sklearn, перекинул это все значит с макбука на сервер, запустил там.
Ну и отшел повейпать да в барбершоп по пути заглянуть, возвращаюсь, значит, через три часа, думаю сейчас погляжу, чему он тут научился...
И от удивления аж монитор залил смузи.
Вопрос в чем: sklearn в многоядерность в принципе не способен, или просто нужно запускать его каким-то особым образом?
Задача максимум - найти все выбросы за константное число обходов (установить минимум и максимум, за которыми находятся все выбросы), нужны только выбросы, медианы-квартили не нужны.
Задача минимум - "причесать" множество за 1-2 прохода, выкинув "дикие" выбросы.
Нужен не инструмент, а алгоритм.
Ничем?
potential outliers и problematic outliers
outliers и far outs
отличаются тем, что с первыми можно худо-бедно жить, а вторые гарантированно рушат модель
Ну бери и находи.
Пиздец. Ты выбросы искать умеешь?
>Нужен не инструмент, а алгоритм.
Это ты хочешь чтобы двачик за тебя лабу2 сделал?
Давай почетче, с какими выбросами ты не сможешь жить, и почему правила трех сигм тебе не хватает?
Чую я что триплет лосс можно прихуячить.
Кто-нибудь тут точно делал диплом по сабжу, потому что модно. Поясните за следующие: как вообще определяется новизна в данной теме? Вот берётся проблема, решается относительно успешна. Но ведь где-то могут быть получены более оптимальные решения той же проблемы.
Так ведь новизна определяется как либо новая задача либо новый метод и анализ решения для научной работы более ничего и не нужно.
Говорят, есть сайт такой, гугл называется. Можно написать туда название проблемы, и он тебе выдаст статьи других чуваков, которые тоже ей занимались.
Если пишешь диплом в рашке, то можешь забить хуй и писать полнейшую отсебятину, приёмная комиссия сама нихуя не шарит. А вот рецензенты нормальных научных журналов и конференций доебутся.
> Говорят, есть сайт такой, гугл называется. Можно написать туда название проблемы, и он тебе выдаст статьи других чуваков, которые тоже ей занимались.
Тем не менее, если тема довольно узкая на широком поле деятельности вроде ML - то часто гугел тебе будет выдавать что угодно, начиная от "распознать хуй при помощи deep learning бесплатно без смс и регистрации" и заканчивая статьями индусов на совершенно другие проблемы. Статья того самого китайца, который уже решил твою проблему 10 лет назад, часто теряется в этом шлаке.
Хуй знает. У меня всё находит. Может ты просто тему неправильно формулируешь?
Медианная фильтрация со скользящим окном, вычитаешь из сигнала фильтрованый сигнал и сравниваешь с порогом:
x - filt(x) > THRESH
У тебя есть два параметра, размер окна и порог, которые ты можешь настроить за первый проход, тренируя свой алгоритм кусками, допустим, по гигабайту (но лучше просто посмотреть глазами на данные и оценить частоту выбросов, медианная фильтрация к ним в принципе устойчива)
Используй site:arxiv.org , люк. Впрочем, гугол каким-то магическим образом выдает именно нужные статьи по дипленингу на первое место. Я так препринт препринта мастеркласса начал превращать в коммерческий продукт еще до того, как автор опубликовался на какой-то конференции.
> Я так препринт препринта мастеркласса начал превращать в коммерческий продукт еще до того, как автор опубликовался на какой-то конференции.
Великий комбинатор в треде, все в Васюки.
Но постоянно вводить капчу надоедает...
"Начал превращать в коммерческий продукт" - это, надо понимать, повесил на каггле обьявление "Молодой и инициативный школьник ищет команду"?
Можешь дать ссылку на новую политику? А то я не нашёл нихуя. Как проходить курсы без верификации, за что курсера берёт бабки, есть ли бесплатный контент и вот это всё.
Слесарьфлоу Бабушкина? Что там, какой-нибудь враппер выдают за неимеющую аналогов отечественную технологию?
MACHINE LEARNING
@
DECISION TREES
@
GRADIENT BOOSTING
@
https://github.com/catboost/catboost/blob/master/util/string/vector.h#L17
Видел уже тралленк этого в каких-то комментах на хабре. Чувакам просто лень рефакторить. Ведь это интерфейсы, а значит надо будет рефакторить и все приложения, которые их используют. SplitStroku будет навсегда.
Лолед, они это ещё и по разным проектам растащили.
А в чем суть этого бустинга вообще? Соединить алгоритмы вместе в большой костыль?
> Ну, всё-таки в ЦЕРНе используют. Это может быть о чем-то свидетельствует.
Яндексопарашу в церне?
видел (2 минуты общался) парня из яндекса, который еще в церне и работает
Как будто ЦЕРН дохуя небожители.
Ссылки по теме:
processmining.org
https://www.coursera.org/learn/process-mining/home
в этой книжице есть раздел про learning automata http://libgen.io/book/index.php?md5=E82E5CA08E4FD812B672BD31184CBD91
(кстати, если посмотрите на концепцию автоматного обучения, то поймете, что оно даёт на клыка всем вашим нейронкам, потому что чтобы дообучить нейронку, нужно заново скормить ей все данные и заново обучить на новом трейне, а чтобы дообучить автомат, достаточно просто скормить ему новые данные.) В общем об этом всем знают единицы, но если вдруг кто-нибудь заинтересуется, расшарит тему или уже что-нибудь знает, хотелось бы дискасс.
Сами сети петри не новые, а вот задача их восстановления требует усилий
Нечеткие когнитивные карты Коско с настройкой параметров хеббовским обучением прогрессивнее сетей Петри в разы, например. Да, обучающиеся автоматы круче нейроночек, только в них никто не может.
Спасибо тебе огромное, буду щас копать
Может есть проверенные источники полные по изложению?
Может еще и про автоматы знаешь чего годного?
Благодарю!
Сам-то чем занимаешься? Какой лвл, образование? Может работаешь где? Не каждый день услышишь про такие штуки, мне очень интересно
>нужно заново скормить ей все данные и заново обучить на новом трейне
Щито? Я в слесарьфлове могу батчами запихивать тренировку в сеть, потом гонять ее по тесту, если тест предсказывает плохо, то можно подкинуть в печ еще тренировочных батчей. О каком переучивании идет речь?
Что имеется: англ уровня с1, могу в математику, могу в упорство, не могу в непоследовательность.
Почему MLPClassifier из sklearn не может обучиться под обычный xor? Что я делаю не так?
>чтобы все было максимально последовательно, а не вразброс.
Слишком широкая тема, чтобы последовательно и не вразброс. В любом случае изложение будет однобокое и точно не охватит всю подноготную. Даже у Вапника с Червоненкисом, несмотря на изначальную идею вывести общую теорию происходящего, начиная с перцептрона Розенблатта, например нет ничего о работах Колмогорова и Арнольда о представлении функции многих аргументов через суперпозиции функций от 1-2 аргументов, что является самой сутью нейроночек. Поэтому, чтобы не париться, начинай с чего угодно, что непонятно - догугливай.
Спасибо, ананас, что подсказал. Попробую что-нибудь сделать
Так почему склеарн не может обучиться?
Кто-ибудь знает происхождение первого пик и, что на нем делает Ленка? Она сейчас машинным обучением занимается что ли?
Зачем им все, что там написано? Они сами хоть половину слов понимают, что там написано?
Что конкретно ты считаешь там лишнее?
R в данном случае используется как враппер для слесарьфлова + юзер-френдли метод его установки одной коммандой, хоть на глинукс хоть на шиндовс, хоть на мак. Главные плюсы в том, что производительность при этом не теряется и не нужно пистонить эту пистонопарашу, все общение со слесарьфловом через R. Поэтому в т.ч. продакшену как будто школьцам вообще грозит продакшон этот метод вообще никак не повредит, если не наоборот, поскольку такой путь полностью снимает вопрос пердолинга с установкой слесарьфлова, все ставится и используется из коробки.
на реддите писали, что многие R используют в продакшене
Да дело не в в течении слесаря, оно там для красного словца, сам процесс обучения и взадраспространения ошибки определен для одного отдельного входного данного, и ты в любой момент можешь перестать подсыпать новые знания, или доучить нейронку.
Риал сделать робота который будет ебашить гопоту?
Захуячивай личиниуса и потиху программируй его. Лет через 14-16 можно пожинать плоды. В отличии от всяких еб, которые могут и через 20 лет быть недоступны - это безотказный вариант.
Чет архитектура слишком долго тренируется и еще очень много как-то уходит в даун не пойми почему.
шютка-минутка
Все книги по ML начинаются с того, что автор ожидает от читателя знания вузовского курса статистики и теории вероятностей.
А если я проебал вспышку, будучи в шараге, какой книгой заполнять пробел, без лишнего углубления, но с хорошей базой?
Если при первом прохождении вместо Oj := ... я подставляю O0, то разве её значение не изменится, когда я подставлю O1?
Там жи написано одновременно надо обновить значения
всё делаешь одновременно, последовательность обновления в задачке не узказана
Этот игрушечный слесарьплов такая шляпа. Ни своих датасетов не подгрузить, ни вычислительную часть элементов графа не задать. Вот если бы то же самое, но с полным функционалом слесарьплова - цены бы не было.
>неспособных к матеше
Для тезорфлоу нужна какая-то особенная математика, которую не преподают в рашкинских вузах?
Линал, анализ I-III, функан, дискретка, теорвер, матстат. Почти полный курс, есличо.
Ну епт а хули нейроночки не сделают курс по математике для тех кто будет их применять
Какой лвл?
но ведь пистон как язык намного лучше чем R. а для пакетов из R есть rpy.
Слу, а с этими стилизациями под Пикассо какие сеточки используют? Там же обучающая выборка маленькая, этих картин не так много, плюс они все же отличаются по стилю.
Пацаны поясните, зачем шибко нужен язык R, если есть Python + много библиотек, которые решают большинство вопросов???
Линал и статистика из коробки с удобным интерфейсом.
Ну хз, поищи на гитхабе модные "Jupyter Notebook", чтобы только свои данные вставлять и всё из-под коробки работало.
Бесплатно нету. За бабло всегда пожалуйста https://azure.microsoft.com/ru-ru/services/machine-learning/
Впрочем, пижжу, есть и халява.
Ну ты тупой.
Как проверить нейросеть на правильность? Например, какую архитектуру засунуть так, чтобы синус обучился?
Ты уверен? Судя по вопросам, которые рядом с моим постом, все очень просто, но долбоебы даже в это не могут. Или это так только на дваче, а нормальные люди уже за 20 часов все поняли и демпингуют зп?
Тут сидят такие себе ребятки.
За 20 часов вряд ли поймешь. Прикол как раз в том, что есть кафедры в топовых фузах (ФИВТ, ФУПМ, ФКН), которые готовят спецов именно в машинном обучении. Вот и подумай, что ты можешь по сравнению с победителем всероса, который 6 лет дрочил нейросети. Скажешь, что их мало? Ок, однако все студенты этих вузов имеют доступ по желанию к лекциям на тему. Есть вузики попроще, где тоже учат этой хуйне.
А рынок заметно меньше, чем на веб-разработку. Вот и считай.
тогда пусть на мсц вкатывается
Тащемто чтобы вкатиться в продакшен не нужно быть гением математики и всеросником, достаточно уметь в import tensorflow и знать в каких случаях какой алгоритм применять, плюс основы линейки и матстата на уровне первого курса. По крайней мере так обстоит дело в nlp, в классическом ml, думаю, ещё проще, не нужно чесать репу и думать ёпту бля какие бы фичи ещё нагенерить. на выходных был на аисте, там все школьники-студенты уже пицот лет все работают дата саентистами, и они все достаточно простые пацаны и учатся даже не на фкн/фивт
Но я сам с мехмата. Говорю же, проблема не в том, чтобы конкурировать с парнями с физтеха. Они то как раз те еще ЧСВ и только задерут зп, проблема в том, что я не хочу конкурировать с макакми.
Ну если смотреть по пайтон-треду и тому коду, который там присутствует, никакой машин лернинг этим ребятам не светит.
Бампую.
Просто есть один хуй neuralnetworksanddeeplearning.com/chap1.html, может кто сталкивался. У него своя сетка работает. Моя имплементация - нет. Имплементация sklearn с фиксированным learning rate тоже выдаёт плохой результат.
Зато не с фиксированным выполняется дохуя, но 80% угадывает. А у этого хуя целых 90%. Грешил на сетку, но ручками проверил - вроде всё хорошо. Да и sklearn с такими параметрами плох. Я в шоке короче.
Хочу следующую стажировку к ним пойти. Нормальное место?
> куда тогда посоветуете вкатываться, чтобы быть белым человеком в будущем
Быть белым человеком возможно в любом деле если ты умеешь его хорошо делать.
PS
Что за мнение?
Биология. Биотехнологии, генная инженерия, фолдинг белка, это все. Очень перспективная отрасль.
А программистишек как блох расплодилось, никому они не нужны. А в будущем еще DeepCoder допилят - компьютер будет сам писать сайты, 90% веб-макак пойдут собирать бутылки.
>Быть белым человеком возможно в любом деле если ты умеешь его хорошо делать.
Очень интересно, расскажи как быть белым человеком в сантехнике.
>Мой доход составляет примерно 300 тысяч рублей. Я знаю много мастеров, которые зарабатывают даже больше, чем я.
Да, побольше чем у программистишки будет. Но все равно нырять в говно неприятно.
>Стал обучаться, посещать семинары
Учись, сынок, а то так и будешь подавать ключи!
Депутат госдумы этой федерации.
Уборщики на даче у министров нормально зарабатывают.
Машоб = статистика. Нейронная сеть — частный случай способа решения какой-нибудь задачи в статистике.
Вы видите копию треда, сохраненную 27 августа 2017 года.
Скачать тред: только с превью, с превью и прикрепленными файлами.
Второй вариант может долго скачиваться. Файлы будут только в живых или недавно утонувших тредах. Подробнее
Если вам полезен архив М.Двача, пожертвуйте на оплату сервера.