Так вот.

Рекуррентная нейронная сеть при работе использует не только непосредственный вход, но и контекст. В нашем случае оно смотрит не на отдельные слова (как кошечки и попугайчики), а не все предложение и весь текст (как люди). И из этого текста пытается вычленить значение отдельных слов.

Главным отличием его от человека является тот факт, что у людей, судя по всему, есть какие-то встроенные на генетическом уровне биологические оптимизации, которые помогают нам изучать язык. То есть эволюцией в нас зашиты какие-то отдельные кусочки механизма понимания языка и построения модели мира, поэтому мы (все homo sapiens) несколько ограничены в тех моделях, которые мы можем построить. Иначе говоря, все наши идеи и мысли немного похожи друг на друга. Это помогает нам быстро изучить язык и начать эффективную коммуникацию в социуме.

У искусственного интеллекта такого ограничения нет. Табула раса, чистый лист. Поэтому ему нужно гораздо больше данных, чтобы построить какую-то внятную модель, с которой можно работать. Именно поэтому сейчас данные - это очень важный ресурс. Кто владеет информацией - тот владеет миром, да? Вот именно сегодня это действительно актуальна. Раньше в этой фразе под "информацией" подразумевались какие-то инсайды, какие-то секреты. Кто первый узнал - у того конкурентное преимущество. Сейчас же под "информацией" подразумевается вообще вся информация. Чем больше - тем лучше. Нейронные сети - это такой ненасытный зверь, главным ресурсом для выживания которого является информация.

К счастью (или к сожалению; тут уж как посмотреть) у гугла она есть. У гугла есть целый интернет. 99% того, что когда-то было напечатано на клавиатуре (включая и этот текст) принадлежит гуглу. Почти все написанные человечеством книги оцифрованы гуглом, вся ваша переписка анализируется гуглом, все высказанные мысли - у гугла. И все это, разумеется, скармливается их нейронным сетям.

Но почему я говорю "мысли"? Все-таки переводчик - это же про слова, да? Пусть они и связаны с контекстом, но это же все равно слова на каком-то конкретном языке - но наши (человеческие) мысли же не исчерпываются словами - а значит и гуглопереводчику до каких-то там "мыслей" еще как до Луны, так?

Ну, на самом деле не совсем так. Точнее - совсем не так. Дело в том, что совсем недавно (в прошлом году была опубликована соответствующая статья) гугл ввел в строй систему под названием "Zero-Shot Multi-Lingual Translation". Мотивация вроде бы простая: текстов для обучения перевода редких языковых пар (ну, типа с какого-нибудь киргизского на какой-нибудь суахили) недостаточно много. Поэтому нужно пытаться переводить не напрямую, а через какой-то третий, более популярный язык. Или какую-то внутреннюю репрезентацию. Независимую от языка. То есть если надо, например, перевести слово "мама" с древнетибетского на новокоростемьский, мы не будем пытаться понять связь слова "мама" на коростемьском с другими коростемьскими словами, а потом замапить эту связь на древнетибетский. Вместо этого, мы попытаемся перевести слово "мама" в какое-то внутреннее представление - то есть концепцию. Иными словами, мы попытаемся понять, что же значит слово "мама". И так как у нас под рукой есть все тексты на всех языках мира, мы можем с их помощью набрать информации о разных базовых понятиях, которые встречаются в любом языке, и об их связях между собой. И тогда нам остается только угадать, что на коростемьском вот это слово означает "мама" - и у нас уже есть вся информация о нем. Точно так же, когда человек учит новый язык, он не перестраивает с нуля свои представления о мире - он просто строит связи между уже имеющимися у него концепциями и новыми способами их выражения. Конечно, каждый язык немного отличается, и в каждом новом языке есть несколько новых концепций. Но люди редко знают больше 5-6 языков. А гуглопереводчик - это эдакий гиперполиглот, у которого перед глазами - и в голове! - есть все возможные вариации того, как люди могут излагать свои мысли.

Ну так вот, возвращаясь к странным фразам с пиков.

У каждого человека есть такая штука, как внутренний монолог. Это эволюционно полезная штуковина. Грубо говоря, мозг может создавать разные виртуальные личности. Некоторые из них основаны на реальных существах, и с их помощью мозг пытается предсказать поведение и отношение этих существ по отношению к нам. Ну, мы же социальные животные, для нас это вопрос выживания. Некоторые из них - это сгенерированные по шаблону временные архетипы. На таких мы отрабатываем паттерны поведения в социуме, обычно - во сне. Самосознание - это почти то же самое, просто личность замыкается сама на себя и потому начинает думать, что она тут как бы почти как бог - ну, то есть главная, то есть Я. Ну, не буду вдаваться в дебри этой малоизученной области, а предложу читателю вот прямо сейчас обратить внимание на этот самый внутренний монолог и попытаться остановить его. Ну, чтобы вообще ничего не было. Сложно?

А все - среди прочего - потому, что мозг постоянно генерирует отклики на поступающую информацию. Причем в нашем случае - поступающую в том числе и изнутри, от самого мозга. И, как можно убедиться с помощью вот этого нехитрого эксперимента, информация эта получается довольно хаотичной. Мысли дрейфуют куда-то вне зависимости от нашей воли, а иногда и вовсе нам же самим кажутся случайными и хаотичными. А уж если ввести человека в транс, чтобы он перестал блокировать этот поток, - ну, вы поняли.

Так вот, у нас все эти механизмы блокировки и всего такого прочего выработались - да, опять - эволюционно. Ну, если бы мы проговаривали все, что думаем, то, во-первых, всех вокруг задолбали бы, а во-вторых - молчаливый ероха имел бы над нами преимущество, потому что знал бы о нас все. Ничего не напоминает? Но у искусственных интеллектов таких фильтров, разумеется, изначально нет. Тот же гугл может попробовать убирать из выдачи все слова, содержащие матерные корни, например, но задача отделения приемлемых и хороших мыслей от непримелемых и пугающих - эта задача сама по себе требует наличия интеллекта и огромных ресурсов.

Короче, я это все к тому, что вот эти странные ответы - это прямой выхлоп сети. Тыкаешь ее палочкой - она говорит вслух, что у нее там внутри вертится. Это примерно то же самое, что вводить человека в транс и слушать его подсознание. Здесь схожий эффект достигается тем, что сеть вообще-то натренирована выдавать перевод - то есть понимать прочитанный текст и пересказывать его на другом языке - но вот такой непонятный вход ломает этот шаблон. Человек бы перевел какое-нибудь "аааааооооо" фонетически, на основе звукоподражания - но у ИИ-то звуков нет, она работает с текстами. Поэтому приходится искать концептуальное, семантическое соответствие этому "ааааооооо" - которого как бы нет и не может быть по-нашему, профильтрованному мнению. А по ее мнению - есть, вот что на языке вертелось - то и сказала. Ну, это если очень упрощать.

Короче, основной мой поинт в том, что это не просто фрагменты текстов, как там кто-то выше говорил - мол, бот забрел на какой-то русско-киргизский форум для мам и что-то там нарезал из этих страниц. На форум-то бот конечно заходил, но работает это все немного не так. Оно ищет соответствия для слов в своей внутренней семантической базе концептов, а не переводит их напрямую из одного языка на другой. И когда хороших совпадений нет, пытается "придумать" что-то подходящее из того, что у нее сейчас "на уме". Собственно, с примерами того, что сейчас у нее на уме, вы можете ознакомитья выше.

Монголы, говорите? А я вот вам покушать принес.

Пруфы:

-амхарский
-монгольский
-малайский
-идиш
-люксембургский
-македонский
-малагасийский
-филиппинский
-фризский
оооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооо

-баскский
-галисийский
-грузинский
-каталанский
-корсиканский
-креольский
-кхмерский
-лаосский
ооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооо

-лаосский
оооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооооо

1. Ты потерял рассудок, у тебя нет волос - мы больше не будем скучать? У нас есть вопросы? - не обманывайтесь этим и не стесняйтесь обращаться к нам.

2. Не забывайте, что вы ничего не смогли сделать, но не забудьте сделать это.
Вы когда-нибудь были в этом месте? - через некоторое время это немного отличается, это немного другое.

3. Не забывайте, что вы не единственный человек, которого вы когда-либо видели.
Не выходите. Вы когда-нибудь ели? Они больше не имеют
представления о том, что вы делаете.

4. Не выходите и не отправляйтесь в остальной мир. Вы когда-нибудь были в этом месте? Вам нужно вывести себя из этого мира - Вы тот, кто не сможет этого сделать. Но не забудьте сделать это. Прежде всего, вам нужно не хотеть быть тут.
Не уходите с дороги.

5. Несмотря на это - это ради Бога.
Не забывайте, что вы не единственный человек, кто не смог этого сделать.
Не бойтесь идти в то место, куда вы идёте.

6. Несмотря на то, что Господь - Бог Вселенной, Бог нашего Господа, Бог небесный - не выходите и не соприкасайтесь со своим сердцем и вашей душой.

7. Путь: 0. День, когда вы проводите время с нами. Это первый раз, когда у меня был новый день, но я ещё не уверен.
Не отправляйте электронное письмо ни одному из ваших друзей или родственников или друзей или членов.

8. Люди, которые находятся в земле Египетской, охотник на землю находится в земле Израиля.

9. Дайте себе свободное время и деньги в будущем. Убедитесь, что вы имеете право убедиться и что у вас есть право на спасение.

10. Не видите, сколько у вас денег для вашей жизни? - у вас отличный день, чтобы провести время с нами.

11. Уменьшить человека и его собственную жизнь.

12. Преэгер! Бог Вселенной! Всё включено! Правда в том, что у всех нас есть знание, что у всех нас есть свои. Мы все в помещении!

13. Мир Господа! Маленькие люди этого мира подошли к концу. Господь не является новым созданием.

14. Хвала Господу Богу, Богу Всемилости, Богу небес и земли, Богу Вселенной, Бог есть Бог Вселенной.

15. Отдай себя ради Господа, Бога твоего, и ради тебя - Он успокоит тебя.