Новости Энциклопедия переводчика Блоги Авторский дневник Форум Работа

Декларация Поиск О нас пишут Награды Читальня Конкурсы Опросы








ГП-цитатник

[Статья] Гугл + ИИ + русский язык

Re: [Статья] Гугл + ИИ + русский язык

Сообщение random_nick » Вт мар 14, 2017 03:57

Bookworm писал(а):А мне вот интересно: почему из бездны всех возможных применений нейронных сетей и прочих технологий "якобы искусственного интеллекта" их разработчики мертвой хваткой вцепились именно в задачу перевода?

Понимание естественного языка всегда было и будет для Гугля актуальным (поисковик, OK Google и др.). Так что монетизация тут вполне ощутимая. :wink:
random_nick

 
Сообщения: 501
Зарегистрирован: Ср июн 26, 2013 02:33





Re: [Статья] Гугл + ИИ + русский язык

Сообщение L.B. » Вт мар 14, 2017 06:16

Bookworm писал(а):А мне вот интересно: почему из бездны всех возможных применений нейронных сетей и прочих технологий "якобы искусственного интеллекта" их разработчики мертвой хваткой вцепились именно в задачу перевода?

У переводчиков (со страху, небось), в целом, весьма ограниченное представление о технологиях искусственного интеллекта. Вот, например, труженики фейсбука размышляют куды им податься: A Roadmap towards Machine Intelligence. При таком размахе, чего им мелочиться на переводчиков? :-)
"Absence my presence is, strangeness my grace." - Fulke Greville
L.B.

 
Сообщения: 7123
Зарегистрирован: Вс авг 17, 2003 09:44
Блог: Просмотр блога (32)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение Константин Лакшин » Вт мар 14, 2017 09:09

Bookworm писал(а):Ведь почему-то не ... ...в нейронных сетях, а именно...


Из более-менее свежих новостей: https://www.sxsw.com/news/2017/deliveri ... d-with-ai/
Переводчик в свободное время, 24/7/365.
Константин Лакшин

 
Сообщения: 2333
Зарегистрирован: Вт авг 26, 2003 20:36
Блог: Просмотр блога (66)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение L.B. » Вт мар 14, 2017 09:56

Bookworm писал(а):Какова тут мотивация?

В качестве примера, из статьи Interpretese vs. Translationese: The Uniqueness of Human Strategies in Simultaneous Interpretation (JA->EN), доложенного на NAACL 2016 в секции Machine Translation:
Computational approaches to simultaneous interpretation are stymied by how little we know about the tactics human interpreters use.

Застряли, разобраться хочут...

Если кому интересно, видео доклада (10 минут), статья, и (для любителей програзма) код.
"Absence my presence is, strangeness my grace." - Fulke Greville
L.B.

 
Сообщения: 7123
Зарегистрирован: Вс авг 17, 2003 09:44
Блог: Просмотр блога (32)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение John Gower » Вт мар 14, 2017 10:52

Bookworm

Задача вкусная ))) На первый взгляд простая, на копнешь глубже.... :mrgreen: :mrgreen:
Константин Лакшин

Оффтопик
У меня как раз зреет для блога некое развитие вашей мысли )))
Last grace of style
Аватара пользователя
John Gower

 
Сообщения: 1400
Зарегистрирован: Ср июл 21, 2010 14:09
Блог: Просмотр блога (8)
Язык(-и): en-ru, ru-en, de-ru, de-en

Re: [Статья] Гугл + ИИ + русский язык

Сообщение Константин Лакшин » Ср мар 15, 2017 08:04

Оффтопик
John Gower писал(а):У меня как раз зреет для блога некое развитие вашей мысли )))


Жду, томящаяся нежно (как бы (с)).
Переводчик в свободное время, 24/7/365.
Константин Лакшин

 
Сообщения: 2333
Зарегистрирован: Вт авг 26, 2003 20:36
Блог: Просмотр блога (66)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение Константин Лакшин » Ср мар 15, 2017 08:22

Bookworm писал(а):Ведь почему-то не термоядерные реакторы


В дополнение к вчерашней ссылке...

Нмв, после 9/11 в некоторых отдельно взятых странах возник довольно активный спрос на т. н. gisting, т. е., грубо говоря, поиск (якобы) ключевых слов в больших массивах данных на разных языках. Лет десять разработчики МП на «эти три процента и жили», а дальше оказались в обойме.
Переводчик в свободное время, 24/7/365.
Константин Лакшин

 
Сообщения: 2333
Зарегистрирован: Вт авг 26, 2003 20:36
Блог: Просмотр блога (66)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение Бычара » Чт мар 16, 2017 14:28

Забавнейше почитать, как местные полиглоты ядерной промышленности, прикормленные подрядами времен кириенки, запоют через пятилетку, когда их сдадут в утиль административной недопромышленности, как только - так сразу, чтобы не было чего immaculate human.
И смайлики, конечно же, - три, как и положено по нормативам )))
Аватара пользователя
Бычара
Бык Маллиган
 
Сообщения: 2506
Зарегистрирован: Сб июл 16, 2011 14:23

Re: [Статья] Гугл + ИИ + русский язык

Сообщение L.B. » Чт мар 16, 2017 18:36

Бычара писал(а):через пятилетку, когда их сдадут в утиль административной недопромышленности

Зачем вы так, чесс слово? К чему лишний раз подогревать местные параноидальные тенденции, круто замешанные на ограниченных знаниях?

Константин Лакшин писал(а):разработчики МП, похоже, свято веруют в то, что, если найти волшебную палочку (нынешняя, как кажется, нейронные сети; до того были «большие данные», «чистые данные» и пр.), то, произведя некоторые манипуляции такой палочкой, пригодный к употреблению результат можно получить по схеме «набор закорючек > набор закорючек», больше никуда не подглядывая и об устройстве мира за пределами наборов закорючек ничего не зная.
Bookworm писал(а):Ведь почему-то не термоядерные реакторы проектируют и не лекарство от рака ищут в нейронных сетях, а именно перевод. Как-то это не совсем логично - ну не самая актуальная это проблема на Земле, чтобы так в нее вцепляться. Какова тут мотивация?
"Absence my presence is, strangeness my grace." - Fulke Greville
L.B.

 
Сообщения: 7123
Зарегистрирован: Вс авг 17, 2003 09:44
Блог: Просмотр блога (32)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение rms » Чт мар 16, 2017 19:13

Bookworm писал(а):Ведь почему-то не термоядерные реакторы проектируют и не лекарство от рака ищут в нейронных сетях, а именно перевод.


Гугл - он ведь IT-компания, а энергетикой и фармой другие комсомольцы занимаются. От машинного перевода рукой подать до других задач, завязанных на обработке информации на натуральных языках. Здесь массу B2B- и B2C-решений можно сварить.
Ну и если слишком хорошо набрасываться на жирный челлендж, можно ведь и одолеть его ненароком. А оно надо?

разработчики МП, похоже, свято веруют...


У них выхода другого нет, кроме как надеяться на решения по типу "китайской комнаты" - алгоритмы, корпусы текстов, машинное обучение. В обычной лингвистике им опираться, я так понимаю, не на что: слишком много нерешенных проблем, нехватка теории. Так что ну ее, эту лингвистику, от не только уныние.
If you don't find a way to make money while you sleep, you will work until you die.
Аватара пользователя
rms

 
Сообщения: 1763
Зарегистрирован: Вс ноя 26, 2006 05:06
Откуда: 95% ภูเก็ต / 5% СПб

Re: [Статья] Гугл + ИИ + русский язык

Сообщение Бычара » Чт мар 16, 2017 21:15

Да, что-то немного открыто сказал, поправлюсь: здесь есть человек, который занимается исключительно машинным переводом, из года в год, из пятилетки в пятилетку, плановая экономика, совдепо-российский подход, но он оправдан, насколько сильно, мне неизвестно. Берем другой подход, чисто прагматический и расчетливый, обучить машину думать по-человечески, переводить по-человечески "нейролептически", за 2001-2017 (16 лет) на данной площадке старослужащие делают одни и те же ошибки, хоть и рядом с айти и телекомом они не стояли и не видели то, как развивается айти и телеком. Я это все пишу для того, чтобы указать, что машина за 16 лет обучится, научится, приноровится, станет заменой узколобому, упертому и зашоренному среднему переводчику, который не учится на наступах на один и тот же колхозный инструмент.
И смайлики, конечно же, - три, как и положено по нормативам )))
Аватара пользователя
Бычара
Бык Маллиган
 
Сообщения: 2506
Зарегистрирован: Сб июл 16, 2011 14:23

Re: [Статья] Гугл + ИИ + русский язык

Сообщение random_nick » Чт мар 16, 2017 21:58

Бычара писал(а):Я это все пишу для того, чтобы указать, что машина за 16 лет обучится, научится, приноровится, станет заменой узколобому, упертому и зашоренному среднему переводчику, который не учится на наступах на один и тот же колхозный инструмент.

Мы уже слышали романтические рассказы про большую красную кнопку. В реальности же появляется большая красная кнопка, "зашоренный" сотрудник, ее нажимающий, программист, из навоза и палок клепающий новые кнопки, и сисадмин, подпирающий всю эту инфраструктуру костылями, чтобы она хоть как-то работала. :mrgreen:
random_nick

 
Сообщения: 501
Зарегистрирован: Ср июн 26, 2013 02:33

Re: [Статья] Гугл + ИИ + русский язык

Сообщение L.B. » Пт мар 17, 2017 03:28

Для тех, кто хочет составить представление о том, в чем, собственно, состоит прорыв (в сравнении с предшествующими достижениями), приведу abstract статьи, которая особенно возбудила в свое время узкую ИИшную апчественность:

We propose a unified neural network architecture and learning algorithm that can be applied to various natural language processing tasks including: part-of-speech tagging, chunking, named entity recognition, and semantic role labeling. This versatility is achieved by trying to avoid task-specific engineering and therefore disregarding a lot of prior knowledge. Instead of exploiting man-made input features carefully optimized for each task, our system learns internal representations on the basis of vast amounts of mostly unlabeled training data. This work is then used as a basis for building a freely available tagging system with good performance and minimal computational requirements.
:arrow:

Обратите внимание, что, во-первых, МП не входил в задачи, а во-вторых, для того, чтобы добиться "good performance" нужны "vast amounts of mostly unlabeled training data". Иными словами, в первую очередь затронуты будут, можно предположить, тебе виды перевода, тексты которых особенно изобильны (новостные, например, итп).
"Absence my presence is, strangeness my grace." - Fulke Greville
L.B.

 
Сообщения: 7123
Зарегистрирован: Вс авг 17, 2003 09:44
Блог: Просмотр блога (32)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение L.B. » Пт мар 17, 2017 03:42

И заодно уж... Перевод abstract'a гугловым транслятором:
Мы предлагаем единую архитектуру нейронной сети и алгоритм обучения, который может быть применен к различным задачам обработки естественного языка, в том числе: пометка части речи, разбиение на части, распознавание поименованного объекта и маркировка семантической роли. Эта универсальность достигается тем, что она старается избегать инженерной работы, связанной с конкретными задачами, и поэтому игнорирует множество предварительных знаний. Вместо того, чтобы использовать искусственные функции ввода, тщательно оптимизированные для каждой задачи, наша система изучает внутренние представления на основе огромного количества практически непечатаемых данных обучения. Эта работа затем используется в качестве основы для построения свободно доступной системы маркировки с хорошей производительностью и минимальными вычислительными требованиями.

Требует редактирования, несомненно, но полного переписывания?
"Absence my presence is, strangeness my grace." - Fulke Greville
L.B.

 
Сообщения: 7123
Зарегистрирован: Вс авг 17, 2003 09:44
Блог: Просмотр блога (32)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение Константин Лакшин » Пт мар 17, 2017 10:35

L.B. писал(а):И заодно уж... Перевод abstract'a гугловым транслятором
'

То же самое от Яндекса...

Мы предлагаем единой архитектуры нейронной сети и алгоритма обучения, которые могут быть применены к различным природным задач обработки языка, в том числе: части речи пометки, лязг, распознавание именованных сущностей и выявлению семантических ролей. Такая универсальность достигается пытаются избежать конкретных задач техники и, следовательно, пренебрегая большое предварительное знание. Вместо использования искусственных входные объекты тщательно оптимизирован для каждой задачи, наша система определяет внутренние представления на основе огромного количества немеченого в основном обучающих данных. Эта работа используется в качестве основы для построения свободно доступная система мечения с хорошей производительностью и минимальными требованиями к вычислительным ресурсам.

И от ПРОМТа...

Мы предлагаем объединенную архитектуру нейронной сети и изучение алгоритма, который может быть применен к различным задачам обработки естественного языка включая: маркировка части речи, большое, названное признание предприятия и семантическая ролевая маркировка. Эта многосторонность достигнута, пытаясь избежать определенной для задачи разработки и поэтому игнорируя много предварительных знаний. Вместо того, чтобы эксплуатировать искусственные входные особенности, тщательно оптимизированные для каждой задачи, наша система изучает внутренние представления на основе огромного количества главным образом немаркированных данных тренировки. Эта работа тогда используется в качестве основания для строительства системы маркировки в свободном доступе с хорошей работой и минимальными вычислительными требованиями.
Переводчик в свободное время, 24/7/365.
Константин Лакшин

 
Сообщения: 2333
Зарегистрирован: Вт авг 26, 2003 20:36
Блог: Просмотр блога (66)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение Константин Лакшин » Пт мар 17, 2017 10:48

А вот и Bing...

Мы предлагаем архитектуры единой нейронной сети и алгоритм обучения, который может быть применен для различных задач обработки естественного языка, в том числе: части речи пометки, фрагментации, именованные сущности признание и семантические роли маркировки. Эта универсальность достигается, пытаясь избежать конкретных задач инженерной и таким образом игнорируя много предварительных знаний. Вместо использования искусственных функций ввода, тщательно оптимизированы для каждой задачи, наша система узнает внутренних представлений на основе огромного количества основном неподписанных обучающих данных. Эта работа затем используется в качестве основы для создания свободно доступных тегов системы с хорошей производительностью и минимальным вычислительные потребности.
Переводчик в свободное время, 24/7/365.
Константин Лакшин

 
Сообщения: 2333
Зарегистрирован: Вт авг 26, 2003 20:36
Блог: Просмотр блога (66)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение L.B. » Пт мар 17, 2017 18:33

Видите? Совсем не больно.
"Absence my presence is, strangeness my grace." - Fulke Greville
L.B.

 
Сообщения: 7123
Зарегистрирован: Вс авг 17, 2003 09:44
Блог: Просмотр блога (32)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение borysich » Пт мар 17, 2017 19:15

Оригинал.
http://www.belfasttelegraph.co.uk/life/ ... 80649.html
In certain quarters, Rea makes deeply uncool music which dads listen to while driving. But dads who buy CDs to play in the car can keep artists going for an entire career. And Rea - who is a father himself to two daughters, Josephine (31) and Julia Christina (25), with his wife Joan - really doesn't sound like he could care less whether you think he's cool or not.

Гуглоперевод.
В некоторых кругах Ри делает глубокую музыку, которую слушатели слушают во время вождения. Но папы, которые покупают компакт-диски, чтобы играть в машине, могут держать художников, идущих на целую карьеру. А Риа, которая сама является отцом для двух дочерей, Жозефины (31) и Джулии Кристины (25), со своей женой Джоан - действительно не кажется, что ему было бы все равно, считаете ли вы, что он классный или нет.
Communication usually fails, except by accident (Osmo A. Wiio)
Аватара пользователя
borysich

 
Сообщения: 4018
Зарегистрирован: Пн фев 16, 2009 18:51
Язык(-и): En>Ru

Re: [Статья] Гугл + ИИ + русский язык

Сообщение L.B. » Пт мар 17, 2017 21:49

С практической стороны, например:
Which MT engines do you use?
By default, we provide suggestions from Google Translate API (we pay for it and offer it for free to MateCat users).
If for any reason the Google Translate API is not available, we automatically switch to the Microsoft Bing API.
:arrow:
Слышал, что традос можно интегрировать с МП, но mikhailo не одобрил :-)
"Absence my presence is, strangeness my grace." - Fulke Greville
L.B.

 
Сообщения: 7123
Зарегистрирован: Вс авг 17, 2003 09:44
Блог: Просмотр блога (32)

Re: [Статья] Гугл + ИИ + русский язык

Сообщение John Gower » Пт мар 17, 2017 21:54

Я вот читая про NMT обратил внимание вот на какую вещь: все примеры успеха даны для пар английский+испанский, французский, китайский. Ну да, большая часть населения планеты именно на этих языках и разговаривает, по ним много языковых данных, текстов параллельных, там большая и долгая традиция машинного перевода, Systran там с 70-х годов шуршит. Но вот как NMT работает на языках по которым данных мало? Опять через английский?
Вот результат с немецкого на русский:
Исходник
Die Google-Übersetzungen kommen bei einigen Nutzern sicherlich täglich zum Einsatz, andere sind wiederum nur hin und wieder darauf angewiesen. In den vergangenen Jahren haben diese maschinellen Übersetzungen aber große Sprünge in ihrer Qualität gemacht. Vor einigen Wochen stellte Google seine Technik zur Übersetzung auf ein neues Verfahren namens Google Neural Machine Translation system (GNMT) um.
[/b]Перевод[/b]
Переводы Google приходят, конечно, используются каждый день для некоторых пользователей, а другие только сейчас, а затем полагаться на него. В последние годы эта машина переводов, но сделали большие скачки в качестве. Несколько недель назад Google представила свою технологию, чтобы перевести на новый процесс, называемый системой Google Neural Machine Translation (GNMT) к.

Тут даже самый
узколобый
сделает лучше.
Так что пока NMT если и есть, то только для языка "по умолчанию" )))
Тут одними большими данными не обойтись, грамматику тоже придётся учить))))))
Last grace of style
Аватара пользователя
John Gower

 
Сообщения: 1400
Зарегистрирован: Ср июл 21, 2010 14:09
Блог: Просмотр блога (8)
Язык(-и): en-ru, ru-en, de-ru, de-en

Пред.След.


Словари русского языка

www.gramota.ru
Словарь Мультитран
Язык

Вернуться в MT + PEMT

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1