https://tylkonauka.pl/wiadomosc/stworzo ... i-na-tekst
Stworzono interfejs mózg-komputer, który przetwarza myśli na tekst
2020-04-02 08:12
Naukowce stworzyli nowatorski interfejs mózg-komputer, który może bezpośrednio przetwarzać fale mózgowe na tekst. System może zamieniać aktywność neuronową na tekst, przy czym współczynnik błędu wynosi jedynie 3%, czyli mniej więcej tyle, ile w przypadku profesjonalnej transkrypcji mowy.
Badacze z Uniwersytetu Kalifornijskiego w San Francisco zaprojektowali grupę sztucznych sieci neuronowych (zestaw algorytmów wzorowanych na funkcji ludzkiego mózgu) w celu powiązania sygnałów neuronowych z konkretnymi słowami.
Naukowcy zbadali cztery osoby posiadające specjalne elektrody wewnątrzczaszkowe, które monitorują aktywność elektryczną mózgu. Badani czytali teksty na głos, a w tym samym czasie rejestrowano ich aktywność neuronową. Następnie sieć wykorzystała te informacje, aby dowiedzieć się, jaka aktywność neuronowa może być związana z cechami mowy, takimi jak samogłoski lub spółgłoski. Poszukiwano także pewnych sekwencji – jakie typy słów mogą następować po sobie oraz w jaki sposób są zbudowane zdania.
Po pewnym czasie sieć neuronowa mogła z powodzeniem przetwarzać myśli na mowę ze wskaźnikiem błędów wynoszącym zaledwie 3 procent. Chociaż obecnie sztuczna inteligencja obsługuje tylko pojedyncze zdania w zestawie do 250 słów, ten niski poziom błedu jest imponujący, biorąc pod uwagę, że transkrypcja mowy na poziomie profesjonalnym wynosi około 5%.
Wciąż jednak system posiada pewien margines błędu, który utrudnia poprawne komunikowanie się. Naukowcy mają nadzieję, że rozwiną swoje badania, jednak na razie uważają, że minie trochę czasu, zanim technologia stanie się dostępna do powszechnego użytku.
https://www.iflscience.com/brain/new-te ... al-errors/
New Tech Can Translate Brainwaves Into Text With Minimal Errors
By Tom Hale
31 Mar 2020, 14:47
A new project has created a “brain-computer interface” that can translate brainwaves into text.
While there are a few caveats to the research and there's still plenty of fine-tuning to do, the system can currently translate neural activity into text with error rates as low as 3 percent, not far off a professional-level speech transcription. In the not too distant future, the “mind-reading” technology could be developed to help people who are unable to speak, such as those with locked-in syndrome.
Reported in the journal Nature Neuroscience, researchers from the University of California, San Francisco trained a group of artificial neural networks (a set of algorithms modeled on human brain function) to associate neural signals with text sentences.
The researchers gathered four people with pre-existing intracranial electrodes, electrodes inside the skull that monitor seizure electrical activity in the brain, and had them read sentences aloud while their neural activity was recorded. The network then used this information to learn what neural activity is likely to be related to features of speech such as vowels or consonants. It also looked to understand what types of words were likely to follow on from one another and how sentences are structured.
After some training, it was able to deliver some fairly reliable transcriptions of neural activity, with an error rate of just 3 percent. Although it can currently only handle single sentences within a set 250-word vocabulary, that low error rate is impressive considering that professional-level speech transcription is around 5 percent.
There were some blunders, however. When the participant said aloud the sentence “Those musicians harmonize marvelously,” the machine thought the neural activity meant “The spinach was a famous singer.” The sentence "Those thieves stole thirty jewels" was misinterpreted as "which theatre shows mother goose," and "The woman is holding a broom" was confused for the slightly sinister "the little is giggling giggling".
The system currently relies on participants to read aloud the sentences, which hampers its ability to help disabled people with speech difficulties. The researchers hope to develop their research by ironing out the errors, as well as expanding its ability to equate neural activity with the structures of language. However, for the time being, the researchers say it will be some time before the technology is razor-sharp and able to function as a viable speech prosthesis.
"Although we should like the decoder to learn and exploit the regularities of the language, it remains to show how many data would be required to expand from our tiny languages to a more general form of English," the researchers concluded.
Google:
Новый проект создал «мозг-компьютер интерфейс», который может перевести озарения в текст.
Хотя есть несколько предостережений к исследованиям, и есть еще много тонкой настройки, чтобы сделать, система может в настоящее время перевести нейронную активность в текст с уровнем ошибок, как низко как 3 процента, а не далеко от речи транскрипции профессионального уровня. В не слишком отдаленном будущем, «чтение мыслей» технологии могут быть разработаны, чтобы помочь людям, которые не может говорить, например, те, с заблокированным при синдроме.
Об этом сообщается в журнале Nature Neuroscience, исследователи из Университета Калифорнии, Сан-Франциско, воспитали группу искусственных нейронных сетей (набор алгоритмов, смоделированные на функции головного мозга человека) для ассоциированных нейронных сигналов с текстовыми предложениями.
Исследователи собрали четыре человека с уже существующими внутричерепными электродами, электроды внутри черепа, что монитор судорожной электрической активности в головном мозге, и были они читали вслух предложения, а их нейронная активность регистрировались. Сеть затем использовали эту информацию, чтобы узнать, что нейронная активность, вероятно, связано с особенностями речи, таких как гласные или согласные. Он также хотел, чтобы понять, какие типы слов, скорее всего, следовать друг на друга и как предложения структурированы с.
После некоторой тренировки, он был в состоянии поставить некоторые довольно надежные транскрипции нейронной активности, с частотой ошибок только 3 процента. Несмотря на то, что в настоящее время может обрабатывать только одиночные предложения в пределах установленных 250 слов словаря, что низкий уровень ошибок впечатляют, учитывая, что речь транскрипцию профессионального уровня составляет около 5 процентов.
Были некоторые промахи, однако. Когда участник громко сказал фразу «Эти музыканты гармонизировать на удивление,» думал машина нейронную активность означает «Шпинат был известным певцом.» Приговор «Эти воры украли тридцать драгоценностей» была неверно истолкована как «театр, который показывает мать гусь» и «Женщина держит веник» было смущен за несколько зловещие «маленький хихикают хихиканье».
В настоящее время системы опирается на участниках читать вслух предложения, что затрудняет его способность помогать инвалидам с речевыми трудностями. Исследователи надеются разработать свои исследования по сглаживая ошибки, а также расширяет свою способность к отождествлению нейронной активности со структурами языка. Однако до поры до времени, исследователи говорят, что это будет какое-то время, прежде чем технология бритва и способна функционировать в качестве жизнеспособного речевого протеза.
«Хотя мы хотели декодер, чтобы узнать и использовать закономерности языка, остается показать, сколько данных необходимо будет расширить от наших маленьких языков в более общую форму английского языка», заключили исследователи.