Как интерфейс «мозг-компьютер» преобразует нейронные сигналы в цифровой контроль

12

Расстояние между кремниевыми чипами и синапсами сокращается. По мере роста вычислительной мощности и углубления наших знаний о нервной системе научная фантастика сбрасывает свой костюм и становится более конкретной. Речь идет не о более быстрой прокрутке или более умных голосовых помощниках. Для людей с тяжелыми формами инвалидности интерфейсы «мозг-компьютер» (BCI) представляют собой потенциальную революцию в области автономности. Это спасательный круг.

Представьте, что вы отправляете зрительную или слуховую информацию непосредственно в кору головного мозга. Представьте, что вы можете управлять роботизированной рукой, инвалидной коляской или курсором одним лишь своим намерением. Нет кнопок. Нет переключателей. Просто подумайте. Мы подробнее рассмотрим, как эти системы преобразуют электричество в действие, где возникают сбои и каковы перспективы будущего.

Электронный мозг

Интерфейсы «мозг-компьютер» работают, потому что мозг по своей сути является электрической машиной. Это плотная сеть нейронов. Эти клетки соединены дендритами и аксонами. Каждая память, действие и чувство вызывают здесь активность. Скорость поражает воображение: сигналы передаются от клетки к клетке со скоростью до 250 миль в час.

Эти импульсы генерируются разницей ионов через мембрану нейронов. Это электрический потенциал. Миелин изолирует пути и предотвращает перекрестные помехи. Однако изоляция не идеальна. Часть электрического шума просачивается наружу. Исследователи отслеживают эту утечку. Они декодируют паттерны. Затем объединяют их с внешними командами.

Поток двусторонний. Это не просто чтение намерений. Это также обратная передача ощущений. Вспомните ваше зрение. Когда вы видите красный цвет, ваш зрительный нерв генерирует определенные паттерны. Исследователи могут воспроизвести этот сигнал. Подключите камеру. Сигнал обнаружения красного цвета подается непосредственно в мозг. Слепые люди могут воспринимать цвет, даже если их сетчатка не работает, минуя неисправное «железо».

Ввод/вывод BCI

Интерфейс состоит из двух различных частей. Ввод считывает мозг. Вывод воздействует на мир.

Система ввода захватывает нейронные данные. Они должны быть достаточно чувствительными, чтобы улавливать слабые электрические «шепоты» даже в постоянном шуме биологической активности. Задача заключается в фильтрации. Мозг «громкий». Каждое сердцебиение и вдох вызывают помехи. Алгоритм должен изолировать конкретные паттерны всплесков, соответствующие намерению.

Системы вывода выполняют команду. Как только желание мозга декодировано, BCI переводит его в действие. Роботизированная рука сжимается. Текстовое поле заполняется. Дрон наклоняется влево. Точность зависит исключительно от того, насколько хорошо интерпретирован ввод.

Существуют инвазивные и неинвазивные пути. Инвазивные методы, такие как имплантированные электроды, обеспечивают высокоточные сигналы, но требуют хирургического вмешательства. Неинвазивные шапочки проще в использовании — они располагаются на коже головы, но качество данных менее четкое. Выбор определяет, кто имеет доступ к технологии и насколько надежны элементы управления.

Какой путь победит? Это зависит от потребностей пользователя. Хирургам, требующим миллиметровой точности, можно пойти на риск имплантации. Игроку, управляющему игрой силой мысли, достаточно повязки на голову. Хотя технология созревает, компромиссы по-прежнему очевидны.

Цель состоит не просто в чтении мыслей. Речь идет о создании двусторонней связи между разумом и машиной.

Последствия выходят за рамки медицинских применений. Обучение компьютеров пониманию нейронного синтаксиса открывает двери для усиления памяти, расширения чувствительности и даже новых форм коммуникации. Но «железо» — это только половина дела. Программное обеспечение должно интерпретировать хаос.

В настоящее время BCI неуклюжи. Они требуют калибровки. Они «устают».

Декодирование сигнала: от датчиков на скальпе до имплантатов в мозг

Аппаратные проблемы по-прежнему являются главным узким местом в интерфейсах «мозг-компьютер» (ИМК). Неинвазивный подход использует электроэнцефалографию (ЭЭГ), которая предполагает размещение электродных шапочек на коже головы. Она проста в применении и действует как мощный фильтр. Безусловно, она блокирует большую часть электрических помех, но также искажает реальные мозговые сигналы, что затрудняет достижение высокой точности.

Для повышения четкости сигнала ученые переходят к инвазивным методам. Электроды размещаются либо непосредственно на сером веществе, либо плотно прилегают к поверхности мозга. Качество сигнала значительно улучшается, когда устройство размещается в месте возникновения активности. Однако этот подход имеет высокую цену. Требуется хирургическое вмешательство. В долгосрочной перспективе вокруг имплантата образуется рубцовая ткань как реакция мозга на вторжение. Со временем рубцовая ткань изолирует электроды и блокирует сигнал.

Физика процесса остается неизменной независимо от того, находится ли датчик на голове или внутри коры головного мозга. Электроды обнаруживают небольшие разности напряжений между нейронами. Компьютеры усиливают шум, фильтруют статические помехи и пытаются расшифровать паттерны. Ранние аналоговые машины использовали стилусы для нанесения этих волн на бумагу. Современные системы используют программное обеспечение, которое преобразует спайки (нервные импульсы) в команды.

Сенсорный ввод меняет сценарий. Здесь ИМК действует как мост из цифрового мира обратно в мозг. Камера делает снимок. Компьютер преобразует визуальную информацию в определенный паттерн напряжения. Эти паттерны отправляются в имплантат в зрительной коре. Если кодирование выполнено правильно, нейрон активируется. Субъект видит не просто данные; он видит изображения.

Картирование участков мозга с помощью магнитно-резонансной томографии

Вы не можете носить с собой аппарат МРТ. Это огромный, дорогой сверхпроводящий магнит. Но он незаменим для планирования. Исследователи использовали функциональную МРТ для картирования мозговой активности перед операцией.

Рассмотрим пациента, который хочет управлять роботизированной рукой с помощью мыслей. Перед сверлением черепа его помещают в сканер МРТ. Пациента просят представить движение левой руки. Сканер подсвечивает определенные области, отвечающие за эту моторную активность. Нейрохирурги теперь точно знают, куда разместить электроды для максимальной эффективности. Без этой карты вы действуете вслепую.

Миф о статичном мозге

На протяжении десятилетий существовало убеждение, что взрослый мозг завершен. Это фиксированная структура. Когда рост прекращается, нейронные пути становятся жесткими. Безусловно, вы можете освоить новые навыки, но само «железо» остается неизменным.

Эта теория умерла в 1990-х годах.

Открытие кортикальной пластичности изменило все. Оно показало, что взрослый мозг остается гибким. Он перестраивается в ответ на новый опыт, обучение и травмы. При изучении языка или восстановлении после инсульта другие части мозга берут на себя выполнение поврежденных функций. Создаются новые связи. Старые устраняются.

Эта гибкость является секретным ингредиентом для внедрения ИМК. Это означает, что взрослые пациенты не борются с непробиваемой биологической стеной. Их мозг может адаптироваться к интерфейсу. С имплантатами мозг со временем перестает воспринимать инородный объект как захватчика. Он интегрирует устройство. Создаются новые нейронные пути вокруг электродов, и электроды начинают восприниматься как часть собственной нервной системы.

Хотя технологии переходят от статуса диковинки к категории необходимости, механизмы интерфейса все еще находятся в конфликте с биологией.

Представьте удобство обычного пульта дистанционного управления. Теперь представьте, что вы можете переключать каналы, не поднимая пальца. Управление видеоигрой с помощью мыслей звучит как фокус. Это демонстрация технологии, которая на мгновение ослепляет аудиторию, а затем уходит в тень. Но это легкомысленное применение — лишь верхушка айсберга. Реальные ставки куда выше.

Способность управлять курсором компьютера с помощью мысленных команд — это не специальный трюк для людей с тяжелыми травмами спинного мозга или синдромом «запертого человека». Это спасательный круг. Это фундаментальное изменение в степени независимости.

Итак, как мы преодолеем разрыв между крошечными электрическими импульсами в мозге и физическими движениями роботизированной руки?

Тренируйте мозг, чтобы управлять машинами

Ранние эксперименты начинались не с людьми. Исследователи использовали обезьян, которым имплантировали электроды. Сначала обезьяны использовали физический джойстик для управления роботизированной рукой. Исследователи мониторили нейронные сигналы, генерируемые в процессе. Они искали корреляции между определенной активностью мозга и определенными движениями.

Наконец, они убрали джойстик. Обезьяна научилась управлять роботизированной рукой, используя только сигналы от импланта. Это доказательство концепции. Мозг может научиться преодолевать необходимость физического ввода.

Применение этого к людям, особенно к тем, кто полностью утратил двигательные функции, гораздо сложнее. Пользователи должны пройти обучение.

Рассмотрим ЭЭГ-гарнитуру или инвазивный имплантат. Субъекты представляли, как они закрывают правую руку. Физически ничего не происходило. Но программное обеспечение прислушивалось.

За сотни или тысячи попыток машина научилась распознавать специфические нейронные коды, связанные с идеей «закрыть руку». Программное обеспечение, поставляемое с роботизированным протезом, запрограммировано на распознавание этого паттерна. Сигнал отправляется, когда у пользователя возникает мысль. Роботизированная рука сжимается.

Это петля обратной связи. Мозг учится генерировать более четкие сигналы. Программное обеспечение учится интерпретировать их более точно.

Мышление в координатах

Та же логика применяется к управлению курсором. Вместо физических жестов пользователи думают о направлении движения: вперед, влево, вправо, назад.

При достаточной практике пользователи могут научиться точному управлению. Вы можете нарисовать круг на экране. Вы можете запустить приложение. Вы можете перемещаться по меню и управлять телевизором.

Теоретическая конечная цель? Печать.

Представьте возможность печатать электронное письмо со скоростью мысли, вообще не используя клавиатуру. Это уже не научная фантастика. Это следующий логический шаг в развитии мозго-компьютерных интерфейсов.

За пределами протезов: восстановление естественного движения

Как только базовые механизмы превращения идей в действия будут отточены, области применения быстро расширятся. Это не ограничивается внешними роботизированными руками.

Пользователи с ограниченными возможностями могут использовать роботизированные ортезы, которые крепятся к их конечностям. Эти экзоскелеты обеспечивают прямое взаимодействие с окружающей средой и восстанавливают ранее утраченную подвижность.

Однако есть более прямой путь. Эта технология не обязательно требует «роботизированного компонента».

Исследователи ищут способы полностью обойти поврежденные участки спинного мозга. Мышцы тела активируются путем отправки сигналов непосредственно к нервам, контролирующим движения рук. Когда пользователь хочет пошевелиться, рука двигается. Внешние устройства не нужны. Связь «разум-мышца» просто восстанавливается.

Взгляд в будущее: зрение и слух

Это лишь моторная сторона уравнения. Другая сторона сенсорного опыта связана с входными данными.

Мы уже наблюдаем прогресс в кохлеарных имплантатах, восстанавливающих слух. Одновременное развитие искусственного зрения выводит на пределы возможности человеческого глаза.

Технологии мозго-компьютерного интерфейса прошли полный круг, став чем-то большим, чем просто подвижность. Речь идет о восприятии, чувствовании и взаимодействии с миром естественным образом. Расстояние между разумом и машиной сокращается.

Что произойдет, если эта пропасть исчезнет полностью?

Хотя кохлеарные имплантаты остаются наиболее развитым и широко используемым интерфейсом «мозг-компьютер», они далеко не единственное применение этой технологии. Чтобы понять весь потенциал технологий интерфейсов «мозг-компьютер», нам нужно выйти за пределы слуховых аппаратов и обратиться к зрительной коре.

Механизм начинается с нормальной слуховой системы. Звуковые волны проходят через ухо, заставляя вибрировать мелкие органы, и в конечном итоге слуховой нерв преобразует эти вибрации в электрические сигналы. Когда физическая структура уха повреждена, эта цепочка нарушается. Ваши нервы могут быть в порядке, но они находятся в «молчании». Коклеарные имплантаты восполняют этот пробел. Они обходят поврежденное «железо» и преобразуют звуковые волны непосредственно в электрические импульсы, которые подаются прямо на слуховой нерв. Результат не является полностью точной копией оригинала, но его достаточно для расшифровки разговоров.

Зрение — это совершенно другая история.

Обработка визуальных данных требует гораздо более сложной нейронной архитектуры, чем обработка аудиоданных. В результате визуальные протезы менее зрелы, чем слуховые имплантаты. Однако их принципы отражают подход кохлеарных имплантатов. Электроды имплантируются непосредственно в зрительную кору — область мозга, отвечающую за интерпретацию сигналов от сетчатки.

Внешнее оборудование напоминает очки с небольшой камерой. Эти камеры передают видеоданные на компьютер, который обрабатывает их и отправляет на внутренний имплантат. Пользователи должны пройти строгую тренировку, аналогичную реабилитации, необходимой для протезов, управляемых силой мысли, чтобы научиться интерпретировать эти новые электронные паттерны в виде изображений.

Зрение 20/20? Нет. Однако это работающее решение, которое значительно улучшилось с первых экспериментов в 1970-х годах.

Возьмем для примера Йенса Науманна. Когда он полностью ослеп, он получил имплантат второго поколения. Технология вернула достаточный объем сенсорной информации, чтобы он мог самостоятельно ориентироваться в нью-йоркской системе метро. Он также может водить машину на парковке. Эта сцена кажется вырванной из научной фантастики, но она основана на современных технологиях.

Устройство Науманна имеет поразительное сходство с VISOR, используемым Джорди Ла Форжем в сериале «Звездный путь: Следующее поколение». Внешний разъем, соединяющий его очки с камерой и электроды в мозге, концептуально такой же, как устройство Ла Форджа. В чем разница? Науманн видит видимый спектр. Он не способен обнаруживать инфракрасный свет и другие невидимые части электромагнитного спектра, с которыми справляется вымышленный VISOR.

Страх перед контролем разума

Способность внедрять сенсорную информацию в мозг неизбежно вызывает мрачные вопросы. Если мы можем отправлять сигналы, можем ли мы также отправлять команды? Является ли контроль разума реальной угрозой?

Краткий ответ — нет.

Внедрение простых сенсорных сигналов технически сложно. В настоящее время невозможно отправлять сложные непроизвольные моторные команды, которые подавляли бы свободную волю человека. Сложность нервной системы, необходимая для управления определенными действиями, несовместима с текущими технологиями.

Существуют также практические препятствия. Любой, кто станет жертвой непроизвольного контроля разума, должен быть похищен и подвергнут обширной инвазивной операции на мозге для имплантации электродов. Это не произойдет скрытно. Вы можете заметить этот процесс.

Таким образом, несмотря на технологический прогресс, антиутопические сценарии дистанционного контроля разума остаются в сфере фантастики. На сегодняшний день интерфейс «мозг-компьютер» — это инструмент восстановления, а не принуждения.

Суровая реальность интерфейсов «мозг-компьютер»

Хотя мы уже рассмотрели основные концепции интерфейсов «мозг-компьютер» (BCI), важно четко понимать, что они еще не являются полностью функциональными. Трение (сложности) имеет свои конкретные причины.

Мозг — это сложный клубок. Утверждать, что мысли — это просто электрические сигналы, было бы преувеличением. Перед вами примерно 100 миллиардов нейронов. Они постоянно отправляют и получают сигналы через сложную сеть. Этот процесс в первую очередь обусловлен химическими реакциями, которые невозможно обнаружить с помощью обычных мозговых волн. Все, что они видят, — это электричество.

Далее идет качество сигнала. Оно слабое. ЭЭГ измеряет небольшие электрические потенциалы. Моргание глаза субъекта может создать более сильный сигнал, чем реальная активность мозга, которую вы пытаетесь считать. Это похоже на попытку услышать разговор посреди урагана. Улучшения имплантатов и датчиков помогут, но пока чтение мозговых сигналов сопровождается шумом. Статическое электричество повсюду.

Портативность остается проблемой. Ранние системы были подключены проводами к мейнфрейму размером с комнату. Хотя мы прошли долгий путь, некоторые интерфейсы «мозг-компьютер» все еще требуют кабелей. Беспроводные варианты обычно требуют, чтобы у пользователя был отдельный компьютер весом около 10 килограммов. Это много. Он станет легче. Он станет более беспроводным. Но мы еще не достигли этой цели.

Кто создает интерфейсы «мозг-компьютер»?

Область BCI быстро развивается. Несколько компаний emerge как значимые игроки в этой сфере. Хотя большинство инноваций все еще находятся на стадии исследований и разработок, коммерческие приложения начинают формироваться.

Neuralink была основана Илоном Маском и, вероятно, является самым известным именем. Они создают имплантируемые устройства, которые устраняют разрыв между мозгом и внешним оборудованием. Цель двоякая. Одна из них — лечение неврологических заболеваний, а другая — обеспечение продвинутого взаимодействия человека и компьютера. Они преодолели несколько важных препятствий. Согласно текущим клиническим испытаниям на людях, пациенты с тяжелыми формами инвалидности восстановили движения и способность к общению. Это важный шаг от теории к практике.

Synchron использует другой путь. Они разрабатывают минимально инвазивный интерфейс «мозг-компьютер». Устройство можно имплантировать через кровеносный сосуд, а не просверливая отверстие в черепе. Этот подход направлен на помощь пациентам с параличом, которые хотят управлять цифровыми устройствами с помощью мыслей. Меньшая инвазивность означает меньший риск. Это практичная альтернатива традиционной открытой нейрохирургии.

Таким образом, у нас есть неинвазивные игроки. CTRL-Labs, теперь являющаяся частью Meta, исследует носимые технологии. Они сосредоточены на преобразовании нервных сигналов в команды с помощью внешних устройств. Никаких имплантатов. Никакой хирургии не требуется. Цель этого пути — сделать интерфейсы «мозг-компьютер» доступными не только для медицинских случаев, но и для повседневного использования.

Это уже не просто научные проекты. Это прототипы новых способов взаимодействия с технологиями.

Почему это важно сейчас?

Интерфейсы «мозг-компьютер» превращают научную фантастику в технические задачи. Мы не просто мечтаем о «что», мы решаем «как».

Этот обещание включает в себя не только дистанционное управление разумом. Речь идет о восстановлении субъектности (агентности). Для людей с тяжелыми формами инвалидности эти интерфейсы могут восстановить контроль над движениями, звуком и цифровой средой. Это ощутимое улучшение качества жизни.

Мы наблюдаем ранние стадии этих изменений, поскольку такие компании, как Neuralink, Synchron и Meta, продолжают расширять границы. Это может переопределить способ нашего взаимодействия с машинами. Мы можем восстановить утраченные чувства. Мы также можем начать думать об пользовательских интерфейсах, которые в настоящее время требуют использования рук и глаз.

Вызовы остаются значительными. Шум сигналов. Вес оборудования. Этические вопросы, касающиеся конфиденциальности и субъектности. Но фундамент был заложен сегодня. Будущее, где BCI станут частью повседневной жизни, наступит не в следующем году. Но оно наступит.

Часто задаваемые вопросы

Как работает ЭЭГ BCI?
Обнаруживает изменения в функции мозга. Электроды на коже головы записывают эти сигналы. Программное обеспечение преобразует их в команды. На основе этих ментальных входов вы можете перемещать курсор, печатать слова или управлять роботизированными руками.

Что такое система Brain Computer Interface?
Это сочетание аппаратного обеспечения (датчики, имплантаты) и программного обеспечения (обработка сигналов, отображение команд), которое обеспечивает передачу данных между мозгом и компьютером.

Как реализуется BCI?
Существуют различные методы. Электроды можно размещать на коже головы (неинвазивно), на поверхности мозга (частично инвазивно) или внутри мозговой ткани (инвазивно). Данные поступают от электродов в процессор, который интерпретирует цель.

Какие существуют три типа интерфейсов «мозг-компьютер»?
1. Инвазивный интерфейс «мозг-компьютер»
2. Частично инвазивный интерфейс «мозг-компьютер»
3. Неинвазивный интерфейс «мозг-компьютер»

Разница заключается в расположении электродов относительно черепа и мозговой ткани. Инвазивный дает самый четкий сигнал, но несет наибольший риск. Неинвазивный безопасен, но зашумлен. Частично инвазивный находится где-то посередине.

Куда дальше

Если вы хотите узнать больше, найдите проект Brain Computer Interface, чтобы ознакомиться с нашим планом исследований. Издания Wired и Engadget предоставляют обширное покрытие аппаратного обеспечения. Для изучения биологии ознакомьтесь с ресурсами о мозге и о том, как работает слух, чтобы понять сенсорный ввод, который мы пытаемся обойти.

Источники варьируются от отчетов о системах чтения мыслей NASA в начале 2000-х до более недавних отчетов о клинических испытаниях Neuralink на людях. Эта область очень молода. Данные постоянно меняются. Следите за обновлениями.