Вы здесь

«Мы видим не глазами, а мозгом»

Это утверждение принадлежит Полу Бах-у-Рита (Paul Bach-y-Rita), американскому нейрофизиологу, который всю жизнь занимался феноменом нейропластичности и разработал технологию, позволяющую заменить зрение электростимуляцией языка. Вместе с ним в Университете штата Висконсин работал Юрий Данилов, специалист по сенсорным системам человека. В конечном итоге их исследования привели к появлению в 2000-х уникального прибора для слепых – BrainPort.

BrainPort – портативное устройство, позволяющее слепым видеть с помощью языка. Состоит из миниатюрной цифровой видеокамеры, крепящейся в районе лба, а также процессора, который помещается в руке, и небольшой решётки из электродов, накладывающейся на язык. Видеосигнал поступает от камеры в процессор, который переводит пиксели в электрические импульсы. Далее они через электроды направляются на поверхность языка, причём каждый электрод связан с определённым пучком пикселей. BrainPort производит компания Wicab Inc. на основе технологии, разработанной в Университете штата Висконсин.

Юрий Данилов: «В любой стране, в любой клинике я сталкиваюсь с одной и той же ситуацией: когда объясняю, что можно видеть языком, в ответ слышу одну и ту же реплику: “Вы что издеваетесь?!” Народ смеётся. Да что говорить – я сам смеялся раньше».

Если не секрет, какова основная цель Вашего октябрьского визита в Москву?

– Было несколько причин. Во-первых, у меня ещё остались здесь друзья, коллеги. А во-вторых, наша технология распространена более чем в 20 странах мира, и поэтому не привезти её в Россию… как-то за державу обидно, что называется. В то же время я прекрасно понимаю, что эта технология совершенно бесконечная, бездонная для научных исследований, поскольку это не просто терапевтический прибор – это одновременно и устройство для исследования мозга. Правда, донести эту мысль непросто.

Я работал в Российской академии наук много лет, поэтому я прекрасно представляю, что такое новый неинвазивный (!) инструмент для исследования человеческого мозга. Например, почему приборы магнитного резонанса стали такими популярными? Потому что появилось средство изучать живой человеческий мозг. Нашу технологию не хочу напрямую сравнивать, но по возможностям исследования она не менее важна.

Поэтому я стремился и стремлюсь найти людей, которые бы заинтересовались использованием этой технологии для исследований. К сожалению, в России сейчас так же, как и во всём мире – всех интересует практический выход, очень многие озабочены коммерческим выходом и практически никто не заинтересован академическим выходом.

В любой стране, в любой клинике я сталкиваюсь с одной и той же ситуацией: когда объясняю, что можно видеть языком, в ответ слышу одну и ту же реплику: «Вы что издеваетесь?!» Народ смеётся. Да что говорить – я сам смеялся. Но думаю, что ситуация скоро изменится.

Это же реальное научное и техническое достижение. Как оно может быть неинтересным?

– В прошлый мой приезд, когда мы обращались в исследовательский институт при Всероссийском обществе слепых, нам сказали, что мы на больных делаем деньги. Хотя о деньгах вообще речи никакой не было. За свои средства мы купили два прибора, привезли сюда. Были и в Воскресенске, где находится одна из школ для адаптации слепых. Пытались там заинтересовать людей – бесполезно.

Но ведь это не кот в мешке, это работающая технология, в эффективности которой любой может убедиться, хотя бы просто посмотрев ролики на You Tube – как тот же слепой скалолаз Erik Weihenmayer взбирается на стену…

– В этом и ему подобных роликах не видно главного – перспектив. Уже придумано семь поколений этого прибора. Сейчас его возможности упорно изучают военные в Англии и Америке, для того чтобы помочь солдатам, которые возвращаются из Ирака и Афганистана (речь идёт о тех, кто потерял зрение). Есть ещё более сложные случаи, когда люди и слепые, и глухие – для них это вообще единственный источник информации.

Я могу долго рассказывать о том, что они способны делать с помощью прибора, и в роликах вы этого не увидите. Потому что объяснений этому даже у науки нет. Они каким-то образом чувствуют объём. Например, есть такая штука, когда слепой бросает мяч в корзину. Ведь он же чувствует расстояние. У нас для этого два глаза. У него – один язык.

Упомянутый скалолаз, тестируя самый первый прибор, пошёл по коридору и почувствовал дверь. Вот так подходит к ней, достигает дверного проёма и говорит: «I feel depth in this little tiny nothing». Это его слова – «я чувствую глубину в этом маленьком ничто». Как он ощущает её? Я не знаю. Никто не знает. Это вообще вопрос из серии, как человек ощущает трёхмерный мир в данной ситуации - там загадки на загадке.

Я могу привести с десяток таких ситуаций, где я бессилен объяснить, как такое возможно. Либо у мозга ресурсов намного больше, чем мы думаем, и возможности для анализа информации намного более мощные, чем мы предполагаем, либо это что-то неизвестное вообще, в принципе.

Пол Бах-у-Рита фактически был основоположником технологии сенсорного замещения. Как он пришёл к мысли, что кожей можно видеть?

– Для этого нужно читать его биографию. Она, к сожалению, полностью не опубликована. Если вы посмотрите книгу «Пластичность мозга», которая в этом году переведена на русский язык, там в первой главе о нём много сказано. Пол Бах-у-Рита посмотрел, что спайки всюду одинаковы. Язык мозга универсален. Все сенсорные системы разговаривают с мозгом на одном и том же языке.

Проблема в том, как записать информацию. Через тот же зрительный прибор, если чуть-чуть открыть рамки, например, нормальному человеку можно подключить инфракрасную камеру, или ультразвук, или датчики радиации. То есть BrainPort становится универсальным прибором. Там не просто шестое чувство, можно до 36-го чувства дойти. Например, в компьютерных играх подключить long-range radar, чтобы чувствовать, что у тебя за спиной.

У нас есть прибор, который мы применяли, когда учили подводников плавать с закрытыми глазами, потому что это практически невозможно. А задача такая существует. Аквалангист в воде, в которой он ничего не видит, не может плавать. Мы поставили магнитный компас и глубокомер. Человек языком чувствует направление по компасу, корректирует своё движение. И глубину, и направление влево и вправо.

Я так понимаю, DARPA (Defense Advanced Research Projects Agency — агентство передовых оборонных исследовательских проектов — агентство Министерства обороны США - STRF.ru) интересуется данной технологией?

– DARPA была первой организацией, которая спонсировала прибор для навигации подводников. Думаю, там также проводятся такие исследования, просто об этом не говорят. Там работают очень хорошие специалисты. Мы с ними разговаривали несколько раз, и, судя по тому, какие они вопросы задают, они относятся к этому очень серьёзно. Но администрация DARPA по-прежнему считает, что это science-fiction. В 2004 году мы туда подали проект из 23 или 24 независимых идей, как это можно использовать для коммуникации, навигации (например, пожарникам в задымлённом помещении, подводникам в мутной воде и прочее).

Много можно представить ситуаций, где устройство будет полезным, а может быть, и жизненно необходимым. Мы прошли, по-моему, 14 ступеней отбора, пока не дошли до финала. И в самом финальном варианте нам сказали: нет, слишком уж выглядит как science-fiction. Но дали деньги на вот этот прибор для подводников. Мы его сделали и опробовали. Те же самые Navy SEALs во Флориде его испытывали.

Можно ли указать естественный предел для языка в качестве органа зрения? Какого разрешения картинки, в принципе, можно добиться?

– Вопрос абсолютно справедливый, волшебное слово сказано - «разрешение». Каждый раз, когда мы говорим про зрение, всех интересует, какая матрица. Исходно у нас была матрица 12 х12, сейчас она 20х20. То есть сейчас 400 электродов на этой площадке. Народ спрашивает, как же быть с остротой зрения. У человеческого зрения 250 миллионов рецепторов, как вы их заменяете четырьмястами электродами? Какое же там разрешение, какая же там острота зрения может быть? Вы что, смеётесь? Тут есть несколько вариантов ответа. Первый чисто физиологический.

На самом деле у нас зона максимально острого зрения размером чуть больше пятирублёвой монеты. Всё остальное – это низкочастотное зрение. Но мы на это не обращаем внимания. У нас подавляющая часть поля зрения – очень грубые, большие рецептивные поля. Другое дело, что мы всё время двигаем глазами, и область максимального зрения таким образом расширяется. Вот чуть сбоку висит плакат. Если смотреть прямо, можно сказать, что на плакате изображено?

Нет, у меня размытое изображение.

– Деталей не видно, лишь заметно - что-то есть. Вывод: низкая частота проходит, а высокая нет. Но человеку этого хватает, ему это жить не мешает, правильно? Я хочу сказать, что большинство информации в поле зрения – низкочастотная. То есть высокое разрешение для всего поля зрения не нужно. Иными словами, ситуации, где требуется действительно высокое разрешение, высокая частота, достаточно ограничены.

Второй момент - естественный предел. По моим подсчётам, для того чтобы совпасть по разрешению с матрицей языка, на той же площади должно быть 50х50. Это мой собственный расчёт тактильного разрешения языка.

Если добавить больше, он уже будет путать?

– Что будет, если сделаешь больше, другой вопрос. Технически сейчас в мире нет ни одной компании, которая могла бы сделать матрицу лучше, чем 20х20. Делали матрицу 25х25, то есть 625 элементов, но при этом уже 20 процентов электродов были нерабочие. Потому что требуется очень тонкий монтаж. То есть физически сделать стопроцентно работающую матрицу лучше, чем 20х20, не может никто. Плюс дальше идут ограничения компьютерные. Сейчас там стоит микрочип, микропроцессор, который оперирует матрицей 400 электродов. А если сделать 50х50, то получится 2,5 тысячи электродов! Мощность процессора, который оперирует такой матрицей, должна быть существенно выше.

Физиологический предел, оптимальный по моим расчётам (50х50), технически пока недостижим. Но даже если такую матрицу сделают, это не будет означать, что предел возможностей достигнут. К примеру, в зрении человека есть такой феномен, как сверхострота, hyper acuity. Расстояние между фоторецепторами у человека - 30 угловых секунд. Когда мы у оптометриста проверяем зрение, вторая строчка снизу как раз рассчитана на матрицу рецепторов с шагом 30 угловых секунд. Точность, с которой человек, скажем, устанавливает нониус на штангенциркуле, 4 секунды. То есть мы решаем задачу при низкой матрице рецепторов с гораздо более высокой точностью. Это называется верньерная острота зрения.

А если взять специальным образом поставленные психофизические задачи, то человек показывает, что он способен определять смещение объекта с точностью до восьми сотых секунды! То есть понятие остроты зрения является не очень жёстким, скажем так. Есть целая группа феноменов, когда мы даже с нашим зрением решаем задачи намного более сложные, чем предел Найквиста, так называемый физический предел. Соответственно, это значит, что даже при низкой решётке мы можем решать задачи с более высоким разрешением.

В качестве примера приведу ситуацию, которую я не могу объяснить. С первым моим слепым, с которым мы опробовали новую модель BrainPort, я начал работать, используя теннисный мячик. То есть на чёрном столе я кладу мячик, он должен его найти. Чтобы определиться с полем зрения, ему нужно понять, как выглядит рука, чтобы не путать с объектом. Самые вводные информационные процедуры. На следующий день я купил уже кучу других мячиков, больших, маленьких, с дырками и без дырок. И мы занимались где-то недели две-три. Потом прекратили, а через месяц приехали телевизионщики из Германии, захотели снять эпизод про наших слепых. И я позвал этого пациента.

Приходит он, садится. Телевизионщики камеру готовят, а я рядом с ним высыпаю коробку всяких разных мячиков. Теннисный мячик к нему выкатывается и останавливается. Пациент, абсолютно не задумываясь, замечает: ой, вот мой теннисный мячик. Вот как он смог через месяц, работая с большим количеством мячиков того же размера – они все были приблизительно одинаковыми – определить с одного взгляда (если это взглядом можно назвать, он от рождения слепой), что это его теннисный мяч?

То есть Вы полагаете, что он видел даже текстуру?

– Я не знаю. Вот в этом у меня вопрос. Потому что с точки зрения матрицы или, как вы говорите, разрешения, весь мячик – это три или четыре возбуждённых электрода. Это некое пятно, причём с довольно размытыми границами. Я, глядя на картинку, не могу сказать, что это мячик. Потому что у меня на компьютере видно, что у него на языке и что видеокамера передаёт, я это контролирую. Если я не вижу разницы, то как он её увидел, как почувствовал? И вопрос здесь даже не в остроте зрения, а в каких-то других более изощрённых механизмах. Масса вещей, которая даже не исследована. Даже с той информацией, которую прибор сейчас передаёт, человек может, например, определить, улыбаюсь я или нет. Это с матрицей 12х12!

Сколько времени у новичка займёт процесс работы с BrainPort, чтобы он начал хоть что-то видеть?

– Минуты. У него появляется ощущение. Давай сразу определимся. Это не зрение. На самом деле всё гораздо более запутанно. Есть одна статья, опубликованная в журнале Brain 2005 года, автор Maurice Ptito. Он сделал PET scan на нормальных людях и слепых (до стимуляции и после). И показал, что в первый раз стимуляция языка возбуждает моторную кору. Там, где это должно быть, вокруг центральной извилины, где находится проекция языка. Задача у испытуемых была в том, чтобы научиться различать ориентацию букв на языке. Через неделю тренировки он повторил скан, и выяснилось, что у нормальных людей проекция языка осталась там же. А у слепых включился зрительный отдел.

То есть в процессе использования прибора возбуждается зрительная кора?

– Да, поэтому есть соблазн сказать, что это зрение. Потому что, с одной стороны, поведение выглядит как решение зрительных задач, другого лучшего слова не подберёшь. С другой стороны, активируется зрительная кора. Единственное, что информация прошла не через глаз, а через язык. Поэтому нам надо переосмыслить определение зрения. Хотя – возвращаемся к семантике – что значит у слепого «видеть»? Он не знает, что это такое от рождения. У него появляются некие ощущения, назовём их так осторожно, с помощью которых он может ориентироваться в пространстве, находить объекты, узнавать эти объекты, может быть, определять расстояние и выполнять определённые зрительные функции, например, найти чашку на столе, найти чайник, налить воды. В полноценном ли это смысле зрение? Наверняка нет. Но это некая функция, которая замещает зрение, позволяет выполнять задачи, которые нормальный человек выполняет зрением.

Можно ли вызвать у использующих BrainPort зрительные иллюзии?

– Этот вопрос мы долго обсуждали. Иллюзии имеют место. Так называемый фи-феномен, но нужно долго о нём рассказывать. Аналоги зрительных иллюзий в электротактильных ощущениях есть. Вопрос в том, чтобы создать эти иллюзии, - для этого нужно подбирать определённые параметры. То есть можно создать иллюзию, она будет, и во многих смыслах...

По моему собственному убеждению, эта система превращается если не в непосредственно зрение, то во что-то, может быть, совершенно новое. Передать мои интуитивные ощущения очень сложно… Приведу пример. Для того чтобы научить людей различать объекты, мы повесили липучий экран на стену и стали на чёрном фоне приклеивать белые объекты.

Геометрические фигуры?

– Ну да, круги, квадраты, треугольники. Для начала человеку нужно какой-то опыт приобрести. Потому что была такая ситуация – я взял и прилепил бублик. А в словаре пациента не оказалось такого объекта. То есть в этих ощущениях он не мог сказать. Треугольник он приблизительно понял, квадрат понял, а бублик нет, до тех пор пока рукой не пощупал. Мы ввели правило, согласно которому сначала слепой должен попробовать весь алфавит объектов, которые есть, и только потом он будет их опознавать. И пока он не потрогает, у него не щёлкает, что он ощущает и с чем это связано. Это отдельная стадия обучения, сама по себе очень интересная – как человек учится совершенно новые формы узнавать.

Затем мы приклеили палку. С моей точки зрения, я сделал её максимально горизонтальной. Дальше я смотрю в видеокамеру и снимаю то, что пациент говорит. А он говорит: она наклонена влево. Я смотрю через видеокамеру: для меня горизонтально. Он повторяет: нет, наклонена влево. Мы действительно потом выяснили, что просто я с того угла, с которого смотрел, не видел наклон. Когда я встал на его место, я заметил, что она чуть-чуть наклонена влево. Но наклон там был градуса три, наверное. Он это уловил при условии, что у него на голове была веб-камера, и она ещё криво сидела. Как он, несмотря на эти искажения, неточности, деформации и прочее, ухитрился правильно оценить отклонение этой линии от горизонтали, я не понимаю.

А какая у него была матрица?

– Да 12х12, мы ещё с первым прибором работали. Я почему и говорю, что аналитическая часть этого процесса даже на один процент не изучена. Они показывают такие феномены, которые в зрении без высокого разрешения не решаются. А они их решают. То ли они воспринимают это каким-то другим способом, то ли используют другой алгоритм анализа информации. Но задачу они решают. Поэтому я говорю, что, может, это не зрение как таковое, может, это что-то другое, что замещает зрение. То, чему у нас нет ни определений, ни описаний, ни понимания механизмов обработки информации. Ведь человек чем страдает: он всегда навязывает антропоморфический подход.

Когда мы говорим о животных, мы почему-то считаем, что они как человек, и разговариваем с ними как с людьми (например, с собаками, кошками). Хотя мы же понимаем, что они не люди. Мы не знаем, что у них в голове крутится, но почему-то нам привычней считать, что они почти как маленькие люди, только более простые. Хотя никто не знает, что у них там происходит. Поэтому, когда человек пришёл к выводу, что, замещая зрение, он восстанавливает зрение, на самом деле это может быть и не совсем так. Вероятно, это что-то другое.

То есть речь идёт о каком-то отдельном феномене, который в обычных условиях не проявляется, только в критических ситуациях?

– Как честно ответить на этот вопрос, я не знаю. Я могу пофантазировать. Потому что есть много вещей, которые не вписываются в моё понимание зрительной системы, а я 35 лет занимался её изучением, поэтому знаю, о чём говорю. Я работал в лаборатории физиологии зрения в институте физиологии им. И. П. Павлова РАН. Работал долго.

Как объяснить, почему мозг начинает интерпретировать тактильный сигнал как визуальную информацию?

– Можно задать такой же вопрос слепым, которые ходят с палочкой. Ведь они палочку в руке чувствуют только первые дни. Потом они перестают её ощущать в ладони, они строят картинку в голове, опираясь на точку на конце палочки. Мозг анализирует информацию, а дальше интерпретирует для решения какой-то задачи. То есть то, что у нормального человека решается с помощью зрительной системы, у людей с BrainPort решается мозгом. Задача стоит такая же, что и перед человеком видящим. Найти чашку на столе. Для этого нужно понять ощущение тела в пространстве, понять, где находится рука, где находится объект. Тут же задействуются и слух, и проприорецепция, и вестибулярный аппарат, вектор тяжести и прочее. То есть всё участвует в построении ощущения пространства и нашего положения в нём.

Зрение говорит, что объект находится в этом угловом положении, на таком-то расстоянии. Тебе нужно протянуть руку именно на это расстояние и здесь его взять, это пространственная геометрия. В ситуации с BrainPort слепой человек удивительным образом очень быстро определяет, что вот это ощущение даёт ему положение объектов в пространстве и своё положение относительно объектов.

У меня есть видеоклип, когда лежат три шарика – два целых, а один с дырками. Я прошу слепого сначала найти целые шарики. Он берёт целый шарик, я говорю: теперь возьми второй целый шарик. И он руку переносит автоматически, то есть для него геометрия пространства уже в голове сформировалась. Он уже привязал положение руки и положение этого ощущения через язык. Оно встроилось в пространство. И этим занимается не отдельная система, а весь мозг. Просто в этой общей картине место зрительной системы занял BrainPort… Хотелось бы верить, что человек воспринимает плоскость языка как плоскость сетчатки. Но я в этом не уверен.

Но каким образом мозг вообще решает связать стимуляцию языка с ориентировкой в пространстве? Он же может просто воспринять её как тактильное раздражение и на этом успокоиться.

– Так задача стоит. Если это ощущение несёт в себе информацию о внешнем мире, мозг пытается её использовать. Вот перед тобой стол, я на нём положу кусок белой бумаги, закрою тебе глаза и скажу: найди кусок белой бумаги. Ты начнёшь сканировать пространство, ты поймёшь, что он где-то вот там. Без подготовки ты сразу не определишь расстояние. Но выяснить, где он в пространстве находится, ты сможешь совершенно чётко. Если пространство ограничено поверхностью стола, который ты уже пощупал, и дальше в этом пространстве появился объект, то ты найдёшь его очень легко. Но у тебя будет стоять задача найти объект. То есть должна присутствовать мотивация.

Когда слепой в крестики-нолики играет – это на самом деле я придумал. Очень этим горжусь, потому что никто не подозревал, что слепой с чёрным фломастером может работать. Они всё время путают руку и объект, особенно в начале. Когда в поле зрения появляется рука, это для них не их рука. Нужно специальные упражнения делать, обратить на это внимание, чтобы не путать руку с объектом. И незрячим людям нужно научиться узнавать, как выглядит тело, что собой представляет лицо другого человека.

Тренировка, обучение и мотивация нужны, безусловно. Потому что есть больные, которым всё равно, они очень вяло прогрессируют. А есть энтузиасты. Научить читать трёхбуквенные слова кого-то практически невозможно, по крайней мере за короткий срок, а кто-то очень быстро учится. Особенно те, кто потерял зрение, уже умея читать. Кстати, сам по себе хороший вопрос: можно ли научить слепого от рождения читать?

Оливер Сакс как-то вспоминал пациента, который признавался, что во время чтения символов Брейля видит точки. То есть какая-то связь тактильной и зрительной системы, видимо, присутствует в мозге.

– Уже показано, что все сенсорные системы перекрыты. На самом деле в зрительную кору есть и тактильный, и слуховой вход. Они не такие быстрые, но они есть. В последних работах Пол писал об этом, это так называемая демаскировка. Когда возникает необходимость, начинают работать запасные пути. Не что-то новое появляется, а они уже есть, просто не используются. Это одна из гипотез, объясняющая, почему слепой довольно быстро начинает оперировать с этой технологией.

Это не что-то необычное, это «запасное» вдруг начинает работать. Тогда возникает вопрос: для чего мозгу такое количество запасных путей? Это вообще отдельная история, потому что за последние дни перед рождением и первые дни после рождения мы теряем три четверти нейронов. Остаются самые эффективные, неэффективные исчезают. А вот тут выясняется: что-то на самом деле ещё остаётся. То ли это запасные пути, то ли это запасные системы. Об этом можно только гадать. Потому что за те дни и часы, в течение которых у слепых, например, в экспериментах Ptito, информация перешла из центральной извилины в зрительные области коры, – за это время ничего нового вырасти не могло. Поэтому это и требует исследований академических, чтобы понять, что происходит и как именно.

В каком статусе сейчас находится BrainPort: на стадии клинических испытаний или уже идёт речь о розничных продажах?

– Я вообще не думаю, что он поступит в розницу. Это уже законы капитализма. Возможно, всё начнётся с того, что будут спецзаказы для конкретной группы больных. Хотя компания по-прежнему пытается получить разрешение на продажу, но будет ли она продавать, я не уверен. Прибор слишком дорог, я считаю. Для того чтобы он стал доступным, реально использовался в жизни слепых, надо ещё работать, работать и работать. То есть улучшать и улучшать его.

У нас есть идеи, например, как передавать цвет. У нас есть идеи, как передавать стереоизображение. У нас есть идеи, как встроить в BrainPort модули, разработанные для зрения робота. Например, задача для слепого на улице: вовремя увидеть машину при переходе проезжей части. В принципе, он её видит, но только очень близко. А если поставить туда детектор движения, то это позволит ему увидеть машину или почувствовать её, находящуюся намного дальше.

Или, например, прибор сейчас работает как контрастное изображение. Чем контрастнее изображение, тем легче человеку ориентироваться. На улице слепой должен увидеть не только край тротуара, но и менее выраженные переходы яркости. Есть модули для роботов, которые подчёркивают именно границы. Вот их тоже можно в прибор встроить и тем самым существенно улучшить ориентацию таких людей в реальном мире.

Денис Тулинов