Запах и вкус научились передавать через интернет за 0,6 секунды: как это работает

Современная электроника легко передает на расстояние изображение, звук и прикосновения. Чтобы показать картинку на экране, воспроизвести голос из динамика или заставить телефон вибрировать в руке, достаточно управлять электрическим током. Экран излучает световые волны, а динамик и вибромотор создают механические колебания воздуха и корпуса. Все эти процессы описываются законами физики и не требуют передачи самого вещества от одного человека к другому.

С обонянием и вкусом такой подход не работает. Человек чувствует запах и вкус только тогда, когда реальные молекулы вещества попадают в нос или на язык и соприкасаются с чувствительными клетками — рецепторами. Из-за того, что молекулы нельзя создать на пустом месте с помощью одного лишь электрического сигнала, запахи и вкусы долгое время оставались за пределами цифровых технологий.

Отсутствие приборов для точной передачи запахов мешает не только разработчикам шлемов виртуальной реальности, но и врачам. Нарушения обоняния — полная его потеря, снижение чувствительности или ситуации, когда привычная еда начинает пахнуть гарью и гнилью, — часто возникают после вирусных инфекций, таких как COVID-19, или после травм головы. Кроме того, ухудшение обоняния служит одним из первых признаков развития болезней Альцгеймера и Паркинсона, появляясь задолго до проблем с памятью или движением.

При этом врачи до сих пор проверяют обоняние пациентов с помощью простых бумажных карточек с пахучим слоем или специальных фломастеров, пропитанных ароматизаторами. У такого метода есть серьезные недостатки. Пациент должен лично приехать в больницу. Врач не может плавно уменьшить или увеличить силу запаха прямо во время проверки — концентрация вещества в фломастере всегда одинакова. Существуют стационарные медицинские установки, которые смешивают чистый воздух с пахучими веществами в нужной пропорции, но они занимают много места, дорого стоят и не подходят для использования дома.

Инженеры и медики из Университета штата Огайо и китайской лаборатории Чжэцзян под руководством Цзинхуа Ли решили эту проблему. В статье для научного журнала Science Advances они представили систему Scentronic. Это комплекс из двух устройств, связанных через интернет. Первое устройство улавливает запах реального продукта с помощью датчиков и определяет его через компьютерную программу. Второе — получает команду по беспроводной связи и тут же распыляет нужный аромат с заданной силой перед носом другого человека.

Как датчики распознают запахи разных продуктов

Первая часть системы — устройство для улавливания запахов, которое инженеры называют «электронным носом». Его задача — превратить испарения от еды или напитков в понятный для компьютера электрический сигнал.

Главная трудность при создании таких приборов связана с тем, что молекулы пахучих веществ очень малы и легко перемешиваются в воздухе. Обычный компактный датчик газа не умеет реагировать только на одно конкретное вещество — например, только на кофе или только на апельсин. Он реагирует сразу на множество разных испарений, поэтому по сигналу одного датчика невозможно понять, какой именно продукт находится рядом.

Авторы работы обошли это ограничение, объединив на одной круглой плате сразу шесть разных газовых датчиков. Внутри каждого из них находится чувствительный слой из диоксида олова. Принцип их работы основан на том, как этот материал проводит электрический ток в разной среде.

Когда датчик находится в обычном чистом воздухе, молекулы кислорода из воздуха оседают на нагретой поверхности диоксида олова. При этом кислород притягивает и удерживает часть свободных электронов из материала датчика. Поскольку именно свободные электроны переносят электрический ток, их нехватка приводит к тому, что материал начинает хуже проводить электричество — его сопротивление растет, а напряжение на выходе падает.

Ситуация меняется, когда к плате подносят пахучий продукт — например, дольку апельсина, бокал вина или кусок пирожного. От продукта в воздух поднимаются испарения: молекулы спиртов, эфиров и других органических веществ. Попадая на поверхность датчика, эти молекулы вступают в химическую реакцию с осевшими там молекулами кислорода. В результате этой реакции кислород отпускает захваченные ранее электроны, и они возвращаются обратно в диоксид олова. Ток снова начинает течь свободно, сопротивление датчика падает, а выходное напряжение в электрической цепи увеличивается.

Чтобы шесть датчиков не выдавали одинаковый результат, в каждый из них при производстве добавили свои примеси и настроили их на разную температуру нагрева. Из-за этого один и тот же продукт вызывает на шести датчиках разную по силе и скорости реакцию.

Инженеры проверили работу платы на пяти продуктах: пиве, сладкой выпечке, холодном кофе, мандаринах и красном вине. Каждый образец ставили в центр кольца из датчиков, накрывали колпаком для защиты от сквозняков и записывали изменения напряжения в течение 200 секунд. Для каждого продукта процедуру повторили по 50 раз, собрав базу из 250 записей.

Измерения показали заметную разницу между продуктами. Пиво и красное вино вызывали самый сильный рост напряжения на всех шести датчиках, так как они выделяют много паров спирта, которые активно реагируют с кислородом на поверхности диоксида олова. Апельсин и выпечка давали средний сигнал. Самую слабую реакцию датчиков вызвал кофе: хотя для человека он пахнет сильно, в его испарениях мало веществ, способных легко отбирать кислород у материала датчиков.

Тем не менее даже слабого сигнала хватило для точного определения напитка с помощью программ машинного обучения. Исследователи загрузили собранные данные в компьютер и проверили два способа анализа:

1. В первом случае программе передавали всю историю изменения напряжения за каждые 200 секунд измерения — это 1200 отдельных цифр для каждого образца.
2. Во втором случае брали только конечный результат — 6 цифр, показывающих стабильное напряжение на каждом из шести датчиков в самом конце трехминутного теста.

Проверка показала, что сложный первый способ не дает преимуществ. Шести конечных цифр оказалось вполне достаточно, чтобы программа безошибочно отличала один продукт от другого. Простой алгоритм, который сравнивает полученные шесть показателей напряжения с заранее сохраненными в памяти образцами, правильно определил все продукты в 100 процентах случаев. Это важное практическое достижение: поскольку программе нужно анализировать всего шесть цифр вместо тысячи двухсот, она работает быстро и не требует мощного компьютера.

Как устроен миниатюрный распылитель запахов

Вторая часть системы Scentronic — устройство, которое получает цифровой сигнал и выпускает в воздух соответствующий запах.

В существующих прототипах для этого обычно используют либо нагрев пахучей жидкости, либо систему воздушных насосов с клапанами. Оба способа неудобны для повседневного ношения. Нагревателям нужно время, чтобы разогреться и остыть, они быстро сажают батарею, могут искажать запах из-за высокой температуры и способны обжечь кожу. Насосы и трубки делают прибор тяжелым и шумным.

Создатели Scentronic отказались от нагрева и насосов в пользу ультразвукового распыления. Одиночный модуль устройства представляет собой небольшой пластиковый цилиндр, напечатанный на 3D-принтере. Внутри него друг над другом расположены четыре детали: емкость с жидким ароматизатором, плотный хлопковый фильтр, тонкая круглая пластина из пьезокерамики и верхняя крышка с отверстием.

Хлопковый фильтр работает как фитиль: он впитывает жидкость из нижней емкости и постоянно прижимает ее к нижней стороне керамической пластины. В самой пластине проделаны микроскопические отверстия, сужающиеся кверху. Пьезокерамика обладает особым свойством: если подать на нее электрическое напряжение, она слегка меняет свою форму. Когда на пластину подают переменный ток, который меняет направление десятки тысяч раз в секунду, пластина начинает с такой же частотой выгибаться вверх и вниз. Эти быстрые колебания проталкивают жидкость из хлопкового фильтра сквозь микроскопические отверстия и выбрасывают ее наружу в виде холодного тумана из мельчайших капель.

В ходе испытаний выяснилось, что такая пластина эффективно распыляет жидкость только тогда, когда ток подается со строго определенной частотой — 110 килогерц (110 тысяч колебаний в секунду). На этой частоте пластина входит в резонанс, размах ее движений становится максимальным, и она превращает в туман около 0,9 миллилитра жидкости в минуту. Если снизить частоту тока ниже 90 килогерц или поднять выше 120 килогерц, пластина перестает нормально вибрировать, и выброс жидкости падает более чем в девять раз — до менее чем 0,1 миллилитра в минуту.

Это создало инженерную задачу: как плавно менять силу запаха, если частоту тока менять нельзя? Авторы решили ее за счет прерывистой подачи питания. Управляющий микрочип подает ток на пластину с идеальной частотой 110 килогерц, но включает ее короткими всплесками длительностью ровно по 10 миллисекунд (одна сотая доля секунды). За это время устройство успевает выбросить небольшую порцию пахучего тумана, но не успевает издать различимый человеческим ухом писк.

Сила запаха при этом регулируется длительностью паузы между этими десятимиллисекундными включениями:

• Если нужно создать едва заметный запах, чип делает длинную паузу — например, включает пластину на 10 миллисекунд, а затем ждет 90 или 190 миллисекунд.
• Если нужен максимально сильный запах, пауза сокращается до нуля, и пластина работает непрерывно.

Изменяя длительность пауз, можно с высокой точностью настраивать количество выбрасываемого вещества и менять время работы прибора от одной заправки (от 5 минут при непрерывной работе до 35 минут на малой мощности).

Устройство потребляет очень мало энергии. При работе одного канала распылителя крошечного аккумулятора емкостью 400 миллиампер-часов хватает более чем на 5 часов работы; если включить пять каналов одновременно, заряда хватит на 1 час. Кроме того, инженеры проверили прибор тепловизором. Даже после целого часа непрерывной работы на максимальной мощности самая теплая часть корпуса нагрелась всего до 35,8 градуса Цельсия. Это температура человеческого тела, поэтому устройство полностью безопасно и не может вызвать ожог.

Малый вес и безопасность позволили собрать несколько вариантов прибора для разных задач:

• Одиночный модуль, который можно закрепить на кольце для пальца или на клипсе непосредственно под носом;
• Браслет на запястье с двумя разными запахами, собранный на гибкой плате;
• Ожерелье на шею, где спереди на шнурке закреплены пять капсул с разными ароматами, а гибкая плата управления и батарея располагаются сзади на шее;
• Настольные и ручные модули круглой и треугольной формы на пять или шесть запахов, которые могут распылять ароматы как по очереди, так и одновременно, смешивая их в воздухе.

Передача запаха через интернет и испытания на людях

Чтобы соединить датчики запаха и распылитель на расстоянии, оба устройства снабдили микрочипами с поддержкой Wi-Fi. Когда датчики фиксируют запах, специальная микросхема переводит электрическое напряжение в цифровой код и отправляет его через интернет на облачный сервер Google Cloud. Сервер мгновенно пересылает команду всем подключенным к этому каналу распылителям.

Проверка связи показала, что пересылка данных через сервер занимает в среднем 65 миллисекунд. Общая же задержка всей системы — от момента, когда к датчику поднесли пробирку со спиртом, до момента, когда распылитель в другом месте изменил подачу тумана, — составила 0,6 секунды.

Система позволяет передавать не только вид запаха, но и его силу в реальном времени. В одном из опытов исследователь плавно приближал и отодвигал пробирку с раствором спирта от датчика. По мере приближения пробирки напряжение на датчике росло, и удаленный распылитель синхронно сокращал паузы между импульсами, выпуская все более густое облако пара. Как только пробирку убирали, напряжение падало ниже порогового значения в 2 вольта, и распылитель отключался.

Такая точность позволяет использовать Scentronic для удаленного медицинского осмотра. Чтобы проверить, как прибор работает с реальными людьми, ученые провели серию испытаний с участием добровольцев из университета (в разных тестах участвовали от 14 до 16 человек):

1. Определение порога чувствительности. Шестнадцать участников по очереди садились на расстоянии 20 сантиметров от прибора. Устройство подавало запах апельсина в течение одной секунды с перерывами по пять секунд, постепенно увеличивая мощность в десять шагов. Добровольцы должны были сказать, в какой момент они впервые почувствовали аромат. Большинство участников заметили запах на пятом уровне мощности, меньшая часть — на более слабых или более сильных уровнях. Такой тест позволяет врачу удаленно и точно определить, насколько сильно снижено обоняние у пациента, и отслеживать процесс его выздоровления.
2. Оценка силы запаха. Участникам давали понюхать пары спирта на пяти разных уровнях мощности в случайном порядке и просили расположить их по возрастанию — от самого слабого к самому сильному. Правильно расставить уровни удалось в 58,57 процента случаев. Это подтверждает известный в медицине факт: человеку трудно определить точную силу запаха в отрыве от образца для сравнения.
3. Узнавание отдельных запахов и их смесей. Сначала добровольцам дали понюхать пять пробирок с ароматами выпечки, апельсина, кофе, пива и вина, чтобы они запомнили их. Затем прибор распылял эти запахи в случайном порядке по 10 секунд, а люди выбирали правильный ответ на экране. Одиночные запахи участники угадали в 72,86 процента случаев. После этого задачу усложнили: многоканальный прибор включал сразу два запаха одновременно (кофе с апельсином, пиво с выпечкой, кофе с вином, апельсин с пивом, выпечка с вином). Оба компонента смеси люди правильно назвали в 71,43 процента случаев. Ученые отмечают, что такие тесты особенно полезны для изучения мозга: когда два разных пахучих вещества попадают в нос одновременно, рецепторы могут реагировать на них непредсказуемо, создавая у человека ощущение совершенно нового, иногда даже неприятного запаха.
4. Проверка привыкания к запаху. Прибор непрерывно распылял аромат апельсина на средней мощности, а участники каждые 20 секунд оценивали по десятибалльной шкале, насколько сильно они его чувствуют. Так исследователи записали точные графики того, как быстро нос конкретного человека адаптируется к постоянному фону и перестает его замечать.

Умная кружка и работа в смешанной реальности

Когда мы едим или пьем, ощущение вкуса складывается из двух потоков информации: сигналов от вкусовых рецепторов языка и сигналов от обонятельных рецепторов носа. Чтобы передавать по сети оба этих ощущения одновременно, инженеры разработали специальную кружку на электронной подставке.

В крышку кружки встроили пять описанных выше распылителей запаха. А в стенки самого сосуда поместили пять миниатюрных дозаторов с жидкими вкусовыми добавками.

Дозатор вкуса устроен просто и не содержит сложных шестеренок или моторов. Внутри пластиковой стенки кружки спрятана катушка из 400 витков тонкой медной проволоки. Вплотную к ней прилегает небольшая емкость из мягкого медицинского силикона, заполненная концентрированной вкусовой жидкостью. Со стороны внутренней части кружки эта емкость затянута тонкой и гибкой силиконовой пленкой, в центре которой закреплены два маленьких плоских магнита размером 3 на 3 миллиметра.

Когда плата управления подает электрический ток на медную катушку, вокруг нее возникает магнитное поле. Оно отталкивает закрепленные на пленке магниты вперед. Гибкая пленка прогибается внутрь емкости, давит на жидкость и выталкивает точную порцию вкусовой добавки через маленькое верхнее отверстие прямо в обычную воду, налитую в кружку.

Сначала кружку проверили в паре с датчиками запаха. Когда к датчикам подносили стакан с пивом, чашку с кофе или их смесь, компьютер за несколько секунд определял состав, передавал сигнал через интернет, и кружка синхронно включала нужный распылитель аромата на крышке, одновременно добавляя в воду капли соответствующего вкуса.

В финальном испытании кружку подключили к шлему смешанной реальности. Человек в шлеме видел перед собой реальный стол, на котором стояла настоящая умная кружка с водой, а над столом программа дорисовывала виртуальную полку с бутылкой пива и чашкой кофе. Встроенные камеры шлема следили за движениями рук пользователя без каких-либо джойстиков.

Когда пользователь протягивал руку и брал виртуальную бутылку пива, шлем фиксировал жест захвата и отправлял команду через облачный сервер на подставку кружки. В ту же секунду реальная кружка на столе начинала выпускать аромат пива и впрыскивала пивной вкусовой концентрат в воду. Когда человек отпускал бутылку и брал виртуальную чашку кофе, кружка переключалась на подачу кофейного вкуса и аромата. А когда испытатель взял пиво и кофе двумя руками одновременно, система включила оба канала сразу, смешав в реальной кружке кофейно-пивной напиток.

Возможности и ограничения технологии

Авторы исследования отдельно поясняют, как именно следует воспринимать возможности их разработки. Система Scentronic не умеет создавать любой произвольный запах с нуля.

В экранах телефонов и телевизоров любую картинку можно собрать из трех базовых цветов — красного, зеленого и синего, так как в глазу человека за цвет отвечают всего три типа чувствительных клеток. Но за обоняние в носу человека отвечают около 400 разных типов рецепторов. Поэтому в природе не существует небольшого набора из пяти или десяти «базовых жидкостей», смешав которые можно было бы получить любой запах на свете.

Scentronic работает иначе: датчики распознают знакомый программе класс продукта, а распылитель на другой стороне включает заранее заправленную капсулу с соответствующим ароматизатором. Это не точное копирование химического состава воздуха в другой комнате, а воспроизведение заранее подготовленного, узнаваемого человеком запаха.

Однако именно такой подход позволяет применять технологию на практике уже сейчас, не дожидаясь создания сложных химических синтезаторов. Исследователи выделяют несколько главных направлений, где эта система принесет прямую пользу:

• Удаленная медицина и реабилитация. Врачи смогут проводить точную проверку обоняния пациентов на дому, что особенно важно во время эпидемий или для людей, живущих далеко от крупных клиник. Кроме того, регулярное вдыхание разных запахов по строго заданной программе — основной метод тренировки мозга для возвращения обоняния после болезней и травм.
• Улучшение питания. Пожилые люди, пациенты после тяжелых операций, а также космонавты на орбите и военные в полевых условиях часто вынуждены питаться специальными питательными смесями. Такая еда полезна, но почти не имеет вкуса и запаха, из-за чего люди теряют аппетит и хуже восстанавливаются. Посуда, которая в момент глотка подает приятный аромат и вкус, помогает человеку нормально воспринимать пресную пищу без изменения ее реального состава.
• Изучение работы мозга. Поскольку подача запаха в Scentronic управляется цифровым сигналом с точностью до миллисекунд, прибор легко синхронизировать с медицинскими аппаратами для записи электрической активности мозга (ЭЭГ). Это даст ученым возможность точно фиксировать, как различные отделы мозга реагируют на запахи и их сочетания в реальном времени.

В дальнейшем инженеры планируют увеличить количество каналов устройства и заменить шесть полупроводниковых датчиков на миниатюрные чипы с сотнями чувствительных трубок. Это позволит системе различать и воспроизводить десятки сложных оттенков запаха и вкуса при сохранении компактных размеров.

Источник: Science Advances