Невидимое прикосновение для мобильных устройств
Перейти к содержимомуБез категорий
Простой интерфейс, распознающий жесты, может придать новый смысл разговорам по мобильному телефону.
Автор:- Страница архива Кейт Грин
25 мая 2010 г.
Сегодня взаимодействие с мобильным телефоном осуществляется касанием клавиатуры или экрана пальцами. Но исследователи изучают способы использования мобильных устройств, которые были бы гораздо менее ограниченными.
Представьте себе: Человек (вверху) рисует изогнутую линию пальцем, и этот жест фиксируется носимой камерой (внизу). Строка передается на мобильное устройство, которое отправляет ее на экран получателя для отображения. Патрик Баудиш, профессор компьютерных наук в Институте Хассо Платтнера в Постдаме, Германия, и его студент-исследователь Шон Густафсон разрабатывают прототип интерфейса для мобильных телефонов, который не требует сенсорного экрана, клавиатуры или любого другого физического устройства ввода.
Небольшой видеомагнитофон и микропроцессор, прикрепленные к одежде человека, могут фиксировать и анализировать жесты его рук, отправляя схему каждого жеста на дисплей компьютера.
Идея состоит в том, что человек может использовать «воображаемый интерфейс» для дополнения телефонного разговора, обводя пальцами фигуры в воздухе. Баудиш и Густафсон построили прототип устройства, в котором камера размером с большую брошь, но они предсказывают, что через несколько лет компоненты уменьшатся в размерах, что позволит сделать систему намного меньше.
В идее взаимодействия с компьютером с помощью жестов рук нет ничего нового. Sony уже продает EyeToy, видеокамеру и программное обеспечение для захвата жестов для своих игровых консолей PlayStation; Microsoft разработала более сложную систему распознавания жестов под названием Project Natal для игровой консоли Xbox 360. А исследовательский проект, основанный на жестах, под названием SixthSense, разработанный профессором Массачусетского технологического института Патти Мэйс и ее студентом Пранавом Мистри, использует переносную камеру для записи жестов человека и небольшой проектор для создания специального дисплея на любой поверхности.
Баудиш и Густафсон говорят, что их система проще, чем SixthSense, и требует меньше компонентов, что должно сделать ее дешевле. Человек «открывает» интерфейс, рисуя букву «Г» левой или правой рукой. Это создает двухмерную пространственную поверхность, границу для предстоящих следов пальцев. Баудиш говорит, что человек может использовать это пространство для прояснения пространственных ситуаций, например, как добраться из одного места в другое. «Пользователи начинают рисовать в воздухе, — говорит он. «Здесь не требуется никаких усилий по настройке, не нужно доставать мобильное устройство или стилус». Исследователи также обнаружили, что пользователи могли даже вернуться к воображаемому эскизу, чтобы расширить его или аннотировать, благодаря своей зрительной памяти 9.0003
Документ с подробным описанием установки и пользовательских исследований будет представлен на симпозиуме 2010 года по программному обеспечению и технологиям пользовательского интерфейса в Нью-Йорке в октябре.
Энди Уилсон, старший научный сотрудник Microsoft, руководивший разработкой Surface, экспериментального стола с сенсорным экраном, говорит, что эта работа может быть признаком грядущих событий. «Я думаю, что это довольно интересно в том смысле, что это действительно лучший вариант для размышлений о том, когда устройства уменьшаются до нуля — когда у вас даже нет дисплея», — говорит он.
Уилсон отмечает, что интерфейс основан на том факте, что люди естественным образом используют свои руки для объяснения пространственных представлений. «Это довольно мощная концепция, и она еще не исследована», — говорит он. — Думаю, они что-то затеяли.
Кейт Грин
Продолжайте читать
Самые популярные
Оставайтесь на связи
Иллюстрация Роуз Вонг предстоящие события и многое другое.
Введите адрес электронной почты
Политика конфиденциальностиСпасибо за отправку вашего электронного письма!
Ознакомьтесь с другими информационными бюллетенями Похоже, что-то пошло не так.
У нас возникли проблемы с сохранением ваших настроек. Попробуйте обновить эту страницу и обновить их один раз больше времени. Если вы продолжаете получать это сообщение, свяжитесь с нами по адресу [email protected] со списком информационных бюллетеней, которые вы хотели бы получать.
Этот «невидимый палец» может управлять вашим сенсорным экраном
(Фото: Getty Images/d3sign)Представьте себе такой сценарий. Вы входите в конференц-зал, кладете телефон на стол и садитесь на свое место. Таинственным образом телефон просыпается, невидимый палец разблокирует его и устанавливает вредоносное ПО. Позвонить охотникам за привидениями? А еще лучше позвонить исследовательской группе, чья презентация «невидимого пальца» поразила участников конференции Black Hat в Лас-Вегасе.
Эта команда, получившая название «Безопасность в кремниевой лаборатории», объединяет профессоров, кандидатов наук и других ученых из Университета Флориды и Университета Нью-Гемпшира, каждый из которых имеет большой опыт в области электронного оборудования и математики.
и физика, которые делают возможными современные технологии.
Хаоци Шань, кандидат наук Университета Флориды, провел презентацию результатов группы Black Hat и начал с краткой версии. «Это дистанционная точная атака касанием емкостных сенсорных экранов с использованием сигнала IEMI (преднамеренная электромагнитная помеха)», — сказал он. «Наша атака имеет эффективный диапазон от трех до четырех сантиметров. Мы можем вызвать короткое касание, долгое нажатие или смахивание в любом направлении».
Шан охарактеризовал этот ход как «относительно новый тип атаки, даже для профессиональных исследователей, [хотя] как только вы получите знания здесь, вы сможете воспроизвести то, что мы делаем сейчас. Может быть, вы придумаете более мощная или гораздо более крутая атака».
Это большая вероятность, так как для продолжения исследований явно потребуется мощное оборудование, а также глубокие знания и опыт.
Шан начал подробное описание того, как работает емкостный сенсорный экран для управления вашими столами и телефонами.
Пропустив физику, это выглядит так. Электронная система преобразует емкостные события, возникающие при прикосновении к экрану, в напряжение, которое можно измерить. Атака команды работает с использованием электромагнитных полей для управления этим напряжением.
«Теоретически это может сработать, но пока мы этого не знаем», — сказал Шан. «Мы создали среду, которая позволяет нам генерировать поле с помощью медной пластины, чтобы мы могли научиться управлять событием касания».
Команда прошла множество итераций, изучая оптимальную силу поля и частоту для использования. «Нам нужно, чтобы наше электронное поле было действительно сфокусировано», — сказал Шан. «Мы использовали два метода. Подпружиненная медная игла точнее, но медная пластина дает более сильный сигнал».
От теории к практике
При любом методе робот-манипулятор служит для точного позиционирования антенны.
— Для настоящей атаки нельзя использовать роботизированную руку, — сказал Шан. «Мы использовали разреженную антенную решетку для определения местоположения телефона и другую решетку для проведения теста. Наша атака работает на iPad, OnePlus, Google Pixel, Nexus и Surface. Он более универсален. Это просто действует так, как будто ваш палец делает работу. Мы даже можем генерировать всенаправленные движения на iPad и Surface. Мы могли бы полностью использовать это, чтобы открыть замок на основе жестов».
Команда разработала полный вектор атаки. Антенная решетка под столом улавливает точное местоположение телефона или планшета. Другая антенная решетка посылает сигналы, запускающие события касания. А измеряя выбросы от сенсорного экрана, атакующая система может убедиться, что каждое прикосновение успешно. Краткое видео(открывается в новом окне) показывает финальную атаку в действии.
Рекомендовано нашими редакторами
SpaceX приглашает исследователей безопасности для взлома Starlink
Microsoft, CISA предупреждают об активно используемой ошибке Windows «DogWalk»
Какие атаки возможны? Какие защиты?
Что касается реального сценария атаки, «нам удалось установить вредоносное приложение на Android», — сказал Шан.
«Мы могли отправить деньги, нажав и удерживая PayPal. Мы сделали атаку на Siri, которая срабатывает в девяти случаях из десяти». Он отметил, что другие атаки оказались менее успешными, в одном случае из-за того, что кнопки «Да» и «Нет» на Android расположены очень близко друг к другу.
Производители сенсорных экранов могут предотвратить эту атаку, включив в них простое определение давления или силы. Ваш палец оказывает незначительное давление; атака невидимым пальцем не работает. «Что касается потребителей, — сказал Шан, — вы можете использовать мешок Фарадея (открывается в новом окне), но это сделает ваш телефон неработоспособным. Мы нашли хорошую проверку защиты в футляре с крышкой и тканью Фарадея».
На веб-сайте группы также отмечается, что достаточно просто положить телефон экраном вверх, чтобы защитить его от текущей атаки.
«Мы все еще активно работаем над этой атакой, чтобы сделать ее более совершенной», — заключил Шан. Он также отметил, что группа активно набирает аспирантов, работающих в сфере кибербезопасности.
