Reface — управляй миром движением глаз

Моргнул три раза — и музыка остановилась.

Идея

Меня всегда интересовал вопрос: кто пользуется функцией управления глазами в современных смартфонах? Постоянно смотреть в камеру — это же очень неудобно.

Посмотрите для затравочки видео примерно на полминуты, как проект решает эту проблему:

Включаю и выключаю музыку глазами

Идея проста: вы моргаете или делаете что-то еще лицом — и гаджет определенным образом реагирует на это. Причем без айтрекинга.

Айтрекинг — это когда для положения глаз используется камера. А в проекте она не используется.

Продукт

На сегодня готово приложение-прототип. Нейросеть внутри распознает 7 действий:

  • Моргание
  • Сильное моргание
  • Посмотрел влево
  • Посмотрел вправо
  • Посмотрел вверх
  • Посмотрел вниз
  • Помотал головой вправо-влево

Планируется добавить еще несколько: поднимание бровей, например.

Конечное устройство будет иметь размер спортивных наушников. Будет располагаться на двух ушах. Сейчас все работает с девайсом другой фирмы: muse.

Ключевое отличие — размер. У muse шлем рассчитан на 4 точки головы, и из-за этого перекрывает весь лоб при ношении. Я же использую всего две.

Мало того, что ходить в девайсе от muse долго жутко неудобно, так еще и большая часть помех сигнала происходит из-за такого крепления к голове.

Muse headband Muse
Muse headband Muse
Спортивные наушники Jabra
Спортивные наушники Jabra

Как это работает

На электроэнцефалограмме вашего мозга отражаются сделанные вами действия: моргания, движения рукой, финты ушами и тдтп.

Устройство на голове передает электроэнцефалограмму в приложение на смартфоне. Нейросеть внутри приложения определяет, в какой момент вы моргнули, мотнули головой или поскрипели зубами. После этого она запускает заданное пользователем действие.

В приложении пользователь может указать триггеры. Минимальная длина, чтобы избежать лишнего риска — три действия. Максимальная длина не ограничена. Например: "моргнул двумя, поднял глаза вверх, поднял брови вверх — включился следующий трек".

В этих трех действиях можно заложить 343 комбинаций. В четырех уже 2401. То есть такого набора действий точно хватит.

Области применения

Управлять телефоном (выключать музыку, отклонять звонок и тд)

Отклоняю звонок, моргнув два раза

Напоминать о регулярности лечения

Есть определенная частота моргания, которая считается нормой. 25 раз в минуту. Моргаете чаще — ваши глаза устали, вам нужно отвлечься от ноутбука.

Можно с помощью Reface подсчитывать моргания и выводить напоминания. Например, "закапайте капли".

Считаю моргания.

Управлять компьютером

Можно добавить ассоциации шорткатов (скажем, Ctrl-C) к движениям глазами. То есть вы два раза моргнули - и у вас скопировался текст.

Управлять умными очками

Проматывать список в умных очках рукой у виска — не очень удобно. Гораздо удобней было бы управлять глазами. Как вариант — встроить само устройство в оправу очков.

Перелистывать слайды презентаций

Три раза моргнули — и у вас перелистнулся слайд. Эффектно, так еще и штуку для переключения слайдов покупать не придется.

Интеграция с ITTT

ITTT, согласно Википедии, "является бесплатным веб-сервисом для создания цепочек простых условных операторов, называемых апплетами". Там можно создавать цепочки а-ля "наступило 8 вечера — опубликуйте фото в фейсбуке". Интеграция есть уже сейчас.

То есть с помощью этой интеграции можно выключить свет в ванной, моргнув три раза. Если у вас умный дом, конечно.

Перелистывать страницы книг

Некоторых отвлекает от сюжета, когда нужно перелистывать страницы. Теперь их можно перелистывать глазами, не используя руки.

Перелистываю страницы

Планы развития

Главный план на сегодня — собрать базу емейлов (про это в разделе "как можно помочь") и ответов на соцопрос.

Потом, через некоторое время — краудфаундинг, либо раунд инвестиций. Либо и то, и другое.

Что касается разработки, два главных момента - это повышение точности работы (то есть расширение датасета для обучения нейросети) и создание прототипа девайса. Если с первым я справлюсь в одиночку, то для последнего придется привлекать человека со стороны.

Как можно помочь

Перейти на сайт и поучаствовать в соцопросе

Если вас заинтересовал проект, пожалуйста, введите на сайте проекта свой емейл. В ответ вам придет ссылка на соцопрос в гугл формах.

Пройдите его, пожалуйста, очень поможете мне лучше узнать ЦА проекта.

Собственно, сайт: https://reface.tech

Подписаться на соцсети

Вконтакте: https://vk.com/reface_tech

Написать мне

Если у вас есть какие-то предложения, замечания или вопросы, пишите мне в ВКонтакте или Телеграме.

Вконтакте: vk.com/mixeden

28
27 комментариев