Reface — управляй миром движением глаз
Моргнул три раза — и музыка остановилась.
Идея
Меня всегда интересовал вопрос: кто пользуется функцией управления глазами в современных смартфонах? Постоянно смотреть в камеру — это же очень неудобно.
Посмотрите для затравочки видео примерно на полминуты, как проект решает эту проблему:
Идея проста: вы моргаете или делаете что-то еще лицом — и гаджет определенным образом реагирует на это. Причем без айтрекинга.
Айтрекинг — это когда для положения глаз используется камера. А в проекте она не используется.
Продукт
На сегодня готово приложение-прототип. Нейросеть внутри распознает 7 действий:
- Моргание
- Сильное моргание
- Посмотрел влево
- Посмотрел вправо
- Посмотрел вверх
- Посмотрел вниз
- Помотал головой вправо-влево
Планируется добавить еще несколько: поднимание бровей, например.
Конечное устройство будет иметь размер спортивных наушников. Будет располагаться на двух ушах. Сейчас все работает с девайсом другой фирмы: muse.
Ключевое отличие — размер. У muse шлем рассчитан на 4 точки головы, и из-за этого перекрывает весь лоб при ношении. Я же использую всего две.
Мало того, что ходить в девайсе от muse долго жутко неудобно, так еще и большая часть помех сигнала происходит из-за такого крепления к голове.
Как это работает
На электроэнцефалограмме вашего мозга отражаются сделанные вами действия: моргания, движения рукой, финты ушами и тдтп.
Устройство на голове передает электроэнцефалограмму в приложение на смартфоне. Нейросеть внутри приложения определяет, в какой момент вы моргнули, мотнули головой или поскрипели зубами. После этого она запускает заданное пользователем действие.
В приложении пользователь может указать триггеры. Минимальная длина, чтобы избежать лишнего риска — три действия. Максимальная длина не ограничена. Например: "моргнул двумя, поднял глаза вверх, поднял брови вверх — включился следующий трек".
В этих трех действиях можно заложить 343 комбинаций. В четырех уже 2401. То есть такого набора действий точно хватит.
Области применения
Управлять телефоном (выключать музыку, отклонять звонок и тд)
Напоминать о регулярности лечения
Есть определенная частота моргания, которая считается нормой. 25 раз в минуту. Моргаете чаще — ваши глаза устали, вам нужно отвлечься от ноутбука.
Можно с помощью Reface подсчитывать моргания и выводить напоминания. Например, "закапайте капли".
Управлять компьютером
Можно добавить ассоциации шорткатов (скажем, Ctrl-C) к движениям глазами. То есть вы два раза моргнули - и у вас скопировался текст.
Управлять умными очками
Проматывать список в умных очках рукой у виска — не очень удобно. Гораздо удобней было бы управлять глазами. Как вариант — встроить само устройство в оправу очков.
Перелистывать слайды презентаций
Три раза моргнули — и у вас перелистнулся слайд. Эффектно, так еще и штуку для переключения слайдов покупать не придется.
Интеграция с ITTT
ITTT, согласно Википедии, "является бесплатным веб-сервисом для создания цепочек простых условных операторов, называемых апплетами". Там можно создавать цепочки а-ля "наступило 8 вечера — опубликуйте фото в фейсбуке". Интеграция есть уже сейчас.
То есть с помощью этой интеграции можно выключить свет в ванной, моргнув три раза. Если у вас умный дом, конечно.
Перелистывать страницы книг
Некоторых отвлекает от сюжета, когда нужно перелистывать страницы. Теперь их можно перелистывать глазами, не используя руки.
Планы развития
Главный план на сегодня — собрать базу емейлов (про это в разделе "как можно помочь") и ответов на соцопрос.
Потом, через некоторое время — краудфаундинг, либо раунд инвестиций. Либо и то, и другое.
Что касается разработки, два главных момента - это повышение точности работы (то есть расширение датасета для обучения нейросети) и создание прототипа девайса. Если с первым я справлюсь в одиночку, то для последнего придется привлекать человека со стороны.
Как можно помочь
Перейти на сайт и поучаствовать в соцопросе
Если вас заинтересовал проект, пожалуйста, введите на сайте проекта свой емейл. В ответ вам придет ссылка на соцопрос в гугл формах.
Пройдите его, пожалуйста, очень поможете мне лучше узнать ЦА проекта.
Собственно, сайт: https://reface.tech
Подписаться на соцсети
Вконтакте: https://vk.com/reface_tech
Telegram: https://t.me/reface_tech
Написать мне
Если у вас есть какие-то предложения, замечания или вопросы, пишите мне в ВКонтакте или Телеграме.
Вконтакте: vk.com/mixeden