Бери и беги, или как я хожу за продуктами в Германии
О том, как будущее приходит незаметно в магазин напротив, а ты этого не замечаешь почти месяц, а оказывается, твои соседи уже берут продукты в магазине и просто уходят.
Если, что внизу статьи видео моего похода.
Обычно, я пишу статьи на чисто технические темы, но сегодня я просто обязан поделиться впечатлением от увиденного.
Еще месяц назад в магазине REWE, у нас в Берлине, промоутили новую функцию и приложение Pick & Go. Я так привык пользоваться кассами самообслуживания, что особо не обратил внимание на рекламу, до определенного момента.
Как-то, я пробежал через турникет с названием Pick & Go вслед за девушкой. Через ~10 секунд ко мне подошел сотрудник магазина и сказал, что мне нужно выйти и зайти снова через обычный турникет, т.к. все продукты которые я возьму в магазине спишутся со счета той девушки за которой я проскочил. Я был слегка в шоке 😀
Окей, подумал я, перезашел и стал вспоминать, что когда-то читал про тестовые запуски магазинов у Amazon, где можно брать товар и уходить.
Но в них в основном были снеки, батончики, газировка — простые товары, а тут, полноценный продуктовый магазин: фрукты, овощи на развес, бакалея.
Сам набирай в пакетик круассан без начинки или с начинкой (цена разная), а по виду одно и то же. Не уже ли это работает? Для меня это казалось, чем-то из будущего.
Как они решили эту техническую проблему? Обвесить магазин камерами не сложно, а вот понимать, кто, что взял и сколько — вот это уже задачка!
Сегодня я решил это протестировать.
Скачал приложение REWE, привязал Apple Pay, в магазине, сотрудник сделал активацию моего аккаунта за 10 секунд — просто показать QR код и все. Еще я спросил, можно ли снимать на телефон в магазине — мне ответили конечно 😊
И так, входишь в турникет Pick & Go через QR код из приложения и берешь любые товары в свою сумку и бежишь 😂 Шутка — можно просто идти.
Овощи и фрукты нужно взвесить на специальных весах, а вот бакалею просто берешь и все! Берешь и все 😱?
В общем набрал не совсем типовую корзину:
- Пару килограмм картофеля,
- 2 печеных круассана,
- 2 обычных круассана,
- 2 запеченные трубочки,
- сок,
- детскую зубную пасту,
- ополаскиватель,
- орехи,
- красную рыбу,
- и еще что-то за 2.69 € 😊
И потом, я просто выхожу из магазина.
Еще я успел сказать Tschüs сотруднику на кассе и на меня даже никто не посмотрел подозрительно, только все улыбались 😊
Сразу захожу в приложение — пусто. Написано, ждите скоро счет придет.
Через 10 минут, приходит чек — ровно те товары которы я взял. Деньги с карты списаны. Что это? Магия?
Не уже ли они решили задачу вот так?
Кстати, эта картинка тоже сгенерирована ИИ.
- Или все таки это комбинация машины и человека?
- Или это только машина?
Кто в теме, раскройте секрет.
Дайте хотя бы примерное описание технической части или алгоритма.
Особенно меня интересует кейс с круасанами с начинкой и без начинки!
- А еще, что если я верну товар на полку и т.д.
- А еще, что если толпа у полки?
У меня недавно выходила статья где Иван Бирюков очень критически и резко высказывался о текущем состоянии ИИ:
ИИ. Какое профанство. Ни о каком ИИ на данной стадии развития человечества говорить не приходится.
Как вы думаете, насколько Иван прав?
Если, кому-то интересна тема развития в IT, я работаю над открытой инициативой создания туториалов по IT навыкам.
Слишком мало полужирного шрифта в тексте, надо больше
Спасибо, учту. Синдром программиста, все выделить, все оформить :-)
Машинное зрение.
Как камеры на Тесле распознают пешехода и дерево, так же камеры в супермаркете распознают товары.
Круассаны зависят от полки, с которой ты её взял.
Точно так же как ты на каптче выбирал все картинки со светофорами, обучая ИИ распознавать светофоры, так же какие-то индусы выбирали все картинки с круассанами, распознавая их.
Теперь ИИ может в точности распознавать, что находится на картинке и куда это движется, это не так уж и сложно.
В таких магазинах ещё обязательно висит предупреждение, что если взял товар и передумал брать - положи туда же, откуда взял. Это не спроста. Ибо это важно для ИИ, с какой полки был взят товар, для распознавания
Я думал, на самом деле, там где система автоматически что-то не смогла определить или не уверена, она просто ставит задачу оператору в очередь, который по-сути решая задачу дообучает модель. В этом и обусловлена задержка минут 10 перед получением чека.
Но все равно, это круто!
Возможно, она не не уверена, а просто нужен апрув до сотрудника, который бегло просматривает фото и подтверждает, что система все товары определила верно
Очень много подходов есть как такое делать.
Вот в этом видео я делаю обзор и сравнение примерно пяти основных
https://youtu.be/xTzvpqlKXvU
Подходы различаются в целом по железу которое ставиться, числу ошибок, и.т.д.
А вот несколько видео/статьей про то что в Москве было (по крайней мере год назад):
https://youtu.be/JZP9z1jc54s
https://youtu.be/gwaZJhyzymU
Интересно. Спасибо.