Умная мусорка — классификация мусора на фракции
Привет! Я Ярослав, технический директор R77 AI. Рассказываю, как мы делали умную мусорку с классификацией мусора на фракции)
Цель
- Разработать устройство, способное автоматически сортировать отходы
- Разработать устройство, которое способствует улучшению процесса переработки
- Разработать устройство, позволяющее людям зарабатывать деньги
Описание
На данный момент в России люди уделяют недостаточно внимания ручной сортировке мусора. Более того, их "зеленые" знания довольно скромные → например, мы не знаем, какие виды пластика подлежат переработке и так далее.
Мы предлагаем умную многоуровневую систему (умная урна → терминал → хаб), которая способна сортировать бытовые отходы на несколько перерабатываемых групп.
Умная урна — это цифровая мусорная корзина, которая может определять, классифицировать и помещать в определенный отсек выброшенную пластиковую бутылку и другие отходы. На данный момент мы сосредоточены на пластике, металле, стекле, тетрапаке, бумаге. Умная урна также оснащена камерами для компьютерного зрения, ультразвуковыми датчиками для измерения загрузки всех отсеков и двумя компакторами для уплотнения отходов и экономии пространства внутри.
Устройство также позволяет владельцу сдавать предварительно отсортированные отходы и зарабатывать деньги.
Основные требования и результаты
- Физическое устройство для сбора отходов
- Точная модель машинного обучения, интегрированная в устройство
- Программное обеспечение, способное собирать данные с устройства
Факторы успеха
- Точность модели должна быть достаточно высокой (90%+)
- Производительность модели с точки зрения скорости/задержки должна быть высокой (< 1 сек)
- Модель должна быть интегрирована в общую программную систему
Риски
- Большое разнообразие мусора может снизить точность во время тестирования в реальном времени
- Ограниченное пространство может повлиять на качество фотографий
Этапы и график
Больше 6 месяцев проект (больше половины, не AI)
Предположения и ограничения
Здесь перечислены все известные и неизвестные переменные.
Известно
- Органические отходы не поддерживаются
- Мы предполагаем, что отходы чистые
Решение
Схема сортировки
В рамках проекта было выполнено следующее
- Исследование и подготовка:
— Проведено детальное исследование существующих методов сортировки отходов для выявления их недостатков.— Проанализированы возможности использования нейросетевых технологий для автоматической классификации мусора.
- Аппаратное обеспечение:
— Разработан модуль регистрации, включающий подсветку и камеры, которые снимают мусор в различных спектрах (видимый, ИК, УФ).— Создана система для прессования отходов, что позволяет экономить пространство внутри устройства.
- Программное обеспечение:
— Написаны алгоритмы для обработки изображений, включая кадрирование, фильтрацию, объединение и нормализацию.— Обучена нейросетевая модель для распознавания и классификации различных типов мусора с использованием машинного зрения.
- Подготовка данных:
— Сформирован и размечен большой набор данных, включающий около 1,000 различных объектов и 6,000 изображений мусора, классифицированных по шести категориям (пластик, металл, бумага, стекло, тетрапак, прочий мусор).— Использованы методы увеличения объема данных (data augmentation) для улучшения качества обучения модели.
- Обучение и тестирование:
— Выбрана архитектура нейросети EfficientNet и настроены параметры модели, включая функции активации и методы оценки ошибок.— Обучение модели выполнено на платформе PyTorch.— Проведено тестирование модели для оценки её точности и скорости работы.
- Интеграция и разработка системы:
— Модель машинного зрения интегрирована в общий программный конвейер устройства.— Аппаратные и программные компоненты объединены в единое функционирующее устройство.
- Испытания и улучшения:
— Проведены полевые испытания устройства в различных условиях, чтобы оценить его производительность в реальных сценариях.— Внесены корректировки и улучшения на основании результатов тестирования для оптимизации работы системы.
Мусорка
Первый вариант
Терминатор 2
Результат проекта
В рамках проекта WORM-E Smart Bin были выполнены следующие задачи
- Разработка аппаратной части:
— Создан узел регистрации, включающий систему подсветки и камеры для съемки мусора в различных спектрах (видимый, ИК, УФ).— Разработана система компакторов для компрессии мусора, что позволяет экономить место внутри устройства.
- Создание программного обеспечения:
— Разработаны алгоритмы цифровой предобработки изображений, включая обрезку, отбор кадров, склейку и нормализацию изображений.— Создана нейросетевая модель компьютерного зрения для распознавания и классификации мусора.
- Подготовка данных для обучения:
— Собран и размечен набор данных, включающий ~1,000 объектов и ~6,000 изображений мусора, распределенных по 6 категориям (пластик, металл, бумага, стекло, тетрапак, остальной мусор).— Применены методы искусственного расширения выборки данных (data augmentation) для улучшения качества обучения модели.
- Обучение и тестирование модели:
— Выбрана архитектура нейросети EfficientNet и определены параметры модели, включая функции активации и функционал ошибки.— Модель обучена с использованием фреймворка PyTorch.— Проведено тестирование модели на точность и скорость работы.
- Интеграция системы:
— Модель компьютерного зрения интегрирована в общий программный конвейер.— Объединены аппаратные и программные компоненты в единое функционирующее устройство.
- Проведение испытаний:
— Проведены полевые испытания устройства в различных условиях, чтобы оценить его производительность в реальных сценариях.— Внесены корректировки и улучшения на основании результатов тестирования для оптимизации работы системы.
Результаты испытаний проекта WORM-E Smart Bin
Эти результаты демонстрируют улучшение показателей точности, полноты и F1-оценки для большинства категорий мусора после оптимизации модели.
Релевантность
- Экологическая устойчивость:
Сортировка и переработка отходов играют критическую роль в снижении негативного воздействия на окружающую среду. Автоматическая система сортировки мусора помогает эффективно перерабатывать отходы, уменьшая объемы полигонов и снижая загрязнение.
- Улучшение качества переработки:
Высокая точность и скорость распознавания и классификации мусора, достигаемые с помощью нейросетевого машинного зрения, значительно повышают качество переработки. Это приводит к более чистым и пригодным для переработки материалам.
- Снижение нагрузки на людей:
Автоматизация процесса сортировки мусора снижает необходимость ручного труда, что особенно актуально в условиях больших объемов отходов. Это также минимизирует контакт людей с потенциально опасными материалами.
- Экономическая выгода:
Возможность для людей зарабатывать деньги, сдавая отсортированный мусор, стимулирует общество к более ответственному отношению к отходам. Это также может способствовать созданию новых рабочих мест в сфере переработки и управления отходами.
- Социальная ответственность:
Повышение уровня осведомленности населения о важности сортировки и переработки отходов способствует формированию экологически ответственного поведения. Проект WORM-E Smart Bin вносит вклад в образовательные и социальные инициативы по улучшению экологической культуры.
- Технологическое развитие:
Использование передовых технологий, таких как нейросетевое машинное зрение и автоматизация, демонстрирует возможности современных инноваций в решении экологических проблем. Проект способствует развитию и внедрению высокотехнологичных решений в области экологии.
Преимущества продукта
- Высокая точность и эффективность сортировки:
Использование нейросетевых моделей компьютерного зрения обеспечивает высокую точность распознавания и классификации различных типов мусора. Это позволяет значительно улучшить качество сортировки и переработки отходов.
- Автоматизация процесса:
Полная автоматизация процесса сортировки мусора снижает необходимость ручного труда, что экономит время и усилия пользователей, а также минимизирует контакт с потенциально опасными отходами.
- Экономия пространства:
Система оснащена компакторами, которые сжимают мусор, что позволяет значительно экономить пространство внутри контейнера и уменьшить частоту его опустошения.
- Стимулирование переработки:
Возможность зарабатывать деньги, сдавая отсортированный мусор, стимулирует людей к участию в программе переработки, повышая общий уровень вовлеченности и ответственности за окружающую среду.
- Образовательный эффект:
Проект повышает осведомленность населения о важности сортировки и переработки отходов, способствует формированию экологически ответственного поведения и улучшению экологической культуры.
- Универсальность и адаптивность:
Система способна распознавать и сортировать различные типы отходов, включая пластик, металл, бумагу, стекло, тетрапак и другие. Это делает ее универсальной и подходящей для различных условий и мест.
- Снижение экологического следа:
Эффективная сортировка и переработка отходов помогают снизить объемы мусора, отправляемого на полигоны, уменьшая загрязнение окружающей среды и способствуя устойчивому развитию.
- Технологическое превосходство:
Проект демонстрирует возможности применения современных технологий, таких как нейросетевое машинное зрение и автоматизация, в решении экологических проблем. Это способствует развитию и внедрению высокотехнологичных решений в сфере экологии.
- Экономическая выгода:
Эффективное управление отходами и переработка могут привести к снижению затрат на утилизацию и создать новые экономические возможности, такие как продажа переработанных материалов и создание новых рабочих мест.
Алгоритмы
- обычный classification pipe (нет)
- Гипотезы: zero-shot vs. supervised
1-3 камеры
Разные виды подсветки и длины волн
Разный фон
Длительность проекта
Общая длительность проекта — 3 месяца
Команда
- 1 Data Science Lead
- 2 Data Scientists (CV Engineers)
- 1 backend developer
- Команда разметки
Стоимость реализации проекта
Общая стоимость проекта составила ~35k USD
Я создал канал, где описываю, как мы делаем такие проекты — @r77_ai приходите, там много промышленного и не только)