ИИ на экологической службе
Как мы разработали инновационную платформу MarQus на базе искусственного интеллекта для сортировки мусора.
Результат: до 96% — средняя точность распознавания ТБО и до 94% точность по захвату объектов манипулятором с конвейерной ленты.
Клиент
ООО «ВторПлюс» (Россия, Ульяновск) — компания, специализирующаяся на раздельном сборе и сортировке мусора.
Проблемы и задачи
Сейчас большое внимание уделяется проблеме переработки мусора и максимизации использования вторичного сырья. В связи с этим остро стоит вопрос о повышении эффективности работы предприятий по сортировке твердых бытовых отходов (ТБО).
В России используются два основных подхода:
- многостадийные линии сортировки ТБО;
- конвейерные линии для ручной сортировки.
Первый подход требует больших инвестиций и площадей. Такое решение экономически выгодно только для мегаполисов. Еще один стоп-фактор данного подхода — использование иностранного оборудования.
Главным минусом второго подхода является низкая эффективность и ограничения в масштабировании производства. По оценкам специалистов, скорость сортировки с ограниченной для человека точностью достигает 27,8 единиц / мин. при скорости конвейера V = 0,39 м/c. С учетом человеческого фактора реальные значения могут быть меньше в два раза.
Таким образом, идеальное решение должно увеличивать точность и объемы сортировки, требовать меньше инвестиций и площадей, а также базироваться на российских компонентах и разработках.
Решение
ИИ-платформа MarQus (sMARt QUalifier and Sorter) предназначена для детекции, распознавания и классификации твердых бытовых отходов по видеопотоку.
В основе нашего решения лежит технология распознавания материалов (Material recognition) на базе мультиспектральных данных объектов, позволяющая увеличить точность сортировки и определять наличие органики. Используя мультиспектральные камеры и робота-манипулятора, MarQus распознает и сортирует 11 видов отходов: стекло, металл, бумагу, различные виды пластика и др. «Думает» программно-аппаратный комплекс с помощью нескольких нейросетей, которые мы обучали на собственной базе данных, собранной по разным видам мусора.
Как возникла идея разработки MarQus?
Так как ZeBrains уже давно сотрудничает с компанией «ВторПлюс», мы погрузились в проблематику мусороперерабатывающей промышленности. В 2022… году разработали для «ВторПлюса» мобильное приложение для оптимизации доставки ТБО из квартир и офисов. Благодаря этому проекту в Ульяновске активно внедряется культура сортировки ТБО — сейчас через приложение сдают вторсырье более 70 тысяч домохозяйств.
Позже возникла идея, что и сам процесс сортировки ТБО на предприятии можно автоматизировать и сделать более эффективным. Заменить ручной труд на роботов, повысить скорость и объемы сортировки. А после изучения деталей национального проекта «Экология», состояния и перспектив сектора сортировки ТБО мы поняли, что в таком продукте есть реальная потребность.
Как мы искали технологическое решение?
Наши инженеры изучили более … существующих программно-аппаратных комплексов, которые решают схожие задачи, но имеют ограничения. Такие как — специализация на определенном типе мусора или необходимость многостадийной сортировки.
Например, в Германии и Голландии применяется система, которая умеет определять только пластик. Либо это бинарные классификации, которые могут анализировать в конкретный отрезок времени, только один вид ТБО. Добавление каждой дополнительной фракции для распознавания требует дорогостоящей донастройки ПО и оборудования.
Большинство из программно-аппаратных комплексов используют компьютерное зрение и технологию Object recognition, то есть распознают виды мусора по цвету и форме.
Например, когда мусор движется плотным слоем по конвейеру, а форма очень вариативна (смятые банки, разорванная бумага и т.п.), точность распознавания может быть низкой.
Технология Material recognition позволяет наиболее точно (от 96%!) распознавать различные типы и подтипы мусора, но требует дорогостоящего оборудования для мультиспектрального анализа и значительных вложений в создание датасета, которого на момент поиска решений не было ни в России, ни за рубежом.
Гипотезы и выбор решения
После проработки нескольких гипотез наши инженеры остановились на решении разработки собственного программно-аппаратного модуля на основе компьютерного зрения и технологии Material recognition, устраняющего ограничения по стоимости оборудования и подготовке датасета.
ТБО проходит через объективы двух камер на конвейере.
Используется 2 вида камер: NIR-камера и вторая в обычном диапазоне, чтобы точнее определять глубину сцены и координаты объектов. Дополнение — мультиспектральная камера для передачи информации для подсистемы классификации ТБО.
Размещение датчиков освещенности и температуры используется для корректировки видеосигнала с камер для более точной работы подсистем распознавания.
Данные с датчиков освещенности, температуры и скорости конвейера корректируют видеосигнал и управляют манипуляторами.
Сервер — компьютер с GPU обрабатывает данные и распределяет команды между контроллерами, которые преобразуют их в управляющие сигналы для манипуляторов, прокладывающих распознанные объекты в соответствующие контейнеры.
Обучение нейросетей и подготовка датасета
MarQus определяет различные типы и подтипы мусора, включая разные виды пластика, бумаги и текстиля, а также отделяет цветной металл от черного.
Для обнаружения и классификации объектов используются две архитектуры сверточных нейронных сетей. Одна из которых обрабатывает поступившее изображение целиком и обеспечивает высокую точность прогнозов. А другая обрабатывает регионы на изображении и гарантирует быструю скорость работы.
Обучение проводится на собственном датасете, созданном в лаборатории ZeBrains с использованием образцов ТБО от партнеров из краснодарского экопроекта «Собиратора». Разработка позволила нам с минимальными затратами быстро проводить мультиспектральную съемку образцов. На данный момент в датасете более 223 209 размеченных изображений образцов ТБО в разных спектрах.
Техническое обеспечение и аппаратные решения
Инженеры ZeBrains обошли основное ограничение ПО на базе Material recognition — потребность в дорогостоящем оборудовании для мультиспектральной съемки. Наш проект не требует дорогих компонентов и применяет детали, доступные и производимые в России.
Мы также обеспечиваем гибкость внедрения, не привязываясь к конкретным моделям манипуляторов и позволяя подключать оборудование разных производителей с минимальными затратами. Это позволяет легко настраивать сортировочные линии в зависимости от типов ТБО и оборудования, что важно для компаний с различными аппаратными возможностями и специализацией на определенных фракциях ТБО.
Итоги проекта
Увеличение объема сортировки ТБО без значительного увеличения затрат на персонал: MARQUS позволяет организовать работу в несколько смен без увеличения штата сотрудников.
Обеспечили точность до 94% по захвату объектов манипулятором с конвейерной ленты.
Наше решение работает с 4 группами (пластик, металл, картон и бумага, стекло) и 11 типами ТБО (PET, HDPE, LDPE, PS , PP, немагнитные металлы, черные металлы, алюминий, фольга, картон и бумага, стекло), сохраняя среднюю точность распознавания 96%.
На 25% снизили стоимость внедрения и владения продуктом по сравнению с иностранными аналогами.
На 30% повысили количество извлекаемых фракций из ТБО в сравнении с другими способами автоматизации за счет работы с несколькими фракциями ТБО.
В 2024 году MarQus участвовал в питч-сесии на бизнес-форуме международной выставки Smart Cities India Expo в Нью-Дели. По оценке компаний с направлением Waste Management, MarQus — «умная» и компактная линия по сортировке ТБО может идеально вписаться в экосистему городского района. Проект занял первое место в конкурсе Workspace Digital Awards в номинации Цифровизация и трансформация / Нейросети на службе бизнеса