«Стоматолог» для экскаватора, или как мы разрабатывали систему контроля целостности зубьев ковша

В России около 75% всего угля добывается открытым способом — на карьерах и в разрезах. Из карьера уголь транспортируется на дробилки, где он разбивается на относительно равные куски, а также сортируется по размерам. Одна установка обычно перерабатывает породу от множества карьерных экскаваторов. Поэтому выход из строя дробилки может парализовать работу производственного звена и остановить отгрузку продукции конечным потребителям. Одна из частых причин выхода из строя дробильных установок – отломившийся зуб ковша экскаватора. Для контроля подобных инцидентов нашей компанией Норд Клан совместно с партнером АО "Союзтехноком" для холдинга УЗТМ-КАРТЭКС была разработана "под ключ" система контроля целостности зубьев ковша экскаватора.

Как и любой крупный проект начинается с командировки на объект, где должна быть установлена система. Важно на месте оценить все факторы, которые могут влиять на работу готового решения. Совместно с представителями заказчика специалисты Норд Клана посетили Кедровский угольный разрез. Он расположен в 25 км севернее Кемерово. Масштабы производства и открывающиеся виды поражают своим размахом.

На производственной площадке нас ждало не менее впечатляющее зрелище – экскаватор ЭКГ-35 высотой с 6 этажный дом! Обычный автомобиль на его фоне кажется «букашкой». Этот трудяга работает практически безостановочно, изредка вставая на техническое обслуживание раз в несколько месяцев. Поэтому у нас было мало времени, чтобы его осмотреть и наметить план работ по проекту.

Рис. 2. Осматриваем экскаватор ЭКГ-35 высотой с 6 этажный дом.

Совместно с представителями Заказчика мы провели осмотр этого гиганта и условия его работы по добыче угля.

После этого определились с задачами, которые должна решить система видеоконтроля.

Во-первых, необходимо обеспечить автономность ее работы и исключить «человеческий» фактор.

Во-вторых, необходимо предусмотреть механизмы защиты от ложных срабатываний при временном или частичном перекрытии зубьев породой, налипания глины.

В-третьих, система должна уметь прогнозировать износ зубьев и информировать машиниста о критическом износе.

Для решения подобных задач не обойтись без использования искусственного интеллекта, поэтому за неделю необходимо было собрать как можно больше видеоматериалов для его обучения.

В техническом задании было указано, что стрела экскаватора при добыче породы может сильно вибрировать. На тот момент мы до конца не осознавали, насколько было это замечание критично. ☹ ☹ ☹

Поставку камер в офис Nord Clan с виброзащитой на тот момент мы рассчитывали получить только через 2 месяца. Но нам требовалось не так много фактического времени съемок.Поэтому мы надеялись, что на пару дней для сбора первичных видеоматериалов хватит и обычной HD камеры видеонаблюдения.

Представьте, каково было наше удивление в момент, когда экскаватор начал копать. ヽ(°° )ノ Потребовалось всего около 30 секунд, чтобы камера развалилась!

Пришлось выкручиваться – устанавливать новую камеру и просто снимать, как экскаватор имитирует процесс копания. Если смотреть со стороны – выглядит забавно. Но зато, прочувствовав на себе суровые условия работы и всю мощь техники, мы смогли впоследствии подобрать нужный вариант камеры и вовремя скорректировать заказ на их поставку.

Итак, за неделю специалисты Норд Клана успели отснять холостую работу экскаватора, а также собрать видеоматериалы разных моделей ковшей и зубьев.

По окончании командировки мы незамедлительно приступили к разработке прототипа. Ведь по плану нужно было уложиться в срок за 2 месяца, как раз до момента следующего планового техобслуживания ЭКГ-35 и соответственно его простоя.

Самым важным этапом разработки было определиться с основой – выбрать нейронную сеть. Для проверки мы взяли несколько их видов и провели обучение. При тестировании мы, прежде всего, исходили из следующей гипотезы: если система не сможет изначально уверенно распознавать целые зубья, то она не сможет определять отломанные или износившиеся зубья.

Нейронная сеть Yolo v5 показала лучший результат, и мы взяли ее за основу. Она корректно определяла зубья во всех случаях, что позволило нам с уверенностью говорить о потенциальной успешности проекта.

Определившись с базой, мы постепенно начали доучивать модель видеть и другие детали – износился ли зуб, или он вообще отломан? Логику работы решения лучше всего описать через процесс калибровки. Эта настройка заложена в системе, является стартовой и позволяет адаптировать работу ПО под любые марки экскаваторов, а также под разные модели ковшей.

Чтобы откалибровать ковш необходимо при пуско-наладочных работах выполнить несложные манипуляции - экскаватор должен в течение 1 минуты отрабатывать в холостую, эмитируя процесс копания. Этого времени более чем достаточно, чтобы нейронная сеть смогла определить контуры зубьев, их количество и начать производить их подсчет в автоматическом режиме.

По-сути процесс определения отломан ли зуб у ковша сводится к задаче подсчета их количества и сравнению с первоначальным числом, определенным в процессе калибровки. При этом мы добились того, чтобы нейронная сеть правильно определяла контуры зубьев даже в тех случаях, когда порода налипает на сам зуб, или застревает между ними.

Единственный случай, когда нейронная сеть точно не сработает – если все пространство без просветов между зубьями забьет глина. Это можно сравнить с постройкой дома. Вначале вяжут арматуру, а затем все заливают бетоном. Получается прочный каркас. Нейронная сеть на основе видео с камер машинного зрения сможет определить, дефекты бетона, но саму арматуру увидеть, к сожалению не сможет.

Отдельно отметим, что разработанное решение мы с пристрастием тестировали в разных условиях работы. Во всех приведенных случаях система работала корректно. Список условий для испытаний достаточно внушительный:

- при разной степени освещенности: в ночное время (контуры ковша плохо видны), при ярком свете солнца (зубья блестят как золото);

- при разной погоде: в метель, при сильных порывах ветра (в воздух в этот момент поднимается много пыли);

- при копке разных слоев пласта и в случае перекрытия породой части зубьев. Минимальное достаточное условие, чтобы система смогла определить зубья - если остается хотя бы один небольшой, но видимый просвет между двумя зубьями.

В производственной практике сложился опыт, который позволяет оценить степень износа по тому, насколько зуб сточился во время работы по своей длине:

10-20% - умеренный износ;

*20-40% - критический износ.

* При критическом износе фактически считается, что экскаватор работать не может, так как в любой момент зуб может отломиться.

Как мы уже говорили ранее, в процессе калибровки нейронная сеть определяет контуры зубьев и начинает считать их количество. Но это еще не все. Помимо этого система фиксирует у себя «в памяти» эталонную длину зубьев в разных положениях. Далее нейронная сеть сопоставляет разницу в их размерах в процессе работы экскаватора.

Выглядит легко и логично, но на практике реализация вызвала ряд затруднений. Отличие длины нового зуба от изношенного на видео картинке, получаемой с камеры, могло достигать всего 10-15 пикселей. Нужно было придумать механизм, как убрать ложные срабатывания в случае нечеткости кадра или естественных помех.

Для решения задачи мы разработали систему, когда оценка износа происходит не по одному замеру и одному кадру из видео, а берется последовательность кадров с небольшими смещениями относительно друг друга. Так накапливается статистическое и усредненное значение размеров зубьев.

Вот так все работает. От "лирики" постепенно переходим к железу.

Пришло время поговорить об аппаратной части. При подборе оборудования для установки на экскаватор, учитывая наш предыдущий горький опыт с первый камерой, мы со всей серьезностью начали изучать предложения производителей.

После долгих и продолжительных поисков, мы остановились на варианте со следующими характеристиками:

Кроме этого было подобрано специальное место установки, где наименьший шанс, что камера вступит в резонанс с колебаниями от стрелы. После установки мы каждый день молились, чтобы она не отлетела. И наши просьбы были услышаны. По итогам 7 месяцев работы на креплении пока нет даже намеков на поломку.

Сервер мы расположили непосредственно в кабине машиниста. Так как питание изначально предполагалось подавать от трансформатора экскаватора (2500 кВА), то предусмотрительно оснастили оборудование системой защитой от перенапряжения и скачков. Над шкафом разместился монитор, на котором машинист сможет видеть работу программы и получать информация о состоянии зубьев.

Отдельно стоит упомянуть про нашего героя во время тестирования, отладки и доработки системы, выполнявшего функцию связующего звена между разработчиками и работающим прототипом – 3G модем. Он работал круглосуточно, в отличие от людей.

Для понимания – чтобы скачать кусок видео весом 1-2 Гб требовалось ждать порой несколько суток. Скорость передачи данных ограничивалась не только возможностями сотовой вышки на месте, но и естественными преградами на пути следования сигнала. Если экскаватор работал на дне разреза, то боковые своды пройденного пласта могли достигать высоты 20-40 метров, а сама глубина карьера «на глазок» достигала более 100 метров. Из-за этого периодически в разных местах напрочь блокируется работа сотовой связи из отсутствия сигнала. Сейчас думаем, что голубиная почта в эти моменты работала бы намного быстрее. Возможно, внедрим такую функцию в будущем.

Как итог нашим стараниям – специалисты Nord Clan уложились за 2 месяца разработать работающий прототип, подобрать оборудование и установить его на экскаватор. В январе 2022 года во время планового технического обслуживания на ЭКГ-35 мы произвели его монтаж.

Ребята из АО "Союзтехноком" сильно нам помогли при проведении испытаний. Их стараниями на разрезе были протестированы все возможные варианты работы системы уже в боевых условиях. От работы экскаватора при свете луны, до прохода глинястого слоя. Один из подобных тестов представлен на рисунке ниже. Кому-то в голову пришел интересный вариант тестирования - накрыть часть зубьев пленкой и проверить сможет ли система определить, что зубья не отломаны, а "залеплены" породой. Тест выполнен на 5-ку!

При этом во время работы на мониторе выводится изображение с камеры, под которым наглядно показана схема состояния зубьев.

От 100% и до 80% - умеренный, допустимый износ.

от 79% до 60% - значительный износ.

ниже 60% - критический износ, пора обращаться к стоматологу!

Если система определяет, что одного и более зубьев нет, а эта ситуация повторяется на протяжении 30 секунд подряд (защита от ложного срабатывания), фиксируется событие поломки зуба. Машинист получает звуковой и визуальный сигналы.

По истечении полугода работы системы в боевых условиях можно с уверенностью сказать, что поставленные по проекту задачи успешно выполнены. За это время у Заказчика не возникло особых нареканий к работе системы, а доработки касались в основном вопросов удобства пользования программой самими машинистами. Так за это время была доработана точность калибровки, а также сам процесс. Теперь система сама способна выполнить калибровку во время работы при запуске системы за 15 секунд, при этом необходимость имитации работы экскаватора для настройки отпала.

В дальнейшем планируется постепенное внедрение разработанной системы контроля на все экскаваторы разреза. Для этого в программе предусмотрена возможность установки решения на разные модели техники. На данный момент уже успешно протестирована работа система на экскаваторах ЭКГ-20, ЭКГ-35, Komatsu WA900, Komatsu PC4000, Liebher PR9200 и Liebher PR9400. В дальнейшем этот список будет только расширяться.