Оценить точность кластеризации по всему корпусу предложений невозможно. Для этого нужен размеченный образцовый корпус, а мы использовали эти алгоритмы, чтобы получить его хотя бы в минимальном приближении.

У каждого из алгоритмов разные проблемы. Кластеризатор по изображениям может по ошибке внести в кластеризованную модель предложение от другой модели, потому что фотографии были очень похожи. Текстовый кластеризатор может изредка расщеплять одну модель на две потому, что у него нет информации о семантической близости названий товаров.

Использование доступных текстовых наборов не дает нам этой информации в полной мере и значительно усложняет модель и время её работы. Поэтому мы оцениваем качество вручную и выборочно просматриваем несколько десятков моделей. Если качество удовлетворяет нашим требованиям, то оставляем модель. Если нет — меняем кластеризатор или снимаем категорию с обработки.

Алгоритмы работают отдельно по каждой категории, поэтому качество кластеризации для категорий различается. Позже мы оцениваем успешность кластеризации по показателям отказов и конверсии с разделенных на группы карточек моделей.

Если же оценивать среднюю точность алгоритмов по всем категориям, то у кластеризатора по изображениям она достигает 75-85%, а для текстового — выше 90%, а расщепление моделей наблюдается в одном из 30-50 кластеров.