Думаю, нужно с осторожностью отнестись к ручному объединению дублей, особенно если речь идет о больших объемах данных. Это очень трудоемкий процесс, и есть риск допустить ошибки. Как по мне, можно было бы использовать и специальные инструменты для автоматизации этого процесса, такие как Data Ladder Datamatch Enterprise или тот же Trifacta Wrangler.