Посмотрел на первоисточники и ничего не понял:

1. The Verge пишет «neuralMatch which was trained using 200,000 images», то есть натренированная нейросеть ищет плохое. А нейросети до сих пор принимают котов за собак, то есть будет куча ложноположительных результатов, и тогда ваши нюдсы отправятся сотрудникам Apple, если алгоритмы примут их за детское порно.

https://www.theverge.com/2021/8/5/22611305/apple-scan-photos-iphones-icloud-child-abuse-imagery-neuralmatch

2. Но Apple пишет на сайте не про нейросети, а только про сличение хэшей фотографий с базой данных запрещённых изображений. Тогда законопослушным гражданам вроде нечего бояться, «плохих» применений у такой технологии куда меньше, и сличать по хэшу — это довольно конфиденциально. Но тогда система не найдёт людей, снимающих дома детское порно на айфон — только людей, которые сохранили из интернета на айфон уже известную картинку. А кто вообще сейчас сохраняет порно локально?

https://www.apple.com/child-safety/

И что там на самом деле (журналисты допридумали или Apple недоговаривает) — непонятно.