Systém CSAM od Apple bol oklamaný, no spoločnosť má dve poistky

Aktualizácia: Apple spomenul druhú inšpekciu servera a profesionálna spoločnosť zaoberajúca sa počítačovým videním načrtla možnosť, čo by sa dalo opísať v časti „Ako môže fungovať druhá inšpekcia“ nižšie.
Po tom, čo vývojári spätne spracovali jeho časti, bola skorá verzia systému Apple CSAM účinne oklamaná, aby označila nevinný obrázok.Apple však uviedol, že má ďalšie záruky, aby sa tak nestalo v reálnom živote.
Najnovší vývoj nastal po zverejnení algoritmu NeuralHash na webe GitHub pre vývojárov s otvoreným zdrojom, experimentovať s ním môže každý…
Všetky systémy CSAM fungujú tak, že importujú databázu známych materiálov o sexuálnom zneužívaní detí od organizácií, ako je Národné centrum pre nezvestné a zneužívané deti (NCMEC).Databáza je poskytovaná vo forme hashov alebo digitálnych odtlačkov prstov z obrázkov.
Hoci väčšina technologických gigantov skenuje fotografie nahrané v cloude, Apple používa algoritmus NeuralHash na iPhone zákazníka na vygenerovanie hodnoty hash uloženej fotografie a potom ju porovná so stiahnutou kópiou hodnoty hash CSAM.
Včera vývojár tvrdil, že reverzne skonštruoval algoritmus spoločnosti Apple a vydal kód na GitHub - toto tvrdenie spoločnosť Apple skutočne potvrdila.
Počas niekoľkých hodín po vydaní GitHib výskumníci úspešne použili algoritmus na vytvorenie zámerného falošne pozitívneho výsledku - dvoch úplne odlišných obrázkov, ktoré generovali rovnakú hodnotu hash.Toto sa nazýva kolízia.
Pri takýchto systémoch vždy hrozia kolízie, pretože hash je samozrejme značne zjednodušená reprezentácia obrázku, ale je prekvapujúce, že niekto dokáže obrázok vygenerovať tak rýchlo.
Úmyselná kolízia je tu len dôkazom konceptu.Vývojári nemajú prístup k databáze hash CSAM, čo by vyžadovalo vytváranie falošných poplachov v systéme v reálnom čase, ale dokazuje to, že kolízne útoky sú v zásade relatívne jednoduché.
Apple skutočne potvrdil, že algoritmus je základom jeho vlastného systému, ale základnej doske povedal, že toto nie je konečná verzia.Spoločnosť tiež uviedla, že nikdy nemala v úmysle zachovať ich dôvernosť.
Apple oznámil Motherboard v e-maile, že verzia analyzovaná používateľom na GitHub je všeobecná verzia, nie konečná verzia používaná na detekciu iCloud Photo CSAM.Apple uviedol, že zverejnil aj algoritmus.
„Algoritmus NeuralHash [...] je súčasťou podpísaného kódu operačného systému [a] bezpečnostní výskumníci môžu overiť, či jeho správanie zodpovedá popisu,“ napísal dokument spoločnosti Apple.
Spoločnosť ďalej uviedla, že existujú ďalšie dva kroky: spustenie sekundárneho (tajného) systému zhody na vlastnom serveri a manuálna kontrola.
Apple tiež uviedol, že keď používatelia prekročia hranicu 30 zápasov, výsledky skontroluje druhý neverejný algoritmus bežiaci na serveroch Apple.
„Tento nezávislý hash bol vybraný, aby sa vylúčila možnosť, že chybný NeuralHash sa zhoduje so zašifrovanou databázou CSAM na zariadení v dôsledku nepriaznivého rušenia obrázkov, ktoré nie sú CSAM, a prekračuje prah zhody.“
Brad Dwyer z Roboflow našiel spôsob, ako ľahko rozlíšiť medzi dvoma obrázkami zverejnenými ako dôkaz koncepcie kolízneho útoku.
Som zvedavý, ako tieto obrázky vyzerajú v CLIPe podobného, ​​ale odlišného extraktora nervových funkcií OpenAI.CLIP funguje podobne ako NeuralHash;zoberie obrázok a pomocou neurónovej siete vygeneruje sadu vektorov vlastností, ktoré sa mapujú na obsah obrázka.
Sieť OpenAI je však iná.Je to všeobecný model, ktorý dokáže mapovať medzi obrázkami a textom.To znamená, že pomocou neho môžeme extrahovať ľudsky zrozumiteľné obrazové informácie.
Spustil som dva obrázky kolízie vyššie cez CLIP, aby som zistil, či to nebolo tiež oklamané.Krátka odpoveď je: nie.To znamená, že spoločnosť Apple by mala byť schopná použiť druhú sieť na extrakciu funkcií (napríklad CLIP) na rozpoznané obrázky CSAM, aby sa zistilo, či sú skutočné alebo falošné.Oveľa ťažšie je generovať obrázky, ktoré klamú dve siete súčasne.
Nakoniec, ako už bolo spomenuté, obrázky sa ručne skontrolujú, aby sa potvrdilo, že ide o obsah zobrazujúci sexuálne zneužívanie detí.
Bezpečnostný výskumník povedal, že jediným skutočným rizikom je, že ktokoľvek, kto chce naštvať Apple, môže poskytnúť falošné pozitíva ľudským recenzentom.
„Apple tento systém v skutočnosti navrhol, takže hašovaciu funkciu netreba držať v tajnosti, pretože jediná vec, ktorú môžete urobiť s 'nenapodobňovaním sexuálneho zneužívania detí, je obťažovať tím odpovedí spoločnosti Apple niektorými nevyžiadanými obrázkami, kým nezavedú filtre na odstránenie analýza Tieto odpadky v potrubí sú falošne pozitívne,“ povedal Nicholas Weaver, vedúci výskumník z Inštitútu medzinárodnej počítačovej vedy na Kalifornskej univerzite v Berkeley, pre Motherboard v online rozhovore.
Súkromie je v dnešnom svete čoraz väčším problémom.Dodržujte všetky hlásenia týkajúce sa súkromia, bezpečnosti atď. v našich pokynoch.
Ben Lovejoy je britský technický spisovateľ a editor EÚ pre 9to5Mac.Je známy svojimi stĺpčekmi a článkami v denníkoch, kde v priebehu času skúmal svoje skúsenosti s produktmi Apple, aby získal komplexnejšie recenzie.Píše aj romány, existujú dva technické trilery, niekoľko krátkych sci-fi filmov a rom-com!


Čas odoslania: 20. augusta 2021