Σήμερα, τα μοντέλα μηχανικής μάθησης στο computer vision χρησιμοποιούνται σε πολλές πραγματικές εφαρμογές, όπως αυτοκινούμενα αυτοκίνητα, αναγνώριση προσώπου, διάγνωση καρκίνου ή ακόμη και σε καταστήματα επόμενης γενιάς, προκειμένου να παρακολουθούν ποια προϊόντα απολαμβάνουν οι πελάτες από το ράφι, Η κάρτα μπορεί να χρεωθεί κατά την αναχώρηση.

Η αυξανόμενη ακρίβεια αυτών των συστημάτων μηχανικής εκμάθησης είναι αρκετά εντυπωσιακή, οπότε φυσικά οδήγησε σε μια πραγματική πλημμύρα εφαρμογών που τα χρησιμοποιούν. Παρόλο που τα μαθηματικά θεμέλια πίσω τους είχαν ήδη μελετηθεί πριν από μερικές δεκαετίες, η σχετικά πρόσφατη εμφάνιση ισχυρών GPU έδωσε στους ερευνητές την απαραίτητη υπολογιστική δύναμη για να πειραματιστούν και να χτίσουν πολύπλοκα συστήματα μηχανικής μάθησης. Σήμερα, τα υπερσύγχρονα μοντέλα για την όραση του υπολογιστή βασίζονται σε βαθιά νευρωνικά δίκτυα με έως και εκατομμύρια εκατομμύρια παραμέτρους και βασίζονται σε υλικό που δεν ήταν διαθέσιμο πριν από μια δεκαετία.

Το 2012, οι Alex Krizhevsky et altri έγιναν οι πρώτοι που έδειξαν πώς να εφαρμόσουν ένα βαθύ συνελικτικό δίκτυο, το οποίο τότε έγινε το υπερσύγχρονο μοντέλο στην ταξινόμηση αντικειμένων. Έκτοτε, έχουν δημοσιευτεί πολλές βελτιώσεις στο αρχικό τους μοντέλο, καθεμία από αυτές δίνει μια αύξηση στην ακρίβεια (VGG, ResNet, Inception κ.λπ.). Αργά, τα μοντέλα μηχανικής μάθησης έχουν καταφέρει να επιτύχουν ανθρώπινη και ακόμη και πάνω από ανθρώπινη ακρίβεια σε πολλές εργασίες όρασης υπολογιστή.

Πριν από λίγα χρόνια, οι λάθος προβλέψεις από ένα μοντέλο μηχανικής εκμάθησης ήταν ο κανόνας. Σήμερα, αυτό έχει γίνει η εξαίρεση και έχουμε αναμείνει να αποδίδουν άψογα, ειδικά όταν αναπτύσσονται σε εφαρμογές πραγματικού κόσμου.

Μέχρι πρόσφατα, τα μοντέλα μηχανικής μάθησης συνήθως εκπαιδεύονταν και δοκιμάστηκαν σε ένα εργαστήριο περιβάλλον, όπως διαγωνισμοί μηχανικής μάθησης και ακαδημαϊκές εργασίες. Σήμερα, καθώς αναπτύσσονται σε σενάρια πραγματικού κόσμου, οι ευπάθειες ασφαλείας που προέρχονται από σφάλματα μοντέλου έχουν γίνει πραγματική ανησυχία.

Η ιδέα αυτού του άρθρου είναι να εξηγήσει και να δείξει πώς τα υπερσύγχρονα βαθιά νευρωνικά δίκτυα που χρησιμοποιούνται στην αναγνώριση εικόνας μπορούν εύκολα να ξεγελαστούν από έναν κακόβουλο ηθοποιό και έτσι να δημιουργηθούν λανθασμένες προβλέψεις. Μόλις εξοικειωθούμε με τις συνήθεις στρατηγικές επίθεσης, θα συζητήσουμε πώς να υπερασπιστούμε τα μοντέλα μας εναντίον τους.

Παραδείγματα Adversarial Machine Learning

Ας ξεκινήσουμε με μια βασική ερώτηση: Ποια είναι τα παραδείγματα της μηχανικής μάθησης;

Αντιθέτως παραδείγματα είναι κακόβουλες είσοδοι που έχουν σχεδιαστεί για να ξεγελάσουν ένα μοντέλο μηχανικής μάθησης.

Σε αυτό το άρθρο, θα περιορίσουμε την προσοχή μας σε μοντέλα μηχανικής μάθησης που εκτελούν ταξινόμηση εικόνας. Ως εκ τούτου, τα παραδείγματα της αντιπαράθεσης πρόκειται να εισάγουν εικόνες δημιουργημένες από έναν εισβολέα που το μοντέλο δεν είναι σε θέση να ταξινομήσει σωστά.

Για παράδειγμα, ας πάρουμε ένα Το GoogLeNet εκπαιδεύτηκε στο ImageNet για να πραγματοποιήσουμε την ταξινόμηση εικόνας ως μοντέλο μηχανικής μάθησης. Παρακάτω έχετε δύο εικόνες panda που δεν διακρίνονται στο μάτι του ανθρώπου. Η εικόνα στα αριστερά είναι μία από τις καθαρές εικόνες στο σύνολο δεδομένων ImageNet, που χρησιμοποιείται για την εκπαίδευση του μοντέλου GoogLeNet. Η δεξιά είναι μια ελαφριά τροποποίηση της πρώτης, που δημιουργήθηκε με την προσθήκη του διανύσματος θορύβου στην κεντρική εικόνα. Η πρώτη εικόνα προβλέπεται από το μοντέλο ως panda, όπως αναμενόταν. Το δεύτερο, αντ 'αυτού, προβλέπεται (με πολύ μεγάλη εμπιστοσύνη) ότι θα είναι gibbon.

Ο θόρυβος που προστέθηκε στην πρώτη εικόνα δεν είναι τυχαίος, αλλά η έξοδος μιας προσεκτικής βελτιστοποίησης από τον εισβολέα.

Ως δεύτερο παράδειγμα, μπορούμε να ρίξουμε μια ματιά στο πώς να συνθέσουμε παραδείγματα αντιπαραθέσεων 3D χρησιμοποιώντας έναν εκτυπωτή 3D. Η παρακάτω εικόνα δείχνει διαφορετικές απόψεις μιας τρισδιάστατης χελώνας που εκτύπωσαν οι συγγραφείς και των εσφαλμένων ταξινομήσεων από το μοντέλο Google Inception v3.

Πώς μπορούν τα υπερσύγχρονα μοντέλα, που έχουν ακρίβεια ταξινόμησης πάνω από τον άνθρωπο, να κάνουν τέτοια φαινομενικά ηλίθια λάθη;

Πριν διερευνήσουμε τις αδυναμίες που έχουν τα μοντέλα νευρωνικών δικτύων, ας θυμηθούμε ότι εμείς οι άνθρωποι έχουμε το δικό μας σύνολο αντιπαραθέσεων. Ρίξτε μια ματιά στην παρακάτω εικόνα. Τι βλέπεις? Μια σπείρα ή μια σειρά ομόκεντρων κύκλων;

είδη κεφαλαίων ακινήτων

Αυτό που αποκαλύπτουν επίσης αυτά τα διαφορετικά παραδείγματα είναι ότι τα μοντέλα μηχανικής μάθησης και το ανθρώπινο όραμα πρέπει να χρησιμοποιούν εντελώς διαφορετικές εσωτερικές αναπαραστάσεις όταν κατανοούν τι υπάρχει σε μια εικόνα.

Στην επόμενη ενότητα, πρόκειται να διερευνήσουμε στρατηγικές για να δημιουργήσουμε παραδείγματα αντιπαραθέσεων.

Πώς να δημιουργήσετε παραδείγματα

Ας ξεκινήσουμε με μια απλή ερώτηση: Τι είναι το αντιπαραβαλλόμενο παράδειγμα;

αρχείο κεφαλίδας c++

Αντιπαραθετικά παραδείγματα δημιουργούνται λαμβάνοντας μια καθαρή εικόνα που ταξινομεί σωστά το μοντέλο και εντοπίζοντας μια μικρή διαταραχή που προκαλεί την εσφαλμένη ταξινόμηση της νέας εικόνας από το μοντέλο ML.

Ας υποθέσουμε ότι ένας εισβολέας έχει πλήρεις πληροφορίες σχετικά με το μοντέλο που θέλει να επιτεθεί. Αυτό ουσιαστικά σημαίνει ότι ο εισβολέας μπορεί να υπολογίσει τη λειτουργία απώλειας του μοντέλου$ J ( theta, X, y) $που$ X $είναι η εικόνα εισαγωγής,$ και $είναι η κλάση εξόδου και$ θήτα $είναι οι εσωτερικές παράμετροι μοντέλου. Αυτή η συνάρτηση απώλειας είναι συνήθως η πιθανότητα αρνητικής απώλειας για μεθόδους ταξινόμησης.

Σε αυτό το σενάριο λευκού κουτιού, υπάρχουν πολλές επιθετικές στρατηγικές, καθεμία από αυτές αντιπροσωπεύει διαφορετικές αντισταθμίσεις μεταξύ του υπολογιστικού κόστους για την παραγωγή τους και του ποσοστού επιτυχίας τους. Όλες αυτές οι μέθοδοι προσπαθούν ουσιαστικά να μεγιστοποιήσουν την αλλαγή στη λειτουργία απώλειας μοντέλου, διατηρώντας παράλληλα μικρή αναταραχή στην εικόνα εισόδου. Όσο υψηλότερη είναι η διάσταση του χώρου εικόνας εισόδου, τόσο ευκολότερο είναι να δημιουργηθούν αντιπαρατιθέμενα παραδείγματα που δεν διακρίνονται από καθαρές εικόνες από το ανθρώπινο μάτι.

Μέθοδος L-BFGS

Βρήκαμε τα αντιφατικά παραδείγματα$ {x} 'επιλύοντας το ακόλουθο πρόβλημα βελτιστοποίησης περιορισμένου πλαισίου:

$$ begin {matrix} text {minimize} c cdot αριστερά | x - {x} ' right | ^ 2_2 + text {loss} _ {f, 1} {x}' \ text {έτσι ώστε} {x} ' epsilon αριστερά [0, 1 δεξιά ] ^ n τέλος {matrix} $$

που$ c> $ 0είναι μια παράμετρος που πρέπει επίσης να λυθεί. Διαισθητικά, αναζητούμε εχθρικές εικόνες$ {x} 'έτσι ώστε το σταθμισμένο άθροισμα της παραμόρφωσης σε σχέση με την καθαρή εικόνα ($ αριστερά | x - {x} ’ δεξιά | $) και η απώλεια σε σχέση με λάθος κατηγορία είναι το ελάχιστο δυνατό.

Για πολύπλοκα μοντέλα όπως τα βαθιά νευρωνικά δίκτυα, το πρόβλημα βελτιστοποίησης δεν έχει λύση κλειστής μορφής και έτσι πρέπει να χρησιμοποιούνται επαναλαμβανόμενες αριθμητικές μέθοδοι. Εξαιτίας αυτού, αυτό Μέθοδος L-BFGS είναι αργό. Ωστόσο, το ποσοστό επιτυχίας του είναι υψηλό.

Γρήγορο σημάδι διαβάθμισης (FGS)

Με την μέθοδος γρήγορου διαβάθμισης (FGS) , κάνουμε μια γραμμική προσέγγιση της συνάρτησης απώλειας γύρω από το αρχικό σημείο, που δίνεται από τον καθαρό φορέα εικόνας$ X $και την αληθινή τάξη$ και $.

Σύμφωνα με αυτήν την υπόθεση, η κλίση της συνάρτησης απώλειας υποδεικνύει την κατεύθυνση στην οποία πρέπει να αλλάξουμε τον φορέα εισόδου για να παράγουμε μια μέγιστη αλλαγή στην απώλεια. Προκειμένου να διατηρήσουμε το μέγεθος της διαταραχής μικρό, εξάγουμε μόνο το σημάδι της διαβάθμισης, όχι τον πραγματικό κανόνα, και το κλιμακούμε με έναν μικρό παράγοντα epsilon.

Με αυτόν τον τρόπο διασφαλίζουμε ότι η διαφορά μεταξύ της αρχικής εικόνας και της τροποποιημένης εικόνας είναι πάντα μικρότερη από το epsilon (αυτή η διαφορά είναι ο κανόνας L_infinity).

$$ X ^ {adv} = X + epsilon text {sign} αριστερά ( bigtriangledown_x J αριστερά (X, y_ {true} δεξιά) δεξιά) $$

Η κλίση μπορεί να υπολογιστεί αποτελεσματικά χρησιμοποιώντας backpropagation. Αυτή η μέθοδος είναι μία από τις πιο γρήγορες και υπολογιστικά φθηνότερες για εφαρμογή. Ωστόσο, το ποσοστό επιτυχίας του είναι χαμηλότερο από τις ακριβότερες μεθόδους όπως το L-BFGS.

Οι συγγραφείς του Adversarial Machine Learning σε κλίμακα είπε ότι έχει ποσοστό επιτυχίας μεταξύ 63% και 69% στην κορυφή-1 πρόβλεψη για το σύνολο δεδομένων ImageNet, με epsilon μεταξύ 2 και 32. Για γραμμικά μοντέλα, όπως η λογιστική παλινδρόμηση, η μέθοδος γρήγορης διαβάθμισης είναι ακριβής. Σε αυτήν την περίπτωση, οι συγγραφείς ενός άλλου ερευνητική εργασία για παραδείγματα αντιπαραθέσεων αναφέρετε ποσοστό επιτυχίας 99%.

Επαναληπτικό γρήγορο σημάδι κλίσης

Ένα προφανές επέκταση της προηγούμενης μεθόδου είναι να το εφαρμόσετε αρκετές φορές με μικρότερο μέγεθος βήματος άλφα και κλιπ το συνολικό μήκος του βήματος για να βεβαιωθείτε ότι η παραμόρφωση μεταξύ των καθαρών και των εχθρικών εικόνων είναι χαμηλότερη από το epsilon.

$$ X ^ {adv} _0 = X, X ^ {adv} _ {N + 1} = Clip_ {X, epsilon} αριστερά {X ^ {adv} _ {N} + alpha text {σύμβολο } αριστερά ( bigtriangledown_X J αριστερά (X ^ {adv} _N, y_ {true} δεξιά) δεξιά) δεξιά } $$

Άλλες τεχνικές, όπως αυτές που προτείνονται στο Το χαρτί του Νικολάου Κάρλίνι είναι βελτιώσεις σε σχέση με το L-BFGS. Είναι επίσης ακριβό για τον υπολογισμό, αλλά έχουν υψηλό ποσοστό επιτυχίας.

Ωστόσο, στις περισσότερες πραγματικές καταστάσεις, ο εισβολέας δεν γνωρίζει τη λειτουργία απώλειας του στοχευμένου μοντέλου. Σε αυτήν την περίπτωση, ο εισβολέας πρέπει να εφαρμόσει μια στρατηγική μαύρου κουτιού.

Επίθεση με μαύρο κουτί

Οι ερευνητές έχουν παρατηρήσει επανειλημμένα ότι τα παραδείγματα της αντιπαράθεσης μεταφέρονται αρκετά καλά μεταξύ των μοντέλων, πράγμα που σημαίνει ότι μπορούν να σχεδιαστούν για ένα μοντέλο στόχου Α, αλλά καταλήγουν να είναι αποτελεσματικά έναντι οποιουδήποτε άλλου μοντέλου εκπαιδευμένου σε παρόμοιο σύνολο δεδομένων.

Αυτή είναι η λεγόμενη ιδιότητα μεταφοράς των παραδειγμάτων, τα οποία οι εισβολείς μπορούν να χρησιμοποιήσουν προς όφελός τους όταν δεν έχουν πρόσβαση σε πλήρεις πληροφορίες σχετικά με το μοντέλο. Ο εισβολέας μπορεί να δημιουργήσει παραδείγματα αντιπαλότητας ακολουθώντας αυτά τα βήματα:

1. Ερώτηση του στοχευμένου μοντέλου με εισόδους$ X_i $Για$ i = 1… n $και αποθηκεύστε τις εξόδους$ y_i $.
2. Με τα δεδομένα εκπαίδευσης$ (X_i, y_i) $, δημιουργήστε ένα άλλο μοντέλο, που ονομάζεται υποκατάστατο μοντέλο.
3. Χρησιμοποιήστε οποιονδήποτε από τους αλγόριθμους λευκού πλαισίου που εμφανίζονται παραπάνω για να δημιουργήσετε παραδείγματα αντιπαράθεσης για το υποκατάστατο μοντέλο. Πολλά από αυτά θα μεταφερθούν επιτυχώς και θα γίνουν αντιφατικά παραδείγματα και για το μοντέλο-στόχο.

Μια επιτυχημένη εφαρμογή αυτής της στρατηγικής έναντι ενός εμπορικού μοντέλου μηχανικής εκμάθησης παρουσιάζεται στο αυτό το έγγραφο Computer Vision Foundation .

Άμυνα εναντίον παραδειγμάτων

Ο εισβολέας δημιουργεί την επίθεση, εκμεταλλευόμενος όλες τις πληροφορίες που έχει σχετικά με το μοντέλο. Προφανώς, όσο λιγότερες πληροφορίες εξάγει το μοντέλο κατά τον χρόνο πρόβλεψης, τόσο δυσκολότερο είναι για έναν επιτιθέμενο να δημιουργήσει μια επιτυχή επίθεση.

Ένα πρώτο εύκολο μέτρο για την προστασία του μοντέλου ταξινόμησης σε περιβάλλον παραγωγής είναι να αποφύγετε την εμφάνιση βαθμολογίας εμπιστοσύνης για κάθε προβλεπόμενη τάξη. Αντ 'αυτού, το μοντέλο πρέπει να παρέχει μόνο την κορυφή$ Ν $(π.χ. 5) πιθανότατα μαθήματα. Όταν παρέχονται βαθμολογίες εμπιστοσύνης στον τελικό χρήστη, ένας κακόβουλος εισβολέας μπορεί να τους χρησιμοποιήσει για να υπολογίσει αριθμητικά την κλίση της λειτουργίας απώλειας. Με αυτόν τον τρόπο, οι εισβολείς μπορούν να δημιουργήσουν επιθέσεις λευκού κουτιού χρησιμοποιώντας, για παράδειγμα, μέθοδο γρήγορης διαβάθμισης. Στην εφημερίδα Computer Vision Foundation που αναφέραμε νωρίτερα, οι συγγραφείς δείχνουν πώς να το κάνουν αυτό έναντι ενός εμπορικού μοντέλου μηχανικής εκμάθησης.

Ας δούμε δύο άμυνες που έχουν προταθεί στη βιβλιογραφία.

Αμυντική απόσταξη

Αυτό μέθοδος προσπαθεί να δημιουργήσει ένα νέο μοντέλο του οποίου οι κλίσεις είναι πολύ μικρότερες από το αρχικό απροσδιόριστο μοντέλο. Εάν οι κλίσεις είναι πολύ μικρές, τεχνικές όπως το FGS ή το Iterative FGS δεν είναι πλέον χρήσιμες, καθώς ο εισβολέας θα χρειαζόταν μεγάλες παραμορφώσεις της εικόνας εισόδου για να επιτύχει μια επαρκή αλλαγή στη λειτουργία απώλειας.

Η αμυντική απόσταξη εισάγει μια νέα παράμετρο$ T $, ονομάζεται θερμοκρασία, στο τελευταίο επίπεδο softmax του δικτύου:

$$ text {softmax} αριστερά (x, T δεξιά) _i = frac {e ^ {x_i / T}} { Sigma_j e ^ {x_j / T}} $$

Σημειώστε ότι, για T = 1, έχουμε τη συνήθη λειτουργία softmax. Όσο υψηλότερη είναι η τιμή του$ T $, όσο μικρότερη είναι η κλίση της απώλειας σε σχέση με τις εικόνες εισόδου.

Η αμυντική απόσταξη προχωρά ως εξής:

1. Εκπαιδεύστε ένα δίκτυο, που ονομάζεται δίκτυο εκπαιδευτικών, με θερμοκρασία$ T »1 $.
2. Χρησιμοποιήστε το εκπαιδευμένο δίκτυο εκπαιδευτικών για να δημιουργήσετε απαλές ετικέτες για κάθε εικόνα στο σετ εκπαίδευσης. Μια απαλή ετικέτα για μια εικόνα είναι το σύνολο των πιθανοτήτων που το μοντέλο εκχωρεί σε κάθε τάξη. Για παράδειγμα, εάν η εικόνα εξόδου είναι ένας παπαγάλος, το μοντέλο του εκπαιδευτικού μπορεί να εξάγει μαλακές ετικέτες όπως (90% παπαγάλος, 10% παπαγείο).
3. Εκπαιδεύστε ένα δεύτερο δίκτυο, το αποσταγμένο δίκτυο , στις απαλές ετικέτες, χρησιμοποιώντας ξανά τη θερμοκρασία$ T $. Η προπόνηση με μαλακές ετικέτες είναι μια τεχνική που μειώνει την υπερβολική τοποθέτηση και βελτιώνει την ακρίβεια του αποσταγμένου δικτύου εκτός δείγματος.
4. Τέλος, κατά τον χρόνο πρόβλεψης, εκτελέστε το αποσταγμένο δίκτυο με θερμοκρασία$ T = 1 $.

Η αμυντική απόσταξη προστατεύει με επιτυχία το δίκτυο από το σύνολο των επιθέσεων που επιχειρήθηκαν Η απόσταξη ως άμυνα στις παρενθετικές διαταραχές ενάντια στα Deep Neural Networks .

Παραδείγματα αρχών Gestalt στην πραγματική ζωή

Δυστυχώς, ένα μεταγενέστερη εργασία από το Πανεπιστήμιο της Καλιφόρνια, ερευνητές του Μπέρκλεϋ παρουσίασε ένα νέο σύνολο μεθόδων επίθεσης που νικά την αμυντική απόσταξη. Αυτές οι επιθέσεις είναι βελτιώσεις σε σχέση με τη μέθοδο L-BFGS που αποδεικνύουν ότι η αμυντική απόσταξη δεν είναι μια γενική λύση εναντίον αντιπαραθέσεων.

Εκπαιδευτική εκπαίδευση

Σήμερα, η εχθρική προπόνηση είναι η πιο αποτελεσματική αμυντική στρατηγική. Αντιπαραθετικά παραδείγματα δημιουργούνται και χρησιμοποιούνται κατά την εκπαίδευση του μοντέλου. Διαισθητικά, αν το μοντέλο βλέπει παραδείγματα αντίπαλων κατά τη διάρκεια της προπόνησης, η απόδοσή του κατά τον χρόνο πρόβλεψης θα είναι καλύτερη για παραδείγματα αντιπαραθέσεων που δημιουργούνται με τον ίδιο τρόπο.

Στην ιδανική περίπτωση, θα θέλαμε να χρησιμοποιήσουμε οποιαδήποτε γνωστή μέθοδο επίθεσης για να δημιουργήσουμε παραδείγματα αντιπαραθέσεων κατά τη διάρκεια της προπόνησης. Ωστόσο, για ένα μεγάλο σύνολο δεδομένων με υψηλή διάσταση (όπως το ImageNet) ισχυρές μέθοδοι επίθεσης όπως το L-BFGS και οι βελτιώσεις που περιγράφονται στο χαρτί Berkeley είναι πολύ υπολογιστικά δαπανηρές. Στην πράξη, μπορούμε μόνο να χρησιμοποιήσουμε μια γρήγορη μέθοδο όπως FGS ή μπορεί να χρησιμοποιηθεί επαναληπτικό FGS.

Το Adversarial training χρησιμοποιεί μια τροποποιημένη συνάρτηση απώλειας που είναι ένα σταθμισμένο άθροισμα της συνηθισμένης λειτουργίας απώλειας σε καθαρά παραδείγματα και μια συνάρτηση απώλειας από αντιπαραθέσεις.

Απώλεια $$ = frac {1} { αριστερά (m - k δεξιά)} αριστερά ( sum_ {i epsilon CLEAN} y_i δεξιά) + lambda sum_ {i epsilon ADV} {L αριστερά (X * {adv} _i | y_i δεξιά)} δεξιά) $$

Κατά τη διάρκεια της προπόνησης, για κάθε παρτίδα$ m $καθαρές εικόνες που δημιουργούμε$ k $εχθρικές εικόνες χρησιμοποιώντας την τρέχουσα κατάσταση του δικτύου. Προωθούμε το δίκτυο τόσο για καθαρά όσο και για αντιπαραθέσεις και υπολογίζουμε την απώλεια με τον παραπάνω τύπο.

Μια βελτίωση σε αυτόν τον αλγόριθμο που παρουσιάζεται σε αυτό εφημερίδα συνεδρίων ονομάζεται ensemble εχθρική εκπαίδευση. Αντί να χρησιμοποιήσετε το τρέχον δίκτυο για τη δημιουργία παραδειγμάτων αντιπαραθέσεων, χρησιμοποιούνται αρκετά προ-εκπαιδευμένα μοντέλα για τη δημιουργία παραδειγμάτων αντιπαραθέσεων. Στο ImageNet, αυτή η μέθοδος αυξάνει την ευρωστία του δικτύου σε επιθέσεις μαύρου κουτιού. Αυτή η άμυνα ήταν ο νικητής του 1ου γύρου στο Διαγωνισμός NIPS 2017 για την άμυνα ενάντια στις αντιπαραθέσεις .

Συμπεράσματα και περαιτέρω βήματα

Από σήμερα, η επίθεση σε ένα μοντέλο μηχανικής μάθησης είναι ευκολότερη από την υπεράσπισή του. Τα υπερσύγχρονα μοντέλα που αναπτύσσονται σε εφαρμογές πραγματικού κόσμου ξεγελάται εύκολα από αντιπαραθέσεις, αν δεν χρησιμοποιηθεί αμυντική στρατηγική, ανοίγοντας την πόρτα σε δυνητικά κρίσιμα θέματα ασφάλειας. Η πιο αξιόπιστη στρατηγική άμυνας είναι η εχθρική προπόνηση, όπου δημιουργούνται παραδείγματα αντίπαλων και προστίθενται στα καθαρά παραδείγματα κατά την προπόνηση.

Εάν θέλετε να αξιολογήσετε την ευρωστία των μοντέλων ταξινόμησης εικόνας σε διαφορετικές επιθέσεις, σας συνιστούμε να χρησιμοποιήσετε τη βιβλιοθήκη Python ανοιχτού κώδικα έξυπνοι . Πολλές μέθοδοι επίθεσης μπορούν να δοκιμαστούν σε σχέση με το μοντέλο σας, συμπεριλαμβανομένων αυτών που αναφέρονται σε αυτό το άρθρο. Μπορείτε επίσης να χρησιμοποιήσετε αυτήν τη βιβλιοθήκη για να εκτελέσετε την εχθρική εκπαίδευση του μοντέλου σας και να αυξήσετε την ανθεκτικότητά της σε παραδείγματα αντιπαραθέσεων.

Η εύρεση νέων επιθέσεων και καλύτερων αμυντικών στρατηγικών είναι ένας ενεργός τομέας έρευνας. Απαιτείται τόσο πιο θεωρητική όσο και εμπειρική εργασία για να καταστούν τα μοντέλα μηχανικής μάθησης πιο ανθεκτικά και ασφαλή σε πραγματικές εφαρμογές.

Ενθαρρύνω τον αναγνώστη να πειραματιστεί με αυτές τις τεχνικές και να δημοσιεύσει νέα ενδιαφέροντα αποτελέσματα. Επιπλέον, τυχόν σχόλια σχετικά με το παρόν άρθρο είναι ευπρόσδεκτα από τον συγγραφέα.

Σχετίζεται με:

• Λογική ήχου και μονοτονικά μοντέλα AI
• Οι πολλές εφαρμογές του Gradient Descent στο TensorFlow

Κατανόηση των βασικών

Τι είναι το αντιπαραβαλλόμενο παράδειγμα;

Ένα εχθρικό παράδειγμα είναι μια είσοδος (π.χ. εικόνα, ήχος) που έχει σχεδιαστεί για να κάνει ένα μοντέλο μηχανικής εκμάθησης να κάνει μια λανθασμένη πρόβλεψη. Δημιουργείται από ένα καθαρό παράδειγμα με την προσθήκη μιας μικρής διαταραχής, απαρατήρητης για τον άνθρωπο, αλλά αρκετά ευαίσθητη ώστε το μοντέλο να αλλάξει την πρόβλεψή του.

Τι είναι μια αντίπαλη επίθεση;

Οποιοδήποτε μοντέλο μηχανικής εκμάθησης που χρησιμοποιείται σε πραγματικό σενάριο υπόκειται σε εχθρικές επιθέσεις. Αυτό περιλαμβάνει μοντέλα όρασης υπολογιστή που χρησιμοποιούνται σε αυτοκίνητα αυτο-οδήγησης, συστήματα αναγνώρισης προσώπου που χρησιμοποιούνται σε αεροδρόμια ή το λογισμικό αναγνώρισης ομιλίας στο βοηθό του κινητού σας τηλεφώνου.

Τι είναι μια αντίπαλη επίθεση;

Μια εχθρική επίθεση είναι μια στρατηγική που στοχεύει στο να κάνει ένα μοντέλο μηχανικής μάθησης να κάνει μια λανθασμένη πρόβλεψη. Αποτελείται από την προσθήκη μιας μικρής και προσεκτικά σχεδιασμένης διαταραχής σε μια καθαρή εικόνα, η οποία είναι αντιληπτή για το ανθρώπινο μάτι, αλλά ότι το μοντέλο βλέπει ως σχετικό και αλλάζει την πρόβλεψή του.