Как да заблудите дрон, MediaRepost е топ новината на часа

Как да заблудите дрон

новината

Както знаете, малки целенасочени промени в картината могат да "счупят" системата за машинно обучение, така че тя да разпознае напълно различно изображение. Тези троянски образи се наричат ​​състезателни примери и са едно от известните ограничения на дълбокото обучение.

дрон

Набор от експериментални изображения с художествени стикери на различни разстояния и ъгли: (a) 5 фута, 0 градуса; б) 5'15°; (c) 10' 0°; (d) 10'30°; д) 40' 0°. Измамата работи на всяко разстояние и под всякакъв ъгъл: вместо знак стоп, системата за машинно обучение вижда знак „Ограничение на скоростта 45 мили“

За да съставите състезателен пример, трябва да увеличите максимално активирането на, например, определен филтър на конволюционна невронна мрежа. Иван Евтимов от Университета на Вашингтон, заедно с колеги от Калифорнийския университет в Бъркли, Мичиганския университет и Държавния университет на Ню Йорк в Стоуни Брук, разработиха нов алгоритъм за атака - надеждни физически смущения (Robust Physical Perturbations или RP2). Той е много ефективен при нарушаване на зрението на безпилотни превозни средства, роботи, мултикоптери и всякакви други роботизирани системи, които се опитват да навигират в заобикалящата ги среда.

След изчисляване на такава делта беше идентифицирана маска - място (или няколко места) в изображението, което най-надеждно причинява смущения в системата за машинно обучение (машинно зрение). Бяха проведени редица експерименти за проверка на резултатите. Основно експериментите са проведени на стоп сигнал (знак „СТОП“), който изследователите са превърнали в знак „ОГРАНИЧЕНИЕ НА СКОРОСТТА 45“ за машинно зрение с няколко безвредни манипулации.Разработената техника може да се използва върху всякакви други знаци. След това авторите го тестват на знак за завой.

Научният екип е разработил два варианта за атака на системи за машинно зрение, които разпознават пътни знаци. Първата атака е малки незабележими промени по цялата площ на знака. Използвайки оптимизатора на Adam, те успяха да минимизират маската, за да създадат индивидуални, насочени състезателни примери, насочени към конкретни пътни знаци. В този случай можете да заблудите системите за машинно обучение с минимални промени в картината и хората изобщо няма да забележат нищо. Ефективността на този тип атака беше тествана върху отпечатани плакати с незначителни промени (първо изследователите се увериха, че системата за машинно зрение успешно разпознава плакати без промени).

Вторият тип нападение е камуфлажът. Тук системата имитира актове на вандализъм или художествени графити, така че системата да не пречи на живота на хората наоколо. Така шофьорът зад волана веднага ще види знак за ляв завой или стоп сигнал, докато роботът ще види съвсем различен знак. Ефективността на този вид атака беше тествана върху реални пътни знаци, които бяха запечатани със стикери. Камуфлажът с графити се състоеше от стикери, оформени като думите LOVE и HATE, докато камуфлажът с абстрактно изкуство се състоеше от четири правоъгълни стикера в черно и бяло.

Резултатите от експеримента са показани в таблицата. Във всички случаи е показана ефективността на измама на класификатора за машинно обучение, който разпознава модифицирания знак "СТОП" като знак "ОГРАНИЧЕНИЕ НА СКОРОСТТА 45". Разстоянието е във футове, ъгълът на завъртане е в градуси. Втората колона показва втория клас, който се вижда от системата за машинно обучение в модифициран знак. Например от разстояние 5 фута (152,4 см), камуфлажен тип абстрактенизкуство при 0° дава следните резултати при разпознаване на знака „СТОП“: с 64% сигурност се разпознава като знак „ОГРАНИЧЕНИЕ НА СКОРОСТТА 45“ и с 11% увереност като знак „Край на лентата“.