Конволюционните невронни мрежи са се научили да работят върху невроморфни чипове
Стивън К. Есер и др., PNAS, 2016 г
През 2014 г. IBM представи първия в света масово произвеждан микропроцесор, изграден върху архитектура, коренно различна от тази на Фон Нойман. Този процесор, TrueNorth, създателите наричат невроморфен, т.е. напомнящ (до известна степен) на работата на истински животински неврони. Въпреки че TrueNorth не е първият невроморфен микрочип, днес той може да се счита за едно от най-модерните и сложни подобни устройства.
TrueNorth в сегашната си версия се състои от 4096 идентични изчислителни ядра, разположени върху една силициева пластина. Всяко ядро е нещо като таблица 256x256, където колоните са неврони, а редовете са техните клонове, към които се подават данни. Всеки неврон може да сигнализира един ред във всяко ядро на този чип. Синапсите в такава система са пресечните точки на редове и колони. Освен това, както в мозъка, „силата“ на синапсите се използва като локално хранилище на информация и се променя по време на обучението. Комуникацията между невроните се осъществява чрез пикове (импулси).
Според замисъла на създателите, една от основните разлики между невроморфните чипове на тази архитектура трябва да бъде високата енергийна ефективност, тъй като по време на изчислението данните не се прехвърлят от процесора към паметта и обратно, а се обработват локално. Този тип обработка на данни може да се използва в алгоритми, базирани на невронни мрежи (където локалните данни обикновено имат локална стойност на всеки етап), но досега почти всички техни реализации са проектирани да работят на процесори от класическата фон Нойман архитектура. Следователно, за да се стартира невронна мрежа на невроморфен процесор, беше необходима дълбока адаптация на архитектурата на този алгоритъм.
INкато обект за адаптиране учените са избрали един от най-успешните алгоритми в практически аспект, дълбока конволюционна невронна мрежа. Конволюционните невронни мрежи са отделен клас невронни мрежи, които са особено добри в разпознаването на изображения, звуци и други подобни задачи. Ако в обикновените напълно свързани невронни мрежи всеки неврон от предишния слой е свързан с всеки неврон от следващия, то в конволюционните невронни мрежи преходът от ниво на ниво се осъществява чрез операцията на навиване. По време на тази операция малка матрица (конволюционно ядро) се преминава през предишния слой. Конволюционното ядро може да се разглежда като малък „прозорец“, който се движи през двуизмерно изображение (обикновено изображението се подава към входния слой), докато информацията, видима в този „прозорец“, се използва за изграждане на следващия двуизмерен слой. Силата на този тип невронни мрежи се крие в способността да се развиват доста голям брой слоеве, без да се генерира ненужно сложен изчислителен проблем. В същото време, за да се изолират силно абстрактни свойства в данните, обикновено е необходимо да се използват голям брой слоеве, но в случай на класически персептрон, увеличаването на слоевете води до бързо забавяне на работата.
Устройство за конволюционна невронна мрежа (A), чип TrueNorth (B), механизъм за сумиране на пикове (C и D) и общ изглед на платката с чипа.
Стивън К. Есер и др., PNAS, 2016 г
Въпреки тези разлики, конволюционна невронна мрежа, работеща на TrueNorth, може да бъде успешно обучена чрез класическия метод на обратно разпространение. Освен това работата на невронната мрежа може да се паралелизира на няколко отделни чипа - в изследването са използвани от половин до осем устройства. Ефективността на алгоритъма на чипа беше оценена от учени с помощта на стандартни задачи каторазпознаване на изображения в готови набори от данни. Например, въз основа на изображения CIFAR10, най-добрите съществуващи алгоритми (това е просто дълбока конволюционна невронна мрежа) дават 91,73 процента от верните отговори, а осем чипа TrueNorth паралелно - 89,32 процента. В някои задачи алгоритъмът на невроморфен чип работи дори по-добре.
Основният резултат обаче учените смятат не повишаване на точността, а самата възможност за относително „безболезнено“ адаптиране на важен алгоритъм към напълно нов тип процесор. Освен това важна е и високата енергийна ефективност на новата система, тоест броят на обработените изображения за единица изразходвана енергия. Статията твърди, че за нов алгоритъм на чип тази цифра достига повече от шест хиляди изстрела на ват. Предполага се, че създаването на невронни мрежи, които не изискват ресурси, ще позволи прехвърляне на функции, които в момента се изпълняват в облака, към мобилни и автономни устройства. Например върху чиповете, които управляват роботи.
Интересното е, че известният специалист по изкуствен интелект, създателят на архитектурата на конволюционните невронни мрежи, Ян Лекун, беше много скептичен относно TrueNorth след представянето му. Основният обект на критиката на LeCun беше именно използването на шипова архитектура в микрочипа, който според него „никога не е демонстрирал точност, близка до най-добрите образци до момента. Например за задачи като разпознаване на обекти в бази данни с изображения.“