Изкуственият интелект не следва логиката на научния прогрес

Ние сме писали много пъти в MT за изследователи и професионалисти, които обявяват системите за машинно обучение за „черни кутии“ (1) дори за тези, които ги изграждат. Това затруднява оценяването на резултатите и повторното използване на нововъзникващите алгоритми.

Невронните мрежи – техниката, която ни дава интелигентни конвертиращи ботове и гениални текстови генератори, които могат дори да създават поезия – остава непонятна загадка за външни наблюдатели.

Те стават все по-големи и по-сложни, обработват огромни масиви от данни и използват масивни изчислителни масиви. Това прави репликацията и анализа на получените модели скъпи и понякога невъзможни за други изследователи, с изключение на големите центрове с огромни бюджети.

Много учени са добре запознати с този проблем. Сред тях е Джоел Пино (2), председател на NeurIPS, водещата конференция за възпроизводимост. Експертите под нейно ръководство искат да създадат „контролен списък за възпроизводимост“.

Идеята, каза Пино, е да се насърчат изследователите да предлагат на другите пътна карта, за да могат да пресъздадат и използват вече свършената работа. Можете да се удивите на красноречието на нов генератор на текст или на свръхчовешката сръчност на робот за видеоигри, но дори и най-добрите експерти нямат представа как работят тези чудеса. Следователно, възпроизвеждането на AI модели е важно не само за идентифициране на нови цели и насоки за изследвания, но и като чисто практическо ръководство за използване.

Други се опитват да решат този проблем. Изследователите на Google предложиха „карти с модели“, за да опишат подробно как са били тествани системите, включително резултати, които сочат потенциални грешки. Изследователи от Allen Institute for Artificial Intelligence (AI2) публикуваха документ, който има за цел да разшири контролния списък за възпроизводимост на Пино до други стъпки в експерименталния процес. „Покажете работата си“, призовават те.

Понякога липсва основна информация, тъй като изследователският проект е собственост, особено на лаборатории, работещи за компанията. По-често обаче това е знак за неспособност да се опишат променящите се и все по-сложни методи на изследване. Невронните мрежи са много сложна област. За да получите най-добри резултати, често се изисква фина настройка на хиляди „копчета и бутони“, които някои наричат ​​„черна магия“. Изборът на оптималния модел често е свързан с голям брой експерименти. Магията става много скъпа.

Например, когато Facebook се опита да репликира работата на AlphaGo, система, разработена от DeepMind Alphabet, задачата се оказа изключително трудна. Огромните изчислителни изисквания, милиони експерименти на хиляди устройства в продължение на много дни, съчетани с липсата на код, направиха системата „много трудна, ако не и невъзможна за пресъздаване, тестване, подобряване и разширяване“, според служители на Facebook.

Проблемът изглежда е специализиран. Ако обаче се замислим по-нататък, феноменът на проблемите с възпроизводимостта на резултатите и функциите между един изследователски екип и друг подкопава цялата позната ни логика на функциониране на науката и изследователските процеси. По правило резултатите от предишни изследвания могат да се използват като основа за по-нататъшни изследвания, които стимулират развитието на знанието, технологиите и общия прогрес.