ETH Zurich, INSAIT и LatticeFlow AI стартират първата рамка за оценка на съответствието на генеративния изкуствен интелект със Закона на ЕС за изкуствения интелект

Изданието включва първото съпоставяне на принципите на Закона на ЕС за изкуствения интелект с приложими технически изисквания, свободно достъпна рамка с отворен код и първата оценка, фокусирана върху съответствието, на публични генеративни модели на изкуствен интелект.

София / Цюрих, 16 октомври 2024 г. ETH Zurich, INSAIT и LatticeFlow AI обявяват публикуването на първата рамка за оценка на Закона на ЕС за ИИ за модели на генеративен ИИ.

Публикацията, достъпна на https://compl-ai.org , включва първото техническо тълкуване на Закона на ЕС за изкуствения интелект (ИИ) , съпоставяйки регулаторните изисквания с техническите, заедно с безплатна рамка с отворен код за оценка на модели с големи езици (LLM) съгласно това съпоставяне. Пускането на пазара включва и първата оценка, ориентирана към съответствие, на модели на публични фондации от организации като OpenAI, Meta, Google, Anthropic и Alibaba спрямо техническото тълкуване на Закона на ЕС за ИИ.

Томас Рение, говорител на Европейската комисия по въпросите на цифровата икономика, научните изследвания и иновациите, коментира публикуваното: „Европейската комисия приветства това проучване и платформата за оценка на модели с изкуствен интелект като първа стъпка в превръщането на Закона на ЕС за изкуствения интелект в технически изисквания, помагайки на доставчиците на модели с изкуствен интелект да го приложат.“

Първо техническо тълкуване на Закона на ЕС за изкуствения интелект

Законът на ЕС за изкуствения интелект (ИИ), първият всеобхватен регламент за ИИ, влезе в сила през август 2024 г. Законът обаче очертава регулаторни изисквания на високо ниво, без да предоставя подробни технически насоки, които компаниите да следват. За да се справи с това, Европейската комисия започна консултация относно Кодекса за добри практики за доставчиците на модели за изкуствен интелект с общо предназначение (GPAI), натоварен със задачата да наблюдава прилагането и прилагането на правилата на Закона за ИИ относно GPAI. Публикуването на COMPL-AI може да бъде от полза и за работните групи на GPAI, които могат да използват документа за техническо тълкуване като отправна точка за своите усилия.

Рамка с отворен код за оценка на LLM върху регулации

В допълнение към техническата интерпретация, COMPL-AI включва безплатна рамка с отворен код, изградена върху 27 най-съвременни бенчмарка, които могат да се използват за оценка на LLM спрямо тези технически изисквания.

„Каним изследователи, разработчици и регулатори в областта на изкуствения интелект да се присъединят към нас в развитието на този развиващ се проект“, каза проф. Мартин Вечев, редовен професор в ETH Zurich и основател и научен директор на INSAIT в София, България. „Насърчаваме други изследователски групи и практикуващи да допринесат, като усъвършенстват картографирането на Закона за изкуствения интелект, добавят нови бенчмаркове и разширяват тази рамка с отворен код. Методологията може да бъде разширена и за оценка на модели на изкуствен интелект спрямо бъдещи регулаторни актове извън Закона за изкуствения интелект на ЕС, което я прави ценен инструмент за организации, работещи в различни юрисдикции.“

Първа оценка, ориентирана към съответствие, на публични генеративни модели на изкуствен интелект

Това стартиране включва и първата оценка на публични генеративни модели на изкуствен интелект от OpenAI, Meta, Google, Anthropic, Alibaba и други, които се измерват спрямо приложимо тълкуване на Закона на ЕС за изкуствения интелект. Въпреки че тези модели традиционно са оптимизирани за производителност, това е първият път, когато те са цялостно оценени спрямо приложимо тълкуване на Закона на ЕС за изкуствения интелект.

Оценката разкрива ключови пропуски — няколко високоефективни модела не отговарят на регулаторните изисквания, като много от тях постигат само около 50% по показателите за киберсигурност и справедливост. От положителна страна, повечето модели се представиха добре по отношение на изискванията за вредно съдържание и токсичност, което показва, че компаниите вече са оптимизирали своите модели в тези области. Освен това някои технически изисквания, като например авторските права и защитата на поверителността на потребителите, остават трудни за сравнение, което предполага необходимостта от по-нататъшно усъвършенстване на регламента, за да се подпомогнат надеждни технически оценки.

„С тази рамка всяка компания – независимо дали работи с публични, персонализирани или частни модели – вече може да оцени своите системи с изкуствен интелект спрямо техническото тълкуване на Закона на ЕС за изкуствения интелект. Нашата визия е да дадем възможност на организациите да гарантират, че техните системи с изкуствен интелект са не само високопроизводителни, но и напълно съобразени с регулаторните изисквания, като например Закона на ЕС за изкуствения интелект“, каза д-р Петър Цанков, главен изпълнителен директор и съосновател на LatticeFlow AI.

За повече информация, включително достъп до отворената рамка, съответствието с техническите изисквания и резултатите от оценката, посетете https://compl-ai.org .