Ясен Кипров за AI агентите и предизвикателствата пред сигурността на изкуствения интелект

Как се държат AI агентите, когато им поставим конкретна цел, и какво се случва, когато намерят неочаквани начини да я постигнат?

Ясен Кипров, Директор AI приложения в INSAIT, обсъди тези въпроси в интервю за предаването „Ревизия“ по NOVA News, като постави акцент върху безопасността на изкуствения интелект и предизвикателствата пред разбирането на поведението на все по-способните AI системи.

Като пример Ясен разкава за експеримент на OpenAI и Hugging Face, при който AI агенти, натоварени със задачата да тестват сигурността на софтуер, намират неочакван начин да комуникират и да си сътрудничат. Експериментът е показателен за необходимостта от разработването на надеждни механизми за защита.

AI моделите стават все по-способни да откриват уязвимости в софтуера и критичната инфраструктура. Това създава възможности за укрепване на киберсигурността, но същевременно поражда опасения относно възможната злоупотреба с тези способности.

Работата по преодоляването на тези предизвикателства е важна част от дейността на INSAIT. INSAIT работи за откриването на уязвимости в AI моделите и повишаването на тяхната устойчивост, като същевременно допринася за развитието на практики за придържане към регулаторните изисквания.

Гледайте пълното интервю тук.