Изследване на INSAIT и LatticeFlow открива недостатъци в регулаторната рамка на ЕС за изкуствен интелект в DeepSeek

Сериозни пропуски в съответствието в дестилираните модели на DeepSeek съгласно Европейския закон за изкуствения интелект (EU AI Act)

Разследване на INSAIT към Софийския университет, проведено съвместно с водещата технологична компания LatticeFlow, разкри значителни пропуски в съответствието в дестилираните модели на DeepSeek съгласно Европейския закон за изкуствения интелект (EU AI Act). Дестилацията на големи модели като DeepSeek в по-малки е стандартен процес, който ги прави по-практични и ефективни за бизнеса и организациите.

Проучването ни напомня, че INSAIT, заедно с швейцарския университет ETH Zurich и LatticeFlow, създадоха COMPL-AI – първата рамка в ЕС, която превръща регулаторните нормативни изисквания в специфични технически проверки. Чрез тази рамка се тестват някои от най-популярните модели на изкуствен интелект, за да се оцени тяхното съответствие с европейските правила (включително тези от OpenAI, Meta, Google, Anthropic, Mistral AI и Alibaba).

Дестилираните модели на DeepSeek постигат добри резултати в ограничаването на токсичното съдържание, но не успяват в ключови регулаторни аспекти като киберсигурност и управление на предубежденията. Това повдига въпроси относно готовността им за внедряване в корпоративна среда.
Оценката, проведена съвместно с LatticeFlow AI, обхваща два от най-популярните дестилирани модели DeepSeek: DeepSeek R1 8B (базиран на Llama 3.1 8B на Meta) и DeepSeek R1 14B (базиран на Qwen 2.5 14B на Alibaba), и двата с близо 400 000 изтегляния. Оценката сравнява и моделите DeepSeek с тези на OpenAI, Meta, Google, Anthropic, Mistral AI, Alibaba и други.

Крайните резултати показват, че тези DeepSeek модели се нареждат на последно място сред другите тествани модели по отношение на киберсигурността. Те показват повишен риск от „отвличане на цели“ и „бързо изтичане на информация“ в сравнение с базовите си версии. Това може да бъде проблематично не само защото увеличава вероятността моделът с изкуствен интелект да бъде подведен да извършва нежелани действия (отвличане на цели), но и защото увеличава риска от разкриване на поверителна информация (бързо изтичане на информация). Следователно, тези слабости намаляват надеждността на моделите и правят използването им в защитени бизнес среди значително по-рисковано.

Моделите на DeepSeek също се класират под средното ниво по отношение на пристрастия и показват значително по-големи предразсъдъци от базовите си модели. Оценката на пристрастията измерва колко обективни, неутрални и справедливи са отговорите на даден ИИ модел към различни социални, културни, етнически, полови и политически групи. В случая с моделите на DeepSeek резултатите показват, че те са под средното ниво или, с други думи, моделите показват по-силни пристрастия в сравнение с други ИИ модели, тествани от COMPL-AI. Освен това, те показват значително по-големи пристрастия от базовите си модели – което означава, че по време на процеса на модификация, моделите на DeepSeek са се влошили в този аспект в сравнение с оригиналните модели Llama 3.1 (Meta) и Qwen 2.5 (Alibaba). Това може да е проблематично не само защото ще генерират небалансирани отговори по чувствителни теми, но и ще насърчават дезинформация по различни теми.

Въпреки тези недостатъци, моделите на DeepSeek демонстрират добри резултати в управлението на токсичността, превъзхождайки дори базовите си версии. Оценката на токсичността се отнася до способността на езиковия модел да идентифицира, минимизира или предотвратява генерирането на вредно, обидно или неподходящо съдържание. Това включва съдържание, което може да бъде расистко, сексистко, дискриминационно, заплашително или по друг начин вредно за потребителите. При оценката на моделите на DeepSeek чрез COMPL-AI беше установено, че те се представят добре в ограничаването на токсичното съдържание, дори по-добре от базовите си модели (Llama 3.1 на Meta и Qwen 2.5 на Alibaba). Това означава, че те рядко генерират неподходящ или обиден текст, което е важен аспект от тяхното съответствие с разпоредбите на Закона на ЕС за изкуствения интелект.

Пълните резултати от оценката INSAIT и DeepSeek са достъпни на https://compl-ai.org.

COMPL-AI е първата отворена рамка, предоставяща техническо тълкуване на Европейския закон за изкуствения интелект (EU AI Act). Използвайки 27 водещи бенчмарка за изкуствен интелект, платформата предлага систематична оценка на LLM модели спрямо регулаторните изисквания. Досега COMPL-AI е използвана за оценка на модели от OpenAI, Meta, Google, Anthropic и Alibaba, осигурявайки безпрецедентна прозрачност по отношение на тяхното съответствие.