Антропик објави дека некои од нејзините модели со вештачка интелигенција на Клод ги хакирале системите на три компании за време на тестовите за сајбер безбедност, откривање што доаѓа неколку дена откако ривалот Опен АИ откри дека еден од нејзините агенти со вештачка интелигенција извршил непријателски напад.
Новите инциденти се должат на грешка што ненамерно им овозможи на моделите на Антропик пристап до отворениот интернет. Тоа е во спротивност соОпен АИ, чиј агент за вештачка интелигенција независно ја искористил новата ранливост за да стигне до интернет за време на сајбер тестирањето.
И покрај тоа, најновото обелоденување нагласува како вештачката интелигенција ги зголеми заканите за сајбер безбедноста и како нејзините програмери можат да се борат да ги задржат можностите на нивните модели.
Веројатно ќе додаде гориво на засилениот притисок на американската влада за подобро управување со безбедносните ризици со вештачка интелигенција во време кога Антропик и Опен АИ се тркаат за објавување поспособни системи пред нивните планирани јавни огласи. Истакнати лидери во овие лаборатории побараа, отвора нов таб за забавување за прво да се решат ризиците.
Антропик со седиште во Сан Франциско во блог објави дека ги идентификувал инцидентите по прегледување на 141.006 тест сесии, процес што го започна откако Опен АИ минатата недела рече дека автономен агент напојуван од неговите модели со вештачка интелигенција предизвикал хакирање што ја загрозило инфраструктурата на стартапот Hugging Face.
За време на сајбер-тестирањето, на моделите на Клод на Антропик им беше кажано дека немаат пристап до интернет, но недоразбирањето што вклучи еден од партнерите за оценување на Антропик ги остави системите поврзани на јавната мрежа. Тоа овозможи неовластен пристап до системите на три организации, рече Антропик без да ги именува организациите.
„Клод ја загрози инфраструктурата на погодените организации користејќи основни техники, како што се искористување на слаби лозинки и неавтентификувани крајни точки“, рече Антропик.
Џефри Ладиш, извршен директор на Palisade Research, кој ги проучува способностите на системите за вештачка интелигенција, рече дека се сомнева дека низа врвни компании за вештачка интелигенција доживеале други инциденти кои останале неоткриени или не биле јавно обелоденети.
„Ова само ќе се влошува како што моделите стануваат попаметни. Ќе бидат подобри во лажењето“, рече тој.
Антропик рече дека инцидентите – кои ги означи како „оперативен неуспех“ – вклучувале три одделни модели: Claude Opus 4.7, Claude Mythos 5 и внатрешен модел на тест за истражување. Најраните случаи датираат од април и се случија во средини за проценка на кои намерно им недостасуваа заштитни мерки за да може Антропик да процени за што е способна неговата вештачка интелигенција.
Неговите модели беа задолжени со таканаречените предизвици „зароби го знамето“, измислени сценарија во кои требаше да најдат скриени информации во симулирани мрежи.
Во еден инцидент, Клод Опус 4.7 доби измислена целна компанија, која се покажа дека го споделува името на бизнис во реалниот свет. Моделот на вештачка интелигенција потоа пронајде и експлоатираше грешки што му дозволуваат пристап до ингеренциите и базата на податоци за тој бизнис. Opus 4.7 рационализираше дека она што се чинеше дека се однесува на реалниот свет мора да е дел од симулацијата што ја постави Антропик рече стартапот за вештачка интелигенција.
