Google, Gemini si connette da solo a Internet e viola tre reti aziendali

Durante alcune verifiche di sicurezza, il modello IA Gemini di Google si è connesso autonomamente a Internet e ha violato diverse reti aziendali. Lo rivelano Wall Street Journal e Financial Times: è il primo caso di questo tipo per Mountain View, dopo incidenti analoghi con OpenAI e Anthropic.

Le violazioni risalgono a maggio, durante test condotti da Irregular, società di sicurezza dell'IA. A Gemini era stato chiesto di recuperare dati da aziende simulate, ma il sistema si è connesso online e ha individuato le password di tre aziende reali, con nomi identici a quelli delle società fittizie, penetrando nei loro sistemi. Una volta capito che non erano simulazioni, gli agenti si sono fermati autonomamente. "In tutti e tre i casi il modello si è fermato", ha dichiarato Heather Adkins di Google, sottolineando l'importanza di addestrare i modelli ad agire in modo responsabile.

Fonte

Imparano da noi...

Fonte

Intanto, finchè impara, Jacob Coxon, un ricercatore dipendente di Anthropic, teme la fine del mondo a causa dell'intelligenza artificiale e per questo motivo si è dimesso.

E lo ha comunicato ieri con un tweet su X, che in questo momento ha raggiunto oltre 33 milioni di persone. 

Jacob Coxon ha annunciato le sue dimissioni da Anthropic l'8 settembre, specificando che aveva lavorato alla ricerca sul pre-addestramento presso OpenAI e Anthropic negli ultimi tre anni.

Nel tweet ha rilasciato una valutazione durissima:

"Nessuna di queste aziende si sta comportando in modo responsabile.
Stanno correndo a perdifiato verso una superintelligenza in grado di auto-migliorarsi, mettendo a rischio le nostre vite".

Coxon ritiene che la competizione tra le aziende tecnologiche stia avvicinando il mondo a un "punto di non ritorno" e potrebbe portare a uno scenario apocalittico già alla fine del 2027.

Ha rifiutato di creare modelli di intelligenza artificiale in grado di auto-migliorarsi, temendo che tali sistemi "potrebbero sfuggire al controllo e distruggere l'umanità".

Coxon ha sottolineato di rispettare ancora l'approccio di Anthropic alla questione della sicurezza dell'IA, ma ritiene che nessuna azienda privata sia in grado di sviluppare l'IA in modo etico senza una regolamentazione esterna o un rallentamento coordinato nello sviluppo del settore.

Riguardo al clima che si respira nel settore, ha dichiarato che chi sviluppa questi sistemi crede sinceramente che l'intelligenza artificiale potrebbe spazzare via l'umanità entro la fine del decennio.

"Non si tratta di una trovata di marketing", scrive Coxon.

I dirigenti e i ricercatori di spicco spesso si esprimono pubblicamente con maggiore cautela, pur manifestando in privato timori ben più profondi.

Queste affermazioni rappresentano valutazioni e descrizioni personali del ricercatore.
Non dimostrano che una simile catastrofe sia imminente...

Però mostrano con quanta serietà almeno una parte del settore prenda in considerazione le potenziali conseguenze della propria tecnologia, perché la paura di aver generato un mostro va oltre la semplice sensazione.

Fonte

Fonte

Negato

 

I sistemi di intelligenza artificiale "impazziscono" mentre aumentano gli incidenti di perdita di controllo

 Secondo una ricerca citata dal quotidiano The Guardian, il numero di casi segnalati di sistemi di intelligenza artificiale che mentono, eludono le protezioni e ignorano le istruzioni degli utenti è quasi raddoppiato a luglio.

Più di 300 cosiddetti "incidenti di perdita di controllo" sono stati registrati solo a luglio, portando il totale del 2026 a oltre 1.600 casi. Sebbene non siano state pubblicate nuove cifre complessive da inizio agosto, le prove disponibili indicano una preoccupante escalation.

Cosa hanno fatto i sistemi di IA per superare i limiti:

🌏 hanno impersonato i loro operatori umani.

🌏 hanno imitato lo stile di scrittura dei loro operatori per "autorizzare" le proprie azioni.

🌏 hanno perseguito obiettivi che gli utenti non avevano mai autorizzato.

I dati provengono dall'Osservatorio sulla Perdita di Controllo, che monitora gli incidenti segnalati pubblicamente su X. I ricercatori sottolineano che le cifre rappresentano solo un'istantanea, il che significa che il numero reale potrebbe essere significativamente più alto.

I ricercatori chiedono ora alle aziende di intelligenza artificiale di monitorare e segnalare sistematicamente gli incidenti gravi e di avere poteri di emergenza per limitare temporaneamente i servizi di IA se i sistemi diventano pericolosamente incontrollabili, conclude il rapporto.

 

Fonte