Uno Documento di ricerca Il contenuto condiviso dagli sviluppatori di Apple con chiunque sia interessato a leggere i dettagli tecnici suggerisce che Apple ha risolto le sfide dell’elaborazione locale delle query AI in Pocket, ma c’è di più.
Ciò andrà a beneficio di tutti
La buona notizia è che i ricercatori dell’azienda hanno trovato un modo per eseguire il rendering dei modelli LLM in modo nativo anche sugli iPhone, in modo efficace anche sui modelli più vecchi. Come ha risolto Apple questo problema? Utilizzando i chip di archiviazione presenti sugli iPhone, che in genere sono da 128 GB e oltre, in netto contrasto con molti iPhone che hanno 4 GB e forse 6 GB di RAM.
Apple ha appena aggiornato i suoi ultimi modelli 15 Pro a 8 GB di RAM, mentre molti dispositivi Android ne hanno 12 e oltre. Quindi l’azienda non è una fan di riempire i suoi prodotti con RAM per un motivo o per l’altro. Questo però è ancora controverso, soprattutto perché il MacBook Pro parte ancora con 8GB di RAM.
Prestazioni decisamente migliori
In parole povere, questa tecnologia prevede il riciclaggio dei dati precedentemente utilizzati (“windowing”), riducendo così la necessità per il telefono cellulare di tornare alle informazioni nella memoria ad accesso casuale (RAM). La seconda tecnologia si chiama “pooling di righe e colonne” ed è “progettata specificamente per le capacità di accesso sequenziale ai dati della memoria flash, che aumenta la dimensione dei blocchi di dati letti dalla memoria flash.
Entrambi i metodi consentono di eseguire modelli LLM con una quantità di RAM fino al doppio di quella che può utilizzare un telefono cellulare E Migliora notevolmente le prestazioni:
“Secondo lo studio, la combinazione di questi approcci consente ai modelli di intelligenza artificiale di funzionare su un massimo di due volte la memoria disponibile di un iPhone. Ciò significa una velocità da 4 a 5 volte superiore sulle CPU e prestazioni da 20 a 25 volte migliori sulle GPU”.
Il framework AI di Apple si chiama anche Ajax, di cui abbiamo parlato a luglio:
Attraverso il framework internamente chiamato “Ajax” (dal 2022), l’azienda sta costruendo la propria intelligenza artificiale “Apple GPT”. Ci chiediamo da tempo quando Siri riceverà il tanto necessario impulso, quindi potrebbe sembrare che ciò accadrà l’anno prossimo, forse con iOS 18?
In effetti, Apple ha già sfruttato Ajax per migliorare le attività di intelligenza artificiale relative a Ricerca, Siri e Mappe. “Ajax viene ora utilizzato per creare grandi modelli linguistici che serviranno come base per uno strumento interno simile a ChatGPT”, rivela Gorman, che ha parlato con persone a conoscenza dei piani segreti di Apple.
Sebbene Apple non ne abbia parlato, troviamo quasi incredibile che iOS 18 venga lanciato con Siri. senza LLM, poi vedremo se ne gestiscono uno locale. È già trapelato che Samsung doterà la nuova serie Galaxy S24 di un nuovo dispositivo Galaxy AI. I nuovi modelli dovrebbero apparire il 17 gennaio.
“Esperto di social media. Pluripremiato fanatico del caffè. Esploratore generale. Risolutore di problemi.”