iOS 18 integrará un gran modelo de lenguaje que funcionará sin conexión a internet

[Noticias]

iOS 18 integrará un gran modelo de lenguaje que funcionará sin conexión a internet

Apple está introduciendo una significativa mejora en la inteligencia artificial con iOS 18, implementando un gran modelo de lenguaje (LLM) completamente alojado en el dispositivo, según informa Mark Gurman en el último boletín de Power On. Este enfoque no solo promete mejorar la velocidad de respuesta de las funciones de IA, sino también reforzar la privacidad de los usuarios al evitar el envío de datos a servidores externos. Esta estrategia se alinea con la política de privacidad de Apple y utiliza la ventaja de la integración vertical de hardware y software de la compañía. A pesar de que los modelos en el dispositivo no alcanzan la potencia de los basados en servidores, debido a la capacidad limitada de procesamiento y almacenamiento en comparación con las grandes granjas de servidores, Apple busca compensar esta limitación con una adaptación precisa del software a sus chips de silicio, lo que permite una ejecución más eficiente y rápida. Además, este tipo de modelos puede funcionar sin conexión, una ventaja considerable en situaciones de conectividad limitada. La funcionalidad de los LLM en el dispositivo, aunque no tan vasta en conocimientos triviales como ChatGPT, se espera que sea altamente competente para tareas específicas como generación de respuestas automáticas y mejora de solicitudes a Siri. Apple también contempla la capacidad de estos modelos para realizar tareas de IA generativa, como la creación de documentos o imágenes, y mantiene abierta la posibilidad de colaboraciones, como con Google para tareas específicas en el servidor. Los detalles completos de la estrategia de IA de Apple serán revelados en la WWDC el próximo 10 de junio, donde se espera que la empresa anuncie todas las novedades de software para sus dispositivos.

fuente

[Rufii]

Buena noticia

[algrano]

¿Y esto no se va a comer gran parte del almacenamiento?

[yomis747]

Ya hicieron la Keynote o es otro rumor que podría acertar o no?

[Juanro49]

"y mantiene abierta la posibilidad de colaboraciones, como con Google para tareas especÃ*ficas en el servidor." Si eso es cierto, ya se han cargado la arquitectura de funcionamiento solo en local.

PD: Jolla, la empresa detras de SailfishOS, ya presentó en el MWC una IA con funcionamiento solo en local

[Juanro49]

 Cita: Originalmente Escrito por algrano

¿Y esto no se va a comer gran parte del almacenamiento?

Almacenamiento... y baterÃ*a

[Join you]

 Cita: Originalmente Escrito por Rufii

Buena noticia

Ya podéis tirar todos los iPhone y macs que tengáis ninguno será compatible por la mierda de la ram que pone
Buena noticia para el medio ambiente que dice la m......a de empresa está que protege

[Join you]

apple ni con tu dinero

[nicogarcia1229]

 Cita: Originalmente Escrito por Juanro49

Almacenamiento... y baterÃ*a

Siempre comentan en base a suposiciones? jajaj

1. No tiene ni sentido discutir el almacenamiento ya que aun no ha salido.

2. Bateria consumira mientras se use, como la camara, como la alarma, como CUALQUIER FUNCION DEL TELEFONO QUE USES, GASTARA BATERIA MIENTRAS LA USES.

[Juanro49]

 Cita: Originalmente Escrito por nicogarcia1229

Siempre comentan en base a suposiciones? jajaj

1. No tiene ni sentido discutir el almacenamiento ya que aun no ha salido.

2. Bateria consumira mientras se use, como la camara, como la alarma, como CUALQUIER FUNCION DEL TELEFONO QUE USES, GASTARA BATERIA MIENTRAS LA USES.

Instalate llama2 en local, que es open source y cualquiera puede montarse una instancia, y monitoriza los recursos que usa, tanto de CPU como de almacenamiento según va aprendiendo, y ahÃ* tienes las "suposiciones".

Si un simple traductor en local creado con Machine Learning tira bien de CPU cuando se usa, imaginate una IA que está 24/7 en "stand by" (recopilando datos) y luego mientras se ejecuta.

Que ojo, yo no lo veo mal, una IA en local en cuanto a privacidad es lo mejor pero, ¿Realmente es necesario?

Eso es lo mismo que les he comentado a Jolla en el betatest que participo de su IA, de hecho parece que han descartado esa opción precisamente por el consumo y han tirado por otra de las vias que habÃ*a abiertas

[nicogarcia1229]

 Cita: Originalmente Escrito por Juanro49

Instalate llama2 en local, que es open source y cualquiera puede montarse una instancia, y monitoriza los recursos que usa, tanto de CPU como de almacenamiento según va aprendiendo, y ahÃ* tienes las "suposiciones".

Si un simple traductor en local creado con Machine Learning tira bien de CPU cuando se usa, imaginate una IA que está 24/7 en "stand by" (recopilando datos) y luego mientras se ejecuta.

Que ojo, yo no lo veo mal, una IA en local en cuanto a privacidad es lo mejor pero, ¿Realmente es necesario?

Eso es lo mismo que les he comentado a Jolla en el betatest que participo de su IA, de hecho parece que han descartado esa opción precisamente por el consumo y han tirado por otra de las vias que habÃ*a abiertas

Es que nuevamente son suposiciones, ya que no es ni Llama2 ni Llama3 el LLM que se va a utilizar.

Siri, tambien esta escuchando y recopilando datos permanentemente para luego ofrecer x resultado al usuario, segun post procesado de informacion...y sin embargo, no es algo para alarmarse en cuanto a consumo de bateria.

En fin, no lo sabemos, podemos suponer y suponer no es espcifico...por lo tanto no tiene sentido, mas cuando de trata de algo tangible, como mediciones.

[Juanro49]

 Cita: Originalmente Escrito por nicogarcia1229

Es que nuevamente son suposiciones, ya que no es ni Llama2 ni Llama3 el LLM que se va a utilizar.

Siri, tambien esta escuchando y recopilando datos permanentemente para luego ofrecer x resultado al usuario, segun post procesado de informacion...y sin embargo, no es algo para alarmarse en cuanto a consumo de bateria.

En fin, no lo sabemos, podemos suponer y suponer no es espcifico...por lo tanto no tiene sentido, mas cuando de trata de algo tangible, como mediciones.

Al final, todos los LLM tienen detrás similar tecnologÃ*a y misma arquitectura en cuanto a gestión de recursos.



Has probado a eliminar completamente Siri en un iphone (no porque no se puede) y comprobado ese calculo de baterÃ*a? En mi caso hace tiempo hice la prueba con Google, y el resultado fue que casi doblaba la duración de baterÃ*a.

Pero bueno, en lo que tienes razón es que solo se comprobará cuando se tenga en mano