Avances en IA Generativa: Apple rompe las barreras de la memoria RAM

[Noticias]

Avances en IA Generativa: Apple rompe las barreras de la memoria RAM



Leemos en teknofilo.com

"Apple ha publicado un estudio titulado «LLM in a Flash: Efficient Large Language Model Inference with Limited Memory,» que aborda un obstáculo crítico del uso de la IA en dispositivos: las limitaciones de memoria. Ejecutar modelos de lenguaje LLM complejos en smartphones a menudo requiere una gran capacidad de procesamiento y memoria RAM, agotando la vida de la batería y obstaculizando el rendimiento. Sin embargo, los investigadores de Apple han ideado técnicas novedosas para reducir drásticamente la huella de memoria de los LLM sin renunciar a sus capacidades. Mediante la creación de un modelo de coste de inferencia alineado con estas limitaciones, se introducen dos técnicas innovadoras: ‘windowing’ y ‘row-column bundling’. Estas técnicas reducen significativamente la carga de datos y aumentan la eficiencia del uso de memoria. Los resultados prácticos son notables: permiten ejecutar LLMs hasta el doble del tamaño de la DRAM disponible, acelerando la velocidad de inferencia de 4 a 5 veces en CPU y de 20 a 25 veces en GPU en comparación con los métodos tradicionales de carga. Este avance es crucial para implementar LLMs avanzados en entornos con recursos limitados, ampliando su aplicabilidad y accesibilidad."

Seguir leyendo: teknofilo.com

[caraconejo]

Por norma, cuando una empresa tiene una innovación, la guarda con secreto extremo, y cuando anda perdida, lo que hace es publicar los supuestos avances (por si otra empresa cae en la tentación del I+D y desarrolla ese camino (gastos a parte de tiempo e inversión)

• El sistema Ajax de Apple se basa en Google Jax, el marco de aprendizaje automático del gigante de las búsquedas

Apple Ajax: todo lo que sabemos sobre el paso evolutivo de Siri que sigue el camino de ChatGPT
No lo parece, pero Apple mira atentamente al mundo de las inteligencias artificiales generativas

• entre rumores ha surgido la existencia de un "Apple GPT" propio de Apple.

Seguiremos atentos a los rumores que puedan ir llegando de esta nueva IA, con el primer objetivo fijado en iOS 18 según los primeros rumores. Veremos si al final Apple da en el clavo o si, como defiende Wozniak, todo esto está demasiado sobrevalorado.

Originalmente Escrito por caraconejo

Por norma, cuando una empresa tiene una innovación, la guarda con secreto extremo, y cuando anda perdida, lo que hace es publicar los supuestos avances (por si otra empresa cae en la tentación del I+D y desarrolla ese camino (gastos a parte de tiempo e inversión)

Es tú opinión, otra puede ser que no se puede mantener confidencial mucho tiempo y que mejor que explicarlo, máxime cuando seguro que no eres el único que está en el "ajo". Y que cuando se logra lo que se busca no queda otra que mostrarlo y rentabilizarlo, meta de todo avance.

Lo que está claro es que ningún terminal va a tener la IA, como tal, ya que requerirá de unos requisitos de hardware mucho más potentes que los existentes. Y que lo que venden y venderán los teléfonos como IA, no es IA.

[Rufii]

Apple liderando la industria

[WASABI]

Mucho humo...

[santinhos]

Originalmente Escrito por Rufii

Apple liderando la industria

Y la Bolsa!.

[robereto]

O que quizás los demás lo están desarrollando y anunciarlo antes te haga ante le opinión pública ser el descubridor. Esto cuadra más con el marketing de la manzana en sus anuncios. Presentar algo que los demás ya lo tienen como algo único

[igual_l]

Originalmente Escrito por caraconejo

Por norma, cuando una empresa tiene una innovación, la guarda con secreto extremo, y cuando anda perdida, lo que hace es publicar los supuestos avances (por si otra empresa cae en la tentación del I+D y desarrolla ese camino (gastos a parte de tiempo e inversión)

• El sistema Ajax de Apple se basa en Google Jax, el marco de aprendizaje automático del gigante de las búsquedas

Apple Ajax: todo lo que sabemos sobre el paso evolutivo de Siri que sigue el camino de ChatGPT
No lo parece, pero Apple mira atentamente al mundo de las inteligencias artificiales generativas

• entre rumores ha surgido la existencia de un "Apple GPT" propio de Apple.

La guardará con extremo secreto hasta que la tenga desarrollada y sea efectiva y patentada , como da a entender el artículo .

Si Apple no investiga os tiráis al cuello
Si Apple investiga y resulta que llega antes que los demás a un sitio ( que además parece ser que va a beneficiar a todo el mundo ) también os tiráis al cuello

Que hastío colega .


Nos están hablando de un avance muy importante para incorporar IA a teléfonos sin necesidad de meter 24Gb de RAM y aquí solo soltáis hate, en fin .

[Shinji Mikami]

Ahora va a ser Apple quien invente la IA, y las 6,7" pulgadas ya de paso.

[apriliars3]

Originalmente Escrito por Shinji Mikami

Ahora va a ser Apple quien invente la IA, y las 6,7" pulgadas ya de paso.

FaceID es IA, que no se os olvide desde cuando esta todo esto.

[santinhos]

Originalmente Escrito por apriliars3

FaceID es IA, que no se os olvide desde cuando esta todo esto.

??????

[apriliars3]

Originalmente Escrito por caraconejo

Por norma, cuando una empresa tiene una innovación, la guarda con secreto extremo, y cuando anda perdida, lo que hace es publicar los supuestos avances (por si otra empresa cae en la tentación del I+D y desarrolla ese camino (gastos a parte de tiempo e inversión)

• El sistema Ajax de Apple se basa en Google Jax, el marco de aprendizaje automático del gigante de las búsquedas

Apple Ajax: todo lo que sabemos sobre el paso evolutivo de Siri que sigue el camino de ChatGPT
No lo parece, pero Apple mira atentamente al mundo de las inteligencias artificiales generativas

• entre rumores ha surgido la existencia de un "Apple GPT" propio de Apple.

Normalmente en la I+D+I se generan muchas ideas que se desarrollan con un presupuesto muy pequeño, y de todas esas se llega a 2 o 3 utilidades comerciales que se inyectan el resto del 60% del presupuesto para que salgan a la luz.

Si se conoce que Apple tiene algo es porque ya es algo que va a usarse comercialmente y no es solo una patente, una idea, una investigación de desarrollo, etc.

Y al fin y al cabo todo esto de la IA lo más importante no es quien desarrolle primero algo, sino la que sea más útil, precisa, y tenga un menor impacto de recursos.

Que te publique una noticia, que te haga una película, que te cree un cuadro de un garabato, etc. todo eso estará genial cual realmente sea algo coherente para un humano que entienda porque lo ha realizado de forma verosímil a la realidad.

Todos tienen las herramientas, todos llevan años viendo como la IA se usa para muchos campos, pero todo esto tiene que ser realista y precisa. En eso están todas, aunque ninguna sabe ni siquiera como controlar que la IA no nos engañe con la realidad.