Qualcomm trabalha com a Meta para possibilitar aplicativos de IA no dispositivo usando o Llama 2

A Qualcomm Technologies, Inc. e a Meta estão trabalhando para otimizar a execução dos modelos de large language (LLMs) Llama 2 da Meta diretamente no dispositivo, sem depender do uso exclusivo de serviços em nuvem. A capacidade de executar modelos generativos de IA como o Llama 2 em dispositivos como smartphones, PCs, headsets VR/AR e veículos permite que os desenvolvedores economizem nos custos da nuvem e forneçam aos usuários experiências privadas, mais confiáveis ​​e personalizadas.

Como resultado, a Qualcomm Technologies planeja disponibilizar implementações de IA baseadas em Llama 2 on-device para permitir a criação de novos aplicativos de IA. Isso permitirá que clientes, parceiros e desenvolvedores criem casos de uso, como assistentes virtuais inteligentes, aplicativos de produtividade, ferramentas de criação de conteúdo, entretenimento e mais. Essas novas experiências de IA no dispositivo, com tecnologia Snapdragon®, podem funcionar em áreas sem conectividade ou até mesmo no modo avião.

“Celebramos a abordagem da Meta para IA aberta e responsável e estamos comprometidos em impulsionar a inovação e reduzir as barreiras de entrada para desenvolvedores de qualquer tamanho, trazendo IA generativa on-device”, disse Durga Malladi, senior vice president and general manager of technology, Qualcomm Technologies, Inc. “Para levar efetivamente a IA generativa para o mainstream, a IA precisará ser executada tanto na nuvem quanto em dispositivos na borda, como smartphones, laptops, veículos e dispositivos IoT.”

A Meta e a Qualcomm Technologies têm uma longa história de trabalho juntas para impulsionar a inovação tecnológica e oferecer a próxima geração de experiências de dispositivos premium. A colaboração atual das empresas para apoiar o ecossistema Llama abrange esforços de pesquisa e engenharia de produto. A liderança da Qualcomm Technologies em IA on-device a posiciona de maneira única para oferecer suporte ao ecossistema Llama. A empresa tem um footprint inigualável na borda – com bilhões de smartphones, veículos, fones de ouvido e óculos XR, PCs, IoT e muito mais, sendo alimentado por suas soluções de hardware e software de IA líderes do setor – permitindo a oportunidade de escalar a IA generativa.

A Qualcomm Technologies está programada para disponibilizar implementação de IA baseada no Llama 2 em dispositivos com Snapdragon a partir de 2024. Os desenvolvedores podem começar hoje a otimizar aplicativos para IA no dispositivo usando o Qualcomm® AI Stack – um conjunto dedicado de ferramentas que permite processar a IA com mais eficiência no Snapdragon, tornando a IA on-device possível mesmo em dispositivos pequenos, finos e leves. Para obter mais atualizações, assine nosso boletim informativo mensal para desenvolvedores.

Confira a nota de advertência sobre declarações prospectivas no site.