Apple pode turbinar Siri com nova IA que entende tudo o que aparece na tela do iPhone


Segundo pesquisadores, resultados podem ser superiores aos do GPT-4

Por Henrique Sampaio

A Apple está trabalhando em uma inteligência artificial generativa capaz de ler a tela do celular e entender elementos visuais e contexto, segundo o site Venture Beat. A IA seria integrada à Siri, que conseguiria interpretar informações, imagens e dados contidos na tela, aumentando assim sua capacidade de comunicação com o usuário.

O sistema, chamado ReALM (Reference Resolution As Language Modeling) faz uso de grandes modelos de linguagem (LLM) para converter qualquer informação contextual na tela, inclusive visual, em texto, de forma que a assistente do dispositivo seja capaz de descrever o que está “vendo” na tela e manter um diálogo coerente com o usuário.

IA da Apple dará à Siri a capacidade de interagir com informações contidas na tela do celular, inclusive visuais, segundo pesquisa. Foto: REUTERS/Loren Elliott/File Photo 
continua após a publicidade

Com a tecnologia, seria possível pedir para a Siri realizar ações com as informações que você está vendo na tela, como um número de telefone, um e-mail ou dados sobre uma empresa.

“Permitir que o usuário emita consultas sobre o que vê em sua tela é um passo crucial para garantir uma verdadeira experiência de mãos-livres em assistentes de voz”, escreveu a equipe de pesquisadores da Apple no artigo que descreve o sistema.

Os resultados com a ReALM, de acordo com os pesquisadores, podem ser superiores ao do GPT-4, da OpenAI.

continua após a publicidade

Contudo, o estudo identifica limitações, como a dificuldade do sistema em distinguir várias imagens, exigindo técnicas avançadas de processamento.

Apesar de manter segredo sobre o assunto, a Apple vem desenvolvendo internamente seu próprio LLM (large language model ou grande modelo de linguagem) batizado de Ajax – informalmente chamado de AppleGPT.

continua após a publicidade

Em fevereiro, Tim Cook, CEO da Apple, afirmou que o iOS 18, a próxima grande atualização do sistema operacional do iPhone, terá integração com IA generativa.

Segundo a Bloomberg, a tecnologia da Apple ainda é inferior à das concorrentes, razão pela qual a empresa esteve em negociação com a OpenAI e o Google, optando por uma parceria. Ainda de acordo com o veículo, a Apple estaria negociando a implantação do Gemini, modelo de IA do Google, no iPhone ainda em 2024.

A Apple deve fazer anúncios com relação ao uso de IA em suas plataformas em junho, durante a Worldwide Developers Conference (WWDC).

A Apple está trabalhando em uma inteligência artificial generativa capaz de ler a tela do celular e entender elementos visuais e contexto, segundo o site Venture Beat. A IA seria integrada à Siri, que conseguiria interpretar informações, imagens e dados contidos na tela, aumentando assim sua capacidade de comunicação com o usuário.

O sistema, chamado ReALM (Reference Resolution As Language Modeling) faz uso de grandes modelos de linguagem (LLM) para converter qualquer informação contextual na tela, inclusive visual, em texto, de forma que a assistente do dispositivo seja capaz de descrever o que está “vendo” na tela e manter um diálogo coerente com o usuário.

IA da Apple dará à Siri a capacidade de interagir com informações contidas na tela do celular, inclusive visuais, segundo pesquisa. Foto: REUTERS/Loren Elliott/File Photo 

Com a tecnologia, seria possível pedir para a Siri realizar ações com as informações que você está vendo na tela, como um número de telefone, um e-mail ou dados sobre uma empresa.

“Permitir que o usuário emita consultas sobre o que vê em sua tela é um passo crucial para garantir uma verdadeira experiência de mãos-livres em assistentes de voz”, escreveu a equipe de pesquisadores da Apple no artigo que descreve o sistema.

Os resultados com a ReALM, de acordo com os pesquisadores, podem ser superiores ao do GPT-4, da OpenAI.

Contudo, o estudo identifica limitações, como a dificuldade do sistema em distinguir várias imagens, exigindo técnicas avançadas de processamento.

Apesar de manter segredo sobre o assunto, a Apple vem desenvolvendo internamente seu próprio LLM (large language model ou grande modelo de linguagem) batizado de Ajax – informalmente chamado de AppleGPT.

Em fevereiro, Tim Cook, CEO da Apple, afirmou que o iOS 18, a próxima grande atualização do sistema operacional do iPhone, terá integração com IA generativa.

Segundo a Bloomberg, a tecnologia da Apple ainda é inferior à das concorrentes, razão pela qual a empresa esteve em negociação com a OpenAI e o Google, optando por uma parceria. Ainda de acordo com o veículo, a Apple estaria negociando a implantação do Gemini, modelo de IA do Google, no iPhone ainda em 2024.

A Apple deve fazer anúncios com relação ao uso de IA em suas plataformas em junho, durante a Worldwide Developers Conference (WWDC).

A Apple está trabalhando em uma inteligência artificial generativa capaz de ler a tela do celular e entender elementos visuais e contexto, segundo o site Venture Beat. A IA seria integrada à Siri, que conseguiria interpretar informações, imagens e dados contidos na tela, aumentando assim sua capacidade de comunicação com o usuário.

O sistema, chamado ReALM (Reference Resolution As Language Modeling) faz uso de grandes modelos de linguagem (LLM) para converter qualquer informação contextual na tela, inclusive visual, em texto, de forma que a assistente do dispositivo seja capaz de descrever o que está “vendo” na tela e manter um diálogo coerente com o usuário.

IA da Apple dará à Siri a capacidade de interagir com informações contidas na tela do celular, inclusive visuais, segundo pesquisa. Foto: REUTERS/Loren Elliott/File Photo 

Com a tecnologia, seria possível pedir para a Siri realizar ações com as informações que você está vendo na tela, como um número de telefone, um e-mail ou dados sobre uma empresa.

“Permitir que o usuário emita consultas sobre o que vê em sua tela é um passo crucial para garantir uma verdadeira experiência de mãos-livres em assistentes de voz”, escreveu a equipe de pesquisadores da Apple no artigo que descreve o sistema.

Os resultados com a ReALM, de acordo com os pesquisadores, podem ser superiores ao do GPT-4, da OpenAI.

Contudo, o estudo identifica limitações, como a dificuldade do sistema em distinguir várias imagens, exigindo técnicas avançadas de processamento.

Apesar de manter segredo sobre o assunto, a Apple vem desenvolvendo internamente seu próprio LLM (large language model ou grande modelo de linguagem) batizado de Ajax – informalmente chamado de AppleGPT.

Em fevereiro, Tim Cook, CEO da Apple, afirmou que o iOS 18, a próxima grande atualização do sistema operacional do iPhone, terá integração com IA generativa.

Segundo a Bloomberg, a tecnologia da Apple ainda é inferior à das concorrentes, razão pela qual a empresa esteve em negociação com a OpenAI e o Google, optando por uma parceria. Ainda de acordo com o veículo, a Apple estaria negociando a implantação do Gemini, modelo de IA do Google, no iPhone ainda em 2024.

A Apple deve fazer anúncios com relação ao uso de IA em suas plataformas em junho, durante a Worldwide Developers Conference (WWDC).

A Apple está trabalhando em uma inteligência artificial generativa capaz de ler a tela do celular e entender elementos visuais e contexto, segundo o site Venture Beat. A IA seria integrada à Siri, que conseguiria interpretar informações, imagens e dados contidos na tela, aumentando assim sua capacidade de comunicação com o usuário.

O sistema, chamado ReALM (Reference Resolution As Language Modeling) faz uso de grandes modelos de linguagem (LLM) para converter qualquer informação contextual na tela, inclusive visual, em texto, de forma que a assistente do dispositivo seja capaz de descrever o que está “vendo” na tela e manter um diálogo coerente com o usuário.

IA da Apple dará à Siri a capacidade de interagir com informações contidas na tela do celular, inclusive visuais, segundo pesquisa. Foto: REUTERS/Loren Elliott/File Photo 

Com a tecnologia, seria possível pedir para a Siri realizar ações com as informações que você está vendo na tela, como um número de telefone, um e-mail ou dados sobre uma empresa.

“Permitir que o usuário emita consultas sobre o que vê em sua tela é um passo crucial para garantir uma verdadeira experiência de mãos-livres em assistentes de voz”, escreveu a equipe de pesquisadores da Apple no artigo que descreve o sistema.

Os resultados com a ReALM, de acordo com os pesquisadores, podem ser superiores ao do GPT-4, da OpenAI.

Contudo, o estudo identifica limitações, como a dificuldade do sistema em distinguir várias imagens, exigindo técnicas avançadas de processamento.

Apesar de manter segredo sobre o assunto, a Apple vem desenvolvendo internamente seu próprio LLM (large language model ou grande modelo de linguagem) batizado de Ajax – informalmente chamado de AppleGPT.

Em fevereiro, Tim Cook, CEO da Apple, afirmou que o iOS 18, a próxima grande atualização do sistema operacional do iPhone, terá integração com IA generativa.

Segundo a Bloomberg, a tecnologia da Apple ainda é inferior à das concorrentes, razão pela qual a empresa esteve em negociação com a OpenAI e o Google, optando por uma parceria. Ainda de acordo com o veículo, a Apple estaria negociando a implantação do Gemini, modelo de IA do Google, no iPhone ainda em 2024.

A Apple deve fazer anúncios com relação ao uso de IA em suas plataformas em junho, durante a Worldwide Developers Conference (WWDC).

Atualizamos nossa política de cookies

Ao utilizar nossos serviços, você aceita a política de monitoramento de cookies.