IA generativa no grupo BMW
IA generativa, realidade aumentada e estacionamento teleoperado – a experiência digital no BMW do futuro na Consumer Electronics Show (CES) 2024.
8.03.2022
A experiência digital no automóvel, tanto do presente como do futuro, é o tema dominante da presença do Grupo BMW na CES 2024. Novos produtos de infoentretenimento para o atual portfólio de modelos da BMW serão mostrados no evento. Ao mesmo tempo, o Grupo BMW está demonstrando projetos de desenvolvimento inovadores que oferecem uma visão do futuro. Os visitantes podem teleoperar um BMW iX e guiá-lo pelo Silver Lot no local da exposição, descobrir como passageiro o potencial oferecido pelos óculos de realidade aumentada durante uma viagem e experimentar uma nova capacidade generativa de IA do BMW Intelligent Personal Assistant alimentado pela grande Alexa. modelo de linguagem (LLM), permitindo respostas rápidas e respostas sobre as características do veículo.
“BMW é sinônimo de máquina de direção definitiva e experiência digital definitiva”, afirma Frank Weber, membro do Conselho de Administração responsável pelo Desenvolvimento do Grupo BMW. “Na CES estamos mostrando mais conteúdo, mais customização e mais jogos. Tudo isso é sustentado pelo nosso poderoso sistema operacional BMW desenvolvido internamente. E olharemos para o futuro, é claro, com realidade aumentada perfeitamente integrada e inteligência artificial forte e confiável na interação entre homem e máquina.”
O Sistema Operacional BMW 9 torna isso possível: novas experiências de jogo na Loja ConnectedDrive em 2024.
A oferta opcional “BMW Digital Premium” permite que os clientes BMW com Sistema Operacional BMW 9 acessem uma ampla gama de produtos da Loja BMW ConnectedDrive. Além de funções sob demanda para o veículo, a loja também oferece uma seleção em constante evolução de aplicativos de terceiros nas categorias música e áudio, notícias e revistas e jogos para o sistema de infoentretenimento. Mais jogos estão sendo disponibilizados através deste canal para diversão no carro. E os ocupantes também poderão jogar usando controladores de jogos adequados no futuro. A BMW apresenta esta nova forma de experiência de jogo pela primeira vez na CES 2024. Por exemplo, “Beach Buggy Racing 2” oferece aos clientes um jogo de corrida cheio de ação que evoca memórias dos grandes clássicos dos consoles. Dois jogadores no veículo podem competir entre si no modo de tela dividida usando seus controladores de jogo. Qualquer controlador de jogo padrão com capacidade Bluetooth pode ser conectado ao sistema de infoentretenimento em apenas algumas etapas. A ligação do controlador estará disponível sem fio para o Sistema Operacional BMW 9 durante 2024.
O aplicativo AirConsole já permite que os clientes da BMW joguem jogos individuais e multijogador em seus carros. Os “jogos casuais” oferecidos são fáceis de aprender para qualquer pessoa; o smartphone do usuário funciona como controlador, permitindo um controle simples da jogabilidade e de rápido aprendizado. Adições são feitas constantemente na escolha de jogos no aplicativo AirConsole do carro.
O BMW Digital Premium está disponível opcionalmente para modelos com Sistema Operacional BMW 9 e pode ser obtido na Loja ConnectedDrive online, no aplicativo MyBMW ou diretamente no carro. O BMW Digital Premium permite que os clientes aproveitem no carro todos os aplicativos disponíveis em seu país, além de cobrir o uso de dados necessário. E o pacote oferece mais, incluindo funções de navegação aprimoradas e opções adicionais de personalização.
Entretenimento de topo – com a aplicação de vídeo nos sistemas operativos BMW 8.5 e 9.
Além do BMW Theatre Screen com Amazon Fire TV integrado no compartimento traseiro do BMW Série 7, os clientes BMW agora podem assistir a uma variedade de vídeos conteúdo também no display central*. O já bem-sucedido sistema operacional TiVo para TVs inteligentes foi otimizado para streaming de vídeo no carro no espaço de apenas alguns meses por desenvolvedores do BMW Group trabalhando em conjunto com a XPERI Inc. por TiVo. O programa de entretenimento inclui canais ao vivo e bibliotecas de mídia sob demanda, abrangendo as categorias notícias, esportes, entretenimento infantil, filmes e séries de TV.
Lançada pela primeira vez no novo BMW Série 5, a plataforma será agora implementada em outros modelos executivos e de luxo por via aérea**. Desde o final de 2023, os clientes que conduzem modelos compactos com Sistema Operativo BMW 9 também podem aceder à aplicação de vídeo com BMW Digital Premium. Estes serão seguidos por outros modelos ao longo de 2024, como o BMW X2 e todos os modelos da nova família MINI.
O aplicativo de vídeo está atualmente acessível nos EUA, Reino Unido, Coreia do Sul, França, Itália, Alemanha e Espanha, e em breve chegará ao Japão. Vários portais estão disponíveis internacionalmente, incluindo Pluto TV, Bloomberg, TED, Yahoo! e pimenta. Estes são acompanhados por serviços de streaming específicos do mercado:
Pronto para os wearables do futuro – experiência de direção aprimorada com óculos de realidade aumentada XREAL Air 2.
A feira CES também mostra o Grupo BMW demonstrando pela primeira vez como os óculos de realidade aumentada (AR) estão configurados para enriquecer a experiência de direção no futuro. Os visitantes podem testar os possíveis usos dos óculos AR em um passeio por Las Vegas. Usando os óculos, podem ver como as instruções de navegação, os avisos de perigo, o conteúdo de entretenimento, as informações sobre as estações de carregamento e as visualizações de apoio em situações de estacionamento são perfeitamente integradas no ambiente do mundo real pelo “XREAL Air 2”. Os dispositivos AR e de realidade mista (MR) se tornarão cada vez mais populares nos próximos anos, graças aos avanços tecnológicos e aos modelos básicos que são mais acessíveis para os clientes. No futuro, os dispositivos AR e MR poderão oferecer aos condutores e aos passageiros informações melhoradas e experiências agradáveis para complementar os ecrãs instalados no veículo.
O Grupo BMW tem trabalhado no desenvolvimento da tecnologia AR/MR desde 2008 e investigando possíveis aplicações para head-mounted displays em projetos de pesquisa. Os engenheiros da BMW, juntamente com seus parceiros de desenvolvimento, conseguiram agora mostrar pela primeira vez conteúdo estável de realidade aumentada e realidade mista aos passageiros em um veículo em movimento dinâmico. A imagem exibida permanece incorporada de forma segura no ambiente, mesmo em situações de condução desafiadoras, como ao fazer curvas, passar por grandes lombadas ou acelerar. Para conseguir isso, o sistema de rastreamento do dispositivo AR/MR em questão deve estar vinculado aos dados do sensor do veículo.
O Grupo BMW construiu consistentemente seu conjunto de experiência com dispositivos AR/MR ao longo dos anos e apresentou os resultados ao público. Estes incluem o projeto inicial MINI Augmented Vision (2015) , a colaboração com Meta Reality Labs (2022 e 2023), os Smartglasses ConnectedRide da BMW Motorrad e a M Mixed Reality Driving Experience . A função Augmented View nos modelos BMW e MINI atuais mostra aos motoristas uma transmissão de vídeo ao vivo no display que é aumentada com informações adicionais para uma orientação ideal ao usar o sistema de navegação. Na área de aplicações XR altamente inovadoras relacionadas a veículos, o Grupo BMW registrou patentes para quase 70 invenções de seus desenvolvedores nos últimos anos.
“Graças às recentes colaborações de investigação com Meta Reality Labs e XREAL, fizemos progressos consideráveis nos nossos preparativos para a integração de dispositivos XR externos na nossa experiência de condução em modelos de produção. Estamos orgulhosos de liderar o caminho aqui e estamos bem preparados para oferecer aos nossos clientes experiências XR de tirar o fôlego no futuro”, disse Peter Lehnert, vice-presidente de pesquisa, novas tecnologias e inovações em carros digitais do Grupo BMW.
“Estamos entusiasmados com a perspectiva de poder embelezar digitalmente o mundo real, combinando tecnologia automotiva com tecnologia AR”, comenta Peng Jin, cofundador da XREAL. “E isso pode levar a experiências totalmente novas ao viajar de carro e abrir um novo potencial para a tecnologia AR.”
O Grupo BMW realizou com sucesso um trabalho pioneiro em tecnologias digitais no passado – como o acesso a veículos usando a BMW Digital Key – e tem sido uma força motriz por trás da padronização de tais inovações em toda a indústria. parceiros na área de AR/MR também. O objetivo aqui é estabelecer um padrão da indústria para conectar os dispositivos XR da indústria CE com veículos.
Demonstração de desenvolvimento: o assistente de voz da BMW se torna o melhor especialista em veículos com a ajuda do modelo de linguagem grande Alexa (). LLM).
Na CES, o Grupo BMW e a Amazon apresentam recursos de assistente de voz LLM com base em um projeto de desenvolvimento atual no qual as empresas estão trabalhando em preparação para um possível lançamento em série . IA alimentada pela Alexa LLM Na CES, os visitantes experimentam como o assistente de voz fornece instruções e respostas rápidas sobre as funções do veículo de uma maneira muito mais humana e semelhante a uma conversa, ao mesmo tempo em que são capazes de controlar algumas funções do veículo.
O BMW Intelligent Personal Assistant utiliza inteligência artificial para processamento de fala há muito tempo e esta demonstração é a mais recente prova da inovação contínua que a BMW e seus parceiros estão trazendo aos clientes. Capacidades de processamento complexas, que permitem interações e diálogos semelhantes aos humanos, ainda não foram integradas nos veículos da série BMW. Essas capacidades são agora possíveis graças aos LLMs, que são modelos de IA concebidos para processar a linguagem humana a um alto nível e gerar respostas adequadas. O Grupo BMW também está tomando medidas cuidadosas para construir uma experiência segura e confiável para os clientes e continua a testar e iterar esses recursos LLM ao longo do tempo com seus parceiros.
Desde a introdução do primeiro Assistente Pessoal Inteligente BMW em 2018, a interação linguística tem sido uma parte essencial do BMW iDrive. Hoje, o assistente de voz dá aos clientes controle sobre muitas funções do veículo para que possam manter as mãos no volante e os olhos na estrada. Aproveitando o Alexa Custom Assistant da Amazon – uma solução baseada na tecnologia Alexa e que permite às empresas criar seu próprio assistente de voz personalizado – a próxima geração do BMW Intelligent Personal Assistant em breve se tornará mais poderosa ao longo do ano em veículos com BMW Sistema Operacional 9.
Projeto de desenvolvimento conjunto com a Valeo abre caminho para estacionamento com manobrista teleoperado.
O Grupo BMW e a Valeo firmaram uma parceria estratégica para trabalhar no desenvolvimento conjunto de soluções de estacionamento automatizado de nível 4 de próxima geração. Isso inclui o desenvolvimento de soluções para manobrista automatizado (AVP). Aqui, o cliente deixa seu veículo em uma área de entrega designada. O veículo então procura ele mesmo uma vaga de estacionamento vaga, manobra para dentro da vaga e depois sai dela novamente, podendo até retornar à área de coleta para ser recolhido pelo motorista. Tanto um sistema de direção autônomo quanto um sistema de manobrista teleoperado podem ser usados como tecnologia subjacente para isso.
Os visitantes da CES 2024 terão a oportunidade de experimentar o estacionamento com manobrista teleoperado. A teleoperação oferece controle completo em situações que poderiam ser muito desafiadoras para sistemas totalmente autônomos, como em ambientes complexos ou desconhecidos.
O teleoperador utiliza tecnologia sofisticada e imagens de câmeras ao vivo para guiar e movimentar o veículo para que ele possa ser estacionado e recuperado novamente de maneira cuidadosamente controlada. Possíveis aplicações futuras para esta tecnologia poderão incluir estacionamento em eventos, aeroportos ou no setor logístico.
* Em conjunto com ConnectedDrive Professional em modelos com Sistema Operativo BMW 8.5 ou em conjunto com BMW Digital Premium com Sistema Operativo BMW 9.
** BMW Série 7; BMW iX produzido a partir de 23/03; BMW X5, BMW X6, BMW X7, BMW X5 M, BMW X6 M produzidos a partir de 23/04; BMW XM produzido a partir de 23/08.
“BMW é sinônimo de máquina de direção definitiva e experiência digital definitiva”, afirma Frank Weber, membro do Conselho de Administração responsável pelo Desenvolvimento do Grupo BMW. “Na CES estamos mostrando mais conteúdo, mais customização e mais jogos. Tudo isso é sustentado pelo nosso poderoso sistema operacional BMW desenvolvido internamente. E olharemos para o futuro, é claro, com realidade aumentada perfeitamente integrada e inteligência artificial forte e confiável na interação entre homem e máquina.”
O Sistema Operacional BMW 9 torna isso possível: novas experiências de jogo na Loja ConnectedDrive em 2024.
A oferta opcional “BMW Digital Premium” permite que os clientes BMW com Sistema Operacional BMW 9 acessem uma ampla gama de produtos da Loja BMW ConnectedDrive. Além de funções sob demanda para o veículo, a loja também oferece uma seleção em constante evolução de aplicativos de terceiros nas categorias música e áudio, notícias e revistas e jogos para o sistema de infoentretenimento. Mais jogos estão sendo disponibilizados através deste canal para diversão no carro. E os ocupantes também poderão jogar usando controladores de jogos adequados no futuro. A BMW apresenta esta nova forma de experiência de jogo pela primeira vez na CES 2024. Por exemplo, “Beach Buggy Racing 2” oferece aos clientes um jogo de corrida cheio de ação que evoca memórias dos grandes clássicos dos consoles. Dois jogadores no veículo podem competir entre si no modo de tela dividida usando seus controladores de jogo. Qualquer controlador de jogo padrão com capacidade Bluetooth pode ser conectado ao sistema de infoentretenimento em apenas algumas etapas. A ligação do controlador estará disponível sem fio para o Sistema Operacional BMW 9 durante 2024.
O aplicativo AirConsole já permite que os clientes da BMW joguem jogos individuais e multijogador em seus carros. Os “jogos casuais” oferecidos são fáceis de aprender para qualquer pessoa; o smartphone do usuário funciona como controlador, permitindo um controle simples da jogabilidade e de rápido aprendizado. Adições são feitas constantemente na escolha de jogos no aplicativo AirConsole do carro.
O BMW Digital Premium está disponível opcionalmente para modelos com Sistema Operacional BMW 9 e pode ser obtido na Loja ConnectedDrive online, no aplicativo MyBMW ou diretamente no carro. O BMW Digital Premium permite que os clientes aproveitem no carro todos os aplicativos disponíveis em seu país, além de cobrir o uso de dados necessário. E o pacote oferece mais, incluindo funções de navegação aprimoradas e opções adicionais de personalização.
Entretenimento de topo – com a aplicação de vídeo nos sistemas operativos BMW 8.5 e 9.
Além do BMW Theatre Screen com Amazon Fire TV integrado no compartimento traseiro do BMW Série 7, os clientes BMW agora podem assistir a uma variedade de vídeos conteúdo também no display central*. O já bem-sucedido sistema operacional TiVo para TVs inteligentes foi otimizado para streaming de vídeo no carro no espaço de apenas alguns meses por desenvolvedores do BMW Group trabalhando em conjunto com a XPERI Inc. por TiVo. O programa de entretenimento inclui canais ao vivo e bibliotecas de mídia sob demanda, abrangendo as categorias notícias, esportes, entretenimento infantil, filmes e séries de TV.
Lançada pela primeira vez no novo BMW Série 5, a plataforma será agora implementada em outros modelos executivos e de luxo por via aérea**. Desde o final de 2023, os clientes que conduzem modelos compactos com Sistema Operativo BMW 9 também podem aceder à aplicação de vídeo com BMW Digital Premium. Estes serão seguidos por outros modelos ao longo de 2024, como o BMW X2 e todos os modelos da nova família MINI.
O aplicativo de vídeo está atualmente acessível nos EUA, Reino Unido, Coreia do Sul, França, Itália, Alemanha e Espanha, e em breve chegará ao Japão. Vários portais estão disponíveis internacionalmente, incluindo Pluto TV, Bloomberg, TED, Yahoo! e pimenta. Estes são acompanhados por serviços de streaming específicos do mercado:
- Alemanha: JOYN, ZDF, tagesschau, Deutsche Welle.
- Itália: RaiPlay
- França: TF1
- EUA: Tubi, Gusto TV, Journy
- Japão: Hulu Japão, NHK Plus, NTV NEWS NNN, TVer, WOWOW
Pronto para os wearables do futuro – experiência de direção aprimorada com óculos de realidade aumentada XREAL Air 2.
A feira CES também mostra o Grupo BMW demonstrando pela primeira vez como os óculos de realidade aumentada (AR) estão configurados para enriquecer a experiência de direção no futuro. Os visitantes podem testar os possíveis usos dos óculos AR em um passeio por Las Vegas. Usando os óculos, podem ver como as instruções de navegação, os avisos de perigo, o conteúdo de entretenimento, as informações sobre as estações de carregamento e as visualizações de apoio em situações de estacionamento são perfeitamente integradas no ambiente do mundo real pelo “XREAL Air 2”. Os dispositivos AR e de realidade mista (MR) se tornarão cada vez mais populares nos próximos anos, graças aos avanços tecnológicos e aos modelos básicos que são mais acessíveis para os clientes. No futuro, os dispositivos AR e MR poderão oferecer aos condutores e aos passageiros informações melhoradas e experiências agradáveis para complementar os ecrãs instalados no veículo.
O Grupo BMW tem trabalhado no desenvolvimento da tecnologia AR/MR desde 2008 e investigando possíveis aplicações para head-mounted displays em projetos de pesquisa. Os engenheiros da BMW, juntamente com seus parceiros de desenvolvimento, conseguiram agora mostrar pela primeira vez conteúdo estável de realidade aumentada e realidade mista aos passageiros em um veículo em movimento dinâmico. A imagem exibida permanece incorporada de forma segura no ambiente, mesmo em situações de condução desafiadoras, como ao fazer curvas, passar por grandes lombadas ou acelerar. Para conseguir isso, o sistema de rastreamento do dispositivo AR/MR em questão deve estar vinculado aos dados do sensor do veículo.
O Grupo BMW construiu consistentemente seu conjunto de experiência com dispositivos AR/MR ao longo dos anos e apresentou os resultados ao público. Estes incluem o projeto inicial MINI Augmented Vision (2015) , a colaboração com Meta Reality Labs (2022 e 2023), os Smartglasses ConnectedRide da BMW Motorrad e a M Mixed Reality Driving Experience . A função Augmented View nos modelos BMW e MINI atuais mostra aos motoristas uma transmissão de vídeo ao vivo no display que é aumentada com informações adicionais para uma orientação ideal ao usar o sistema de navegação. Na área de aplicações XR altamente inovadoras relacionadas a veículos, o Grupo BMW registrou patentes para quase 70 invenções de seus desenvolvedores nos últimos anos.
“Graças às recentes colaborações de investigação com Meta Reality Labs e XREAL, fizemos progressos consideráveis nos nossos preparativos para a integração de dispositivos XR externos na nossa experiência de condução em modelos de produção. Estamos orgulhosos de liderar o caminho aqui e estamos bem preparados para oferecer aos nossos clientes experiências XR de tirar o fôlego no futuro”, disse Peter Lehnert, vice-presidente de pesquisa, novas tecnologias e inovações em carros digitais do Grupo BMW.
“Estamos entusiasmados com a perspectiva de poder embelezar digitalmente o mundo real, combinando tecnologia automotiva com tecnologia AR”, comenta Peng Jin, cofundador da XREAL. “E isso pode levar a experiências totalmente novas ao viajar de carro e abrir um novo potencial para a tecnologia AR.”
O Grupo BMW realizou com sucesso um trabalho pioneiro em tecnologias digitais no passado – como o acesso a veículos usando a BMW Digital Key – e tem sido uma força motriz por trás da padronização de tais inovações em toda a indústria. parceiros na área de AR/MR também. O objetivo aqui é estabelecer um padrão da indústria para conectar os dispositivos XR da indústria CE com veículos.
Demonstração de desenvolvimento: o assistente de voz da BMW se torna o melhor especialista em veículos com a ajuda do modelo de linguagem grande Alexa (). LLM).
Na CES, o Grupo BMW e a Amazon apresentam recursos de assistente de voz LLM com base em um projeto de desenvolvimento atual no qual as empresas estão trabalhando em preparação para um possível lançamento em série . IA alimentada pela Alexa LLM Na CES, os visitantes experimentam como o assistente de voz fornece instruções e respostas rápidas sobre as funções do veículo de uma maneira muito mais humana e semelhante a uma conversa, ao mesmo tempo em que são capazes de controlar algumas funções do veículo.
O BMW Intelligent Personal Assistant utiliza inteligência artificial para processamento de fala há muito tempo e esta demonstração é a mais recente prova da inovação contínua que a BMW e seus parceiros estão trazendo aos clientes. Capacidades de processamento complexas, que permitem interações e diálogos semelhantes aos humanos, ainda não foram integradas nos veículos da série BMW. Essas capacidades são agora possíveis graças aos LLMs, que são modelos de IA concebidos para processar a linguagem humana a um alto nível e gerar respostas adequadas. O Grupo BMW também está tomando medidas cuidadosas para construir uma experiência segura e confiável para os clientes e continua a testar e iterar esses recursos LLM ao longo do tempo com seus parceiros.
Desde a introdução do primeiro Assistente Pessoal Inteligente BMW em 2018, a interação linguística tem sido uma parte essencial do BMW iDrive. Hoje, o assistente de voz dá aos clientes controle sobre muitas funções do veículo para que possam manter as mãos no volante e os olhos na estrada. Aproveitando o Alexa Custom Assistant da Amazon – uma solução baseada na tecnologia Alexa e que permite às empresas criar seu próprio assistente de voz personalizado – a próxima geração do BMW Intelligent Personal Assistant em breve se tornará mais poderosa ao longo do ano em veículos com BMW Sistema Operacional 9.
Projeto de desenvolvimento conjunto com a Valeo abre caminho para estacionamento com manobrista teleoperado.
O Grupo BMW e a Valeo firmaram uma parceria estratégica para trabalhar no desenvolvimento conjunto de soluções de estacionamento automatizado de nível 4 de próxima geração. Isso inclui o desenvolvimento de soluções para manobrista automatizado (AVP). Aqui, o cliente deixa seu veículo em uma área de entrega designada. O veículo então procura ele mesmo uma vaga de estacionamento vaga, manobra para dentro da vaga e depois sai dela novamente, podendo até retornar à área de coleta para ser recolhido pelo motorista. Tanto um sistema de direção autônomo quanto um sistema de manobrista teleoperado podem ser usados como tecnologia subjacente para isso.
Os visitantes da CES 2024 terão a oportunidade de experimentar o estacionamento com manobrista teleoperado. A teleoperação oferece controle completo em situações que poderiam ser muito desafiadoras para sistemas totalmente autônomos, como em ambientes complexos ou desconhecidos.
O teleoperador utiliza tecnologia sofisticada e imagens de câmeras ao vivo para guiar e movimentar o veículo para que ele possa ser estacionado e recuperado novamente de maneira cuidadosamente controlada. Possíveis aplicações futuras para esta tecnologia poderão incluir estacionamento em eventos, aeroportos ou no setor logístico.
* Em conjunto com ConnectedDrive Professional em modelos com Sistema Operativo BMW 8.5 ou em conjunto com BMW Digital Premium com Sistema Operativo BMW 9.
** BMW Série 7; BMW iX produzido a partir de 23/03; BMW X5, BMW X6, BMW X7, BMW X5 M, BMW X6 M produzidos a partir de 23/04; BMW XM produzido a partir de 23/08.
