SET Sudeste debate produção virtual com IA

SET Sudeste debate produção virtual com IA

Fechando a manhã do SET Sudeste, que se realiza em Belo Horizonte, Minas Gerais, foi debatido “o Jornalismo e entretenimento na produção virtual, como aproveitar o melhor das novas tecnologias e o uso da Inteligência Artificial”. O painel, de grande interesse da plateia, foi moderado por André Dias Arnaut, Especialista Produção virtual e Motion Graphics da Legado Tecnologia; e teve a participação de Felipe Domingues, Gerente de Pré-Vendas da CIS Group; Renato Goya, Engenheiro de pré-venda da Panasonic Brasil; Clecio Roberto Vieira da Silva, Especialista de Produto e Pré Vendas da Canon Brasil; e  Felipe Semprine, Engenheiro de Sistemas da Convergint.

Arnaut abriu a palestra falando que estamos em um momento no qual precisamos criar mais conteúdo com produção virtual, mas com menos orçamento. “A Produção virtual hoje tem novas tecnologias, é uma revolução com soluções que estão sendo adotadas de forma muito rápida, com atenção especial para esta tecnologia que trás, desde 2018, uma qualidade que vem dos games, e trás sombra, nuances, e relevos. As tecnologias trazem embarcadas uma enorme qualidade que faz com que o telespectador não saiba o que é real e o que não é”, tudo como consequência, segundo ele, de uma grande evolução gerada pela incorporação da inteligência artificial”.

Felipe Semprine afirmou na sua palestra que é preciso entender como funciona o ecossistema virtual e assim entender as tecnologias imersivas, sejaAR, VR, MR ou XR, que é  Realidade Estendida (Extended Reality), um termo que abrange qualquer tipo de tecnologia que altera a realidade adicionando elementos digitais ao ambiente físico ou do mundo real em qualquer extensão.

Para Semprime, é importante entender que, com tecnologia embarcada PE, é mais fácil usar painéis de LED para produção virtual com maiores taxas de atualização, e afirmou que “a IA já permite utilizar ferramentas compatíveis com as quais em apenas um clique se crie uma imagem 2D, por exemplo, para ser criada uma imagem e trabalho ao vivo.

Clecio Silva da Canon falou da lente Dual Fish que permite gravar com lente RF5. Assim a lente faz  o trabalho de gravar como se fossem duas câmeras, com correção de exposição direto na câmera, trabalhando com um óculos VR. Por outro lado, disse o executivo que este tipo de lentes trazem ao vídeo “diferentes interpretações da cena, porque a lenta trás perspectivas trabalhando apenas com algumas câmeras”.

Ele explicou que aqui a gravação é feita com paralaxe usando duas lentes olho de peixe em um sensor. Por meio de software, as gravações são convertidas em projeções equirretangulares, formato padrão de Realidade Virtual. As gravações recortadas e convertidas são projetadas em um Óculos VR para simular a visão humana, pelo qual as gravações aparecerão em 3D (3D) quando visualizadas individualmente pelo olho esquerdo e direito, devido ao efeito de paralaxe.

Por outro lado, o executivo da Canon falou dos clientes brasileiros que utilizaram câmeras da empresa para produção virtual com cases como o da TV Anhanguera. Finalmente, falou de vídeo volumétrico 3D, e deu exemplo de um case realizado no Japão com mais de 100 câmeras. Ele disse que o vídeo volumétrico é uma tecnologia que reconstrói um dado espacial 3D a partir de imagens capturadas. “O processo não costura e alterna dados de imagem de várias câmeras. Em vez disso, um espaço 3D inteiro é reconstruído como dados, permitindo assim a geração de vídeo de qualquer posição ou ângulo dentro desse espaço. Ao converter vídeo volumétrico, é possível fornecer uma variedade de saídas, como vídeo de ponto de vista livre de imagens 2D e conteúdo manipulado de dados 3D”. Para Clecio o diferencial será que no vídeo volumétrico o espectador poderá ter interação com as imagens.

Felipe Domingues, Gerente de Pré-Vendas da CIS Group, falou dos produtos e soluções da stYpe  para diferentes tipos de produção virtual: VR (Virtual Reality), AR (Augmented Reality), XR (Extended Reality), colocando exemplos de cases realizados em países como México, com soluções como a Flower, que permite “seguir mediante tracking os objetos”, ou o “GreenKiller, que é a solução para chroma-key”, além de um exemplo de AR em um jogo de futebol americano com traking mecânico em uma cabeça de câmera PTZ com Pan, Tilt e foco. Finalmente, falou de processos de XR e como é possível utilizando Unreal com imagens em 3D. “Todas estas são aplicações diferentes com diferentes fluxos de trabalho que vão desde a captação da câmera, o tracking e como o rendingeng leva o sinal a um painel de LED”.

Outro produto apresentado foi o RedSpy, que mapeia objetos e posições com acompanhamento dos movimentos da câmera, isso por ser um “Optical Camera Tracking”. Domingues disse que o RedSpy pode trabalhar com lentes com servo e com servos passivos. “RedSpy é uma unidade que não precisa de recalibração, tornando o sistema muito mais fácil de operar”, uma coisa, que como explicou, é “uma dor muito grande em outras soluções”.

Ainda explicou que todas as soluções são de “Software only”, pelo que é fácil de adquirir no Brasil. Já trabalhamos com a Globo, Casablanca, Fábrika Filmes, TS Music, 555 Studios, Transformação Digital, Maze FX, InMagic. O projeto da Casablanca é recente e está muito legal, se alguém quer conhecer e visitar, está disponível”.

Renato Goya avançou para o diferencial da BlueYounder e como ela trabalha dentro do ecossistema da Panasonic. “Adquirimos em 2023 a empresa para ampliar a gama de inteligência artificial embarcada nos nossos produtos”. Ele explicou como a IA pode ser usada nas câmeras PTZ AW-UE40, que chega com autotracking embarcado para aplicações através das quais uma única pessoa está sendo trackeada pela câmera. Além do hardware, o “Auto tracking pode ser feito por software com reconhecimento facial e corporal que nós permite antecipar o movimento da pessoa. Assim o autotracking por software é mais preciso e é utilizada em operações sensíveis.

Goya disse que o autofoco é feito com IA com “tracking de foco com o qual se trabalha no rosto e nos olhos da pessoa, o que é muito bom para jornalismo”.

Outro produto apresentado está concentrado no que permite fazer Chroma-key sem fundo verde e boa iluminação. “Aplicamos IA e só precisamos ter fundo fixo para que o software faça o recorte do sinal, com um recorte de qualidade muito boa. Este vai ser lançado na NAB”.

Por outro lado, e falando em produção virtual, Goya disse que neste aspecto com o protocolo Free-D vai permitir realizar produção virtual e aumentada. A VR com Free-d VR com. Ele explicou um case da ESPN com grafismo e tracking virtual.

Finalmente, trouxe o Carnaval no Brasil com realidade aumentada em tempo real durante a transmissão da Globo realizado com a câmera AW-EU150 e o câmera controller AW-150RP permitindo que “na publicidade em tempo real, se perceba que há realidade no vídeo”.

O SET Sudeste tem o patrocínio de Alliance, Canon, CIS Group, Embratel, Panasonic, Pinnacle, Convergint, SES e Speedcast, e o apoio da NeoID e Teletronix. Além do apoio institucional da Globo, AMIRT, ABERT, ABRATEL, TV Alterosa e Record Minas

Por Fernando Moura e Tito Liberato