Como o Machine Learning oferece um avanço no ajuste de cores

Como o Machine Learning oferece um avanço no ajuste de cores

Conteúdo SMPTE

Na edição de abril do SMPTE Motion Imaging Journal, foi explorado o uso do machine learning (ML) para corrigir cores de marcas específicas pixel a pixel instantaneamente. Em um mundo centrado na marca, essa tecnologia tem um enorme potencial em uma ampla gama de aplicações, especialmente nas arenas lucrativas de esportes ao vivo e publicidade. Quer seja o vermelho em um anúncio da Coca-Cola ou o tom exato de um uniforme do Cincinnati Reds, a cor precisa é um ativo de marca altamente valorizado.

A consistência visual e a exibição das cores corretas da marca são um assunto complexo, afetado por informações de talvez dezenas de câmeras com lentes e ângulos diferentes; o clima, a hora do dia e o mix de iluminação natural e artificial no evento; outras variáveis ​​físicas, como suor em camisetas, luz e sombras; bem como diferentes exibições de tela, monitores de referência e até mesmo a percepção dos próprios especialistas em correção de cores. Além disso, as soluções atuais de correção de cor com ajuste manual do brilho e da quantidade de vermelho, verde e azul na imagem impactam todo o quadro, mudando não apenas a cor desejada, mas também as cores circundantes dos tons de pele, uniformes do oponente, céu e grama.

Para enfrentar o desafio da correção localizada de cores, a Clemson University Research Foundation reuniu uma equipe diversificada de tecnólogos de graduação a pós-doutorado, com formação em engenharia da computação, engenharia industrial, bioengenharia e física, bem como produção e marketing de filmes de longa-metragem. Sua combinação de experiência criativa e tecnológica permitiu que abordassem a arte e a ciência do projeto. O resultado é um protótipo de software, denominado ColorNet.

ColorNet é baseado em algoritmos de ML que reconhecem padrões de um conjunto de dados de amostra de treinamento inicial, os analisa e desenvolve um modelo para lidar com tendências nos dados. Neste caso, o conjunto de amostra incluiu milhares de quadros de imagens com correção de cor em uniformes de futebol no icônico tom laranja Clemson. A rede neural foi treinada para atingir apenas essa cor de marca específica e ajustar automaticamente pixel a pixel sem alterar as cores ao redor. Em testes alfa, o sistema de protótipo teve um desempenho impressionante com alta precisão e eficiência computacional.

Saiba mais sobre como a equipe Clemson aproveitou os últimos avanços em aprendizado profundo para criar ColorNet e como eles estão otimizando as camadas e parâmetros da arquitetura do modelo para tornar a implementação no mundo real possível. Leia Automated Brand-Color Accuracy for Real-Time Video, no SMPTE Motion Imaging de abril.