Logo PUCPR

INTEGRAÇÃO DE VISÃO COMPUTACIONAL E AMBIENTES VIRTUAIS APLICADO EM METAVERSO INDUSTRIAL

NOGUEIRA, Matheus Gabriel Pereira ¹; RUDEK, Marcelo ²
Curso do(a) Estudante: Ciência da Computação – Escola Politécnica – Câmpus Curitiba
Curso do(a) Orientador(a): Engenharia Controle e Automação – Escola Politécnica – Câmpus Curitiba

Introdução: Com o crescente avanço de novas tecnologias, uma área que vem ganhando cada vez mais destaque, é a do Metaverso Industrial. A transposição de partes do mundo físico para o digital é um processo tradicionalmente complexo, que representa uma barreira significativa para a adoção em larga escala dessas tecnologias. Este trabalho aborda o desafio de instanciação de objetos em simulações tridimensionais, propondo um fluxo de trabalho que utiliza visão computacional para mediar a interação entre o usuário e o ambiente virtual. Objetivos: O objetivo principal foi desenvolver e avaliar uma metodologia para a criação de representações virtuais interativas de objetos a partir de imagens digitais. Especificamente, buscou-se investigar e comparar diferentes técnicas de modelagem 3D, utilizar modelos de visão computacional para o reconhecimento de objetos, e validar a metodologia através da integração em uma simulação de chão de fábrica. Materiais e método: A metodologia foi executada em três estágios. Primeiramente, modelos 3D de objetos do laboratório foram criados utilizando técnicas de Fotogrametria Clássica, NeRF e Gaussian Splatting. Em seguida, foi desenvolvido um sistema de reconhecimento de imagem em uma arquitetura cliente-servidor: um servidor em Python com Flask utiliza um modelo Vision Transformer para gerar embeddings de um dataset de imagens sintéticas (renderizadas no Blender) e os compara, via similaridade de cosseno, com o embedding de uma imagem enviada pelo usuário. Por fim, uma aplicação na plataforma Unity foi desenvolvida para atuar como cliente, enviando a imagem do usuário para a API e, com base no ID retornado, instanciando o Prefab do modelo 3D correspondente na cena de simulação. Resultados: Os resultados demonstraram a viabilidade do pipeline proposto. A análise comparativa das técnicas de modelagem 3D destacou diferenças entre realismo visual, custo de processamento. Na etapa de reconhecimento, o modelo ViT-Base padrão demonstrou um bom nível de confiabilidade na classificação dos objetos. A integração final na simulação de fábrica resultou em um protótipo, onde a funcionalidade de instanciação de objetos por imagem pode ser validada. Considerações finais: Conclui-se que a metodologia desenvolvida pode ser uma solução funcional para o problema proposto, validando a hipótese de que a combinação de sistemas de reconhecimento 2D e modelos 3D pré-existentes pode simplificar a autoria de ambientes virtuais. O trabalho contribui, assim, não apenas com uma solução técnica viável, mas com uma abordagem que simplifica a interação do usuário, representando um passo inicial na busca por aplicações de Digital Twins e do Metaverso Industrial mais intuitivas, interativas e acessíveis.

Palavras-chave: Digital Twins; Extended Reality (XR); Unity3D; Computer Vision; Metaverso Industrial.

APRESENTAÇÃO EM VÍDEO

Esta pesquisa foi desenvolvida com bolsa CNPq no programa PIBITI.
Legendas:
  1. Estudante
  2. Orientador
  3. Colaborador

QUERO VOTAR NESTE TRABALHO

Para validarmos seu voto, por favor, preencha os campos abaixo. Alertamos que votos duplicados ou com CPF inválido não serão considerados.