PROJETO DE AMBIENTES VIRTUAIS BASEADOS EM VISÃO COMPUTACIONAL APLICADO NA MANUFATURA INTELIGENTE

INTRODUÇÃO: O desenvolvimento tecnológico decorrente da indústria 4.0 impulsionou a evolução de tecnologias associadas ao machine learning e à inteligência artificial aplicadas ao conceito de Gêmeos Digitais, que possibilita a relação entre o mundo virtual e o real por meio de um modelo tridimensional, possibilitando simulações e visualização de acontecimentos. OBJETIVOS: O objetivo principal do estudo consistiu em avaliar essas ferramentas dentro do contexto de reconstrução de um laboratório de automação da PUCPR (LAS 6), por meio da identificação de objetos e da transposição de suas coordenadas para um modelo virtual. MATERIAIS E MÉTODO: Em um primeiro momento testaram-se softwares clássicos de fotogrametria baseada em Structure from Motion, como o Meshroom, utilizando imagens capturadas por um smartphone. No decorrer do experimento, observaram-se limitações desses softwares em ambientes com superfícies planas e metálicas. A pesquisa necessitou migrar para um pipeline diferente: a metodologia chamada de “Montagem Semântica”, que combina a Semantic Assembly e a CAD-based Scene Reconstruction. Utilizando uma câmera Intel RealSense D435i, o processamento automatizado seleciona os frames e aplica o modelo YOLOv8n-seg para segmentação de instâncias. As coordenadas são projetadas no plano pelo modelo de câmera Pinhole, filtradas e consolidadas por clusterização espacial DBSCAN, gerando um arquivo JSON que coloca os modelos CAD no Blender. RESULTADOS: Os testes iniciais com Meshroom, COLMAP e Polycam demonstraram malhas distorcidas e esburacadas, inviabilizando a reconstrução do laboratório. Em contraponto, o pipeline de Montagem Semântica, aplicado ao processamento de 12 vídeos do LAS 6, demonstrou melhor eficiência computacional e a geração do arquivo objetos_fundidos.json contendo classes, número de confirmações e coordenadas globais dos objetos. Contudo, observou-se limitação semântica do modelo YOLO com pesos genéricos (COCO), que classificou incorretamente objetos. CONSIDERAÇÕES FINAIS: Conclui-se que o método desenvolvido atende à flexibilidade exigida por um Gêmeo Digital, comprovando que a metrologia visual 2D-3D demonstra ser aplicável.

PALAVRAS-CHAVE: Visão computacional; Inteligência artificial; Gêmeo Digital; Segmentação Semântica.