Como criar um modelo 3D simples com a Apple Object Capture API
Veja como criar um modelo 3D simples usando a Object Capture API da Apple, integrada ao software de controle e automação da PhotoRobot.
Object Capture API da Apple e modelos 3D por fotogrametria
Assim que foi lançada, ficamos ansiosos para testar a Object Capture API da Apple na criação de modelos 3D com o PhotoRobot. Embora ainda não seja perfeita, precisamos reconhecer que a Apple está, sem dúvida, definindo o padrão nesse segmento. O Object Capture usa algoritmos de fotogrametria para transformar uma série de fotos em modelos 3D de alta qualidade, otimizados para realidade aumentada. Ele se integra ao software de controle PhotoRobot e a workflows profissionais de conteúdo 3D.
Para testar o Object Capture, o processo foi semelhante ao da fotografia de rotações em 360°. Primeiro, fotografamos dois conjuntos de 36 fotos, o que oferece vistas de cima e também da parte inferior do produto. Em seguida, usamos o Object Capture para processar as fotos e gerar um arquivo USDZ. Esse arquivo pôde ser visualizado no AR Quick Look ou incorporado ao nosso site por meio de um visualizador de conteúdo 3D, como o Emersya.
Mas qual foi o desempenho do Object Capture? Continue lendo para ver os resultados por conta própria e conhecer a avaliação da PhotoRobot sobre a Object Capture API. Veja em que o Object Capture se destaca e o que ainda precisa melhorar. Vamos compartilhar o que testamos, os resultados e como criar modelos 3D com o Object Capture da Apple e o PhotoRobot.
1 - Visão geral e integração do Object Capture
O Object Capture da Apple funciona com fotos de um iPhone ou iPad. No entanto, neste caso de uso, aplicamos o Object Capture a fotos profissionais de produtos que capturamos com o PhotoRobot. O Object Capture está disponível no macOS Monterey e versões posteriores, o que permite uma integração fluida com nossos equipamentos automatizados para fotografia de e-commerce.
A API do software, juntamente com o software PhotoRobot, usa técnicas de varredura por fotogrametria para criar um modelo 3D a partir de fotos. Ela obtém informações sobre o objeto físico por meio do registro, da medição e da interpretação de nossas imagens. Em seguida, usamos essas informações para replicar o objeto na forma de um ativo digital 3D.
Esses ativos geram conteúdo atraente para páginas de produtos, campanhas de marketing, marketplaces online como a Shopify, videogames e muito mais. Podem ir desde modelos 3D interativos básicos até configuradores de produtos e experiências de AR imersivas.
2 - Como fotografar um produto para o Object Capture
Em nosso experimento, optamos por criar modelos 3D de um único calçado preto da Salomon. Usamos o Case da PhotoRobot como mesa giratória motorizada, junto com uma Canon EOS RP de 26 MP.
No fim, precisamos de duas rotações do produto (cada uma com 36 fotos) para gerar o modelo 3D. Em uma delas, o calçado ficou deitado de lado, para capturar a parte superior e a parte inferior. Na outra, o calçado ficou em pé, mostrando 360° de um lado ao outro.
Para isso, fotografamos 36 quadros ao redor do calçado, posicionado normalmente sobre a mesa giratória. Depois, fizemos o mesmo com o calçado deitado de lado, novamente capturando 36 quadros em rotação.
Em vez de usar a iluminação padrão de estúdio, percebemos que alguns ajustes eram necessários. Para começar, o Object Capture tem dificuldades com superfícies reflexivas. Ainda assim, encontramos uma forma de contornar o problema e obter resultados satisfatórios.
3 - Ajustes na configuração de iluminação
Observe que, no modelo resultante, as áreas com reflexos intensos acabam incorporando o reflexo à captura ou confundem totalmente o algoritmo.
Para obter melhores resultados, identificamos algumas técnicas que podem ser aplicadas no estúdio.
- Use um modelador de luz maior para suavizar a luz.
- Posicione duas luzes frontais apontadas para o objeto a 45°.
- Não use luz de fundo.
Muitas vezes, essa configuração de iluminação produz resultados com os quais conseguimos trabalhar. No entanto, com alguns produtos, o software ainda encontrará problemas com reflexos. Quando isso acontecer, é possível reduzir o brilho usando um filtro polarizador na câmera.
Se for necessária uma redução maior, é possível consegui-la por meio da polarização cruzada. Essa técnica exige dois filtros polarizadores: um na câmera e outro na frente da iluminação. O único problema é que o modelo 3D resultante perde todas as informações sobre a refletividade da superfície. Isso significa que você terá de adicionar essas informações posteriormente, por meio de edição manual das fotos.
4 - Recortar as fotos antes de gerar o modelo 3D
Antes de gerar o modelo 3D, constatamos que é melhor recortar primeiro todas as fotos. Isso torna a geração do modelo muito mais rápida.
Assim, no PhotoRobot_Controls, simplesmente recortamos uma foto e aplicamos a operação a todos os nossos 72 frames. A função Auto Crop leva apenas 5 segundos para processar todas as fotos e aplicar a operação de edição. Isso vale independentemente de quantas fotos haja na sequência e apesar de cada imagem ter um tamanho diferente.
Depois que a operação for processada, podemos ir para Generate 3D model e configurar os ajustes antes da geração.
5 - Como configurar os ajustes no Object Capture
Ao trabalhar no Object Capture, há 2 ajustes que podemos configurar antes de gerar um modelo a partir das nossas fotos. Eles ficam disponíveis depois de clicar em Generate 3D model.
O primeiro, Sensitivity, pode ser ajustado de normal a alto. Ele corresponde ao nível de sensibilidade com que o algoritmo responderá.
O segundo, Object masking, podemos ativar ou desativar para separar automaticamente o objeto do fundo.
6 - Gerar e visualizar o modelo resultante
Depois de escolher suas configurações, basta clicar em Start. O algoritmo de fotogrametria processa então todas as fotos de origem e produz um arquivo USDZ com o nosso modelo. O arquivo é criado em aproximadamente 3 minutos com o Object Capture e um hardware mediano, enquanto outros métodos podem exigir horas de cálculo e a intervenção de um profissional.
Em vez disso, pouco tempo após clicar em Start, recebemos o resultado como um arquivo MacOS para visualização.
Podemos então trabalhar com esse arquivo em qualquer software de edição. Quando estivermos satisfeitos, podemos usar os arquivos em uma loja virtual como a Shopify ou em qualquer outro marketplace online com suporte a modelos 3D.
Para usar em suas páginas web ou campanhas de marketing, existem plataformas dedicadas de hospedagem de conteúdo 3D. Essas plataformas dão vida, de forma eficaz, à visualização e à personalização de produtos em 3D, tanto para equipes de produto quanto para consumidores.
7 - Como publicar modelos 3D em plataformas de hospedagem
Por fim, para publicar modelos 3D no seu próprio espaço web, você precisará de um visualizador 3D incorporável. Na PhotoRobot, nosso parceiro de confiança de longa data para isso é a Emersya. A experiência 3D, AR e VR da Emersya está disponível para qualquer página web, dispositivo ou sistema operacional.
Com tecnologia nativa HTML5 e WebGL, o visualizador da Emersya não requer plug-ins. O design responsivo garante que todo o conteúdo dos produtos possa ser visualizado e seja compatível com todos os dispositivos que os consumidores possam usar. Além disso, o 3D com aceleração de hardware via tecnologia WebGL garante conteúdo de produto de alta qualidade.
Só precisamos enviar nosso arquivo para o visualizador e, graças à Emersya, nosso modelo 3D pode então ser incorporado em qualquer página. É o mesmo processo de incorporar um vídeo com um simples código iframe. A API avançada oferece controle sobre o modelo 3D diretamente a partir do nosso site e funciona em qualquer página web ou plataforma de e-commerce com CMS.
Veja você mesmo os modelos 3D incorporáveis
A avaliação da PhotoRobot sobre o Object Capture da Apple
No fim, encontramos alguns problemas com o Object Capture. O primeiro, que já mencionamos, está relacionado à sua capacidade de escanear superfícies reflexivas. É possível contorná-lo com a polarização cruzada, mas depois é necessária edição manual.
Outros problemas que identificamos estão relacionados ao trabalho com transparência e ao escaneamento de superfícies lisas ou uniformes. Atualmente, o Object Capture não funciona bem com transparência. O mesmo vale para objetos sem textura ou sem características distintivas, o que dificulta a detecção da forma do objeto.
Ainda assim, consideramos que a Apple tem um desempenho notável com o Object Capture, e que sua API se integra perfeitamente ao software PhotoRobot. Gerar um modelo 3D de alguns objetos pode ser um desafio, mas, no geral, o Object Capture é uma adição bem-vinda ao estúdio.
Principalmente em certos produtos, ele gera resultados impressionantes sem grande necessidade de edição ou retoque posterior. Depois, com visualizadores 3D como o Emersya, é fácil incorporar modelos 3D em nossa própria página web ou em plataformas de e-commerce com CMS.
Quer saber mais sobre modelagem 3D e hospedagem?
Entre em contato conosco hoje mesmo ou assine abaixo a nossa newsletter de fotografia profissional de produtos. Siga-nos também no Facebook, no LinkedIn e no YouTube para ficar por dentro de tudo o que acontece no setor e na PhotoRobot. Da criação de modelos 3D com a PhotoRobot à produção de qualquer conteúdo 360 ou 3D de produtos, nós atendemos a todas as suas necessidades.
