Slik lager du en enkel 3D-modell med Apple Object Capture API
Se hvordan du lager en enkel 3D-modell med Apples Object Capture API integrert i PhotoRobots Control & Automation-programvare.
Apples Object Capture API og 3D-modeller basert på fotogrammetri
Rett etter lanseringen var vi ivrige etter å teste Apples Object Capture API for å lage 3D-modeller med PhotoRobot. Selv om løsningen ikke er perfekt ennå, må vi innrømme at Apple definitivt setter standarden her. Object Capture bruker algoritmer for fotogrammetri til å gjøre en serie bilder om til 3D-modeller av høy kvalitet, optimalisert for utvidet virkelighet (AR). Løsningen integreres med kontrollprogramvaren fra PhotoRobot og i profesjonelle arbeidsflyter for 3D-innhold.
Fremgangsmåten for å teste Object Capture lignet på fotografering av 360-spinn. Først tok vi to sett med 36 bilder hver. Det gir visninger både ovenfra og fra undersiden av produktet. Deretter brukte vi Object Capture til å skanne bildene og lage en USDZ-fil. Denne filen kunne vi vise i AR Quick Look eller bygge inn på nettsiden vår med en visningsløsning for 3D-innhold, for eksempel Emersya.
Men hvor godt presterte Object Capture? Les videre for å se resultatene selv og få PhotoRobots vurdering av Object Capture API. Se hva Object Capture gjør bra, og hva som fortsatt kan forbedres. Vi viser hva vi testet, resultatene og hvordan du lager 3D-modeller med Apples Object Capture og PhotoRobot.
1 – Oversikt over Object Capture og integrasjon
Apples Object Capture kan fungere med bilder fra en iPhone eller iPad. I dette eksemplet bruker vi imidlertid Object Capture på profesjonelle produktbilder tatt med PhotoRobot. Object Capture er tilgjengelig på MacOS Monterey og nyere, og integreres dermed sømløst med vårt automatiserte utstyr for e-handelsfotografering.
Programvarens API bruker sammen med PhotoRobot-programvaren skanneteknikker basert på fotogrammetri til å lage en 3D-modell fra bilder. Den henter informasjon om det fysiske objektet ved å registrere, måle og tolke bildene våre. Deretter bruker vi denne informasjonen til å gjenskape objektet som en digital 3D-ressurs.
Slike ressurser er godt egnet som engasjerende produktinnhold til produktsider, markedsføringskampanjer, nettmarkedsplasser som Shopify, videospill og mer. De kan være alt fra enkle, interaktive 3D-modeller til produktkonfiguratorer og oppslukende AR-opplevelser.
2 – Slik fotograferer du et produkt for Object Capture
I eksperimentet valgte vi å lage 3D-modeller av en enkelt svart sko fra Salomon. Vi brukte PhotoRobots Case som motorisert dreieskive, sammen med et 26 MP Canon EOS RP.
Til slutt trengte vi to produktspinn (hver med 36 bilder) for å generere 3D-modellen. Det ene spinnet viste skoen liggende flatt på siden, slik at vi fikk fanget både overside og underside. Det andre viste skoen i stående posisjon, med 360 grader fra side til side.
Til dette måtte vi fotografere 36 bilder rundt skoen, som var plassert normalt på dreieskiven. Deretter måtte vi gjøre det samme med skoen liggende på siden, og igjen ta 36 bilder under rotasjon.
I stedet for standard studiobelysning viste det seg at noen justeringer var nødvendige. Blant annet har Object Capture problemer med reflekterende overflater. Vi fant imidlertid en måte å omgå dette på og fikk likevel tilfredsstillende resultater.
3 – Justeringer av lysoppsettet
Legg merke til at i den ferdige modellen vil alle områder med gjenskinn enten brenne refleksjonen inn i opptaket eller forvirre algoritmen helt.
For bedre resultater fant vi noen teknikker du kan bruke i studioet.
- Bruk en større lysformer for å myke opp lyset.
- Sett to frontlys slik at de peker mot objektet fra 45°.
- Ikke bruk bakgrunnslys.
Ofte gir dette lysoppsettet resultater vi kan jobbe videre med. For enkelte produkter vil programvaren likevel få problemer med refleksjoner. Da kan du redusere gjenskinn ved å bruke et polarisasjonsfilter på kameraet.
Hvis det er behov for ytterligere reduksjon, kan du eventuelt oppnå det med kryss-polarisasjon. Teknikken krever to polarisasjonsfiltre: ett på kameraet og ett foran lyskilden. Ulempen er at den ferdige 3D-modellen mister all informasjon om overflatens reflektivitet. Det betyr at du senere må legge til denne informasjonen igjen ved manuell bildebehandling.
4 – Beskjær bildene før du genererer 3D-modellen
Før vi genererte 3D-modellen, fant vi ut at det var best å beskjære alle bildene først. Det gjør at modellen genereres mye raskere.
I PhotoRobot_Controls beskjærte vi derfor bare ett bilde og brukte operasjonen på alle 72 bildene. Funksjonen Auto Crop bruker bare 5 sekunder på å behandle alle bildene og bruke redigeringen. Det gjelder uansett hvor mange bilder som ligger i sekvensen, og selv om hvert bilde har ulik størrelse.
Når operasjonen er ferdig, kan vi gå til Generate 3D model for å konfigurere innstillingene før produksjon.
5 – Slik konfigurerer du innstillingene i Object Capture
I Object Capture er det 2 innstillinger vi kan konfigurere før vi genererer en modell fra bildene. Du finner dem etter at du har trykket på Generate 3D model.
Den første, Sensitivity, kan justeres fra normal til høy. Den styrer hvor følsomt algoritmen reagerer.
Den andre, Object masking, kan vi slå på eller av for å skille objektet automatisk fra bakgrunnen.
6 – Generere og forhåndsvise den ferdige modellen
Når du har valgt innstillinger, er det bare å trykke på Start. Fotogrammetrialgoritmen behandler deretter alle kildebildene og lager en USDZ-fil med modellen vår. Filen opprettes på omtrent 3 minutter med Object Capture og gjennomsnittlig maskinvare, mens andre metoder kan kreve timevis med beregninger og profesjonell kompetanse.
I stedet får vi, kort tid etter at vi har trykket på Start, resultatet som en MacOS-fil som kan forhåndsvises.
Deretter kan vi jobbe videre med denne filen i valgfri redigeringsprogramvare. Når vi er fornøyde, kan vi bruke filene i en nettbutikk som Shopify eller på andre nettmarkedsplasser som støtter 3D-modeller.
Til bruk på nettsidene eller i markedsføringskampanjer finnes det egne plattformer for hosting av 3D-innhold. Disse plattformene gjør 3D-produktvisualisering og tilpasning til en levende opplevelse, både for produktteam og forbrukere.
7 – Slik publiserer du 3D-modeller via hostingplattformer
For å publisere 3D-modeller på ditt eget nettsted trenger du til slutt en innebyggbar 3D-viewer. Hos PhotoRobot er Emersya vår faste og mangeårige partner på dette. Emersya 3D-, AR- og VR-opplevelsen fungerer på alle nettsider, enheter og operativsystemer.
Med innebygd HTML5- og WebGL-teknologi krever Emersya-vieweren ingen plugin-moduler. Responsivt design sørger for at alt produktinnhold kan vises og fungerer på alle enheter kundene kan bruke. Samtidig sikrer maskinvareakselerert 3D med WebGL produktinnhold av høy kvalitet.
Alt vi måtte gjøre, var å laste opp filen vår i vieweren, og takket være Emersya kan 3D-modellen vår deretter bygges inn på hvilken som helst side. Det er samme prosess som å bygge inn en video med en enkel iframe-kode. Det avanserte API-et gir kontroll over 3D-modellen direkte fra nettstedet vårt og fungerer på alle nettsider og CMS-baserte e-handelsplattformer.
Se de innebygde 3D-modellene selv
PhotoRobots vurdering av Apples Object Capture
Til slutt støtte vi på noen problemer med Object Capture. Det første, som vi nevnte tidligere, gjelder evnen til å skanne reflekterende overflater. Det er mulig å komme rundt dette med kryss-polarisasjon, men det krever manuell redigering etterpå.
Andre utfordringer vi har merket oss, gjelder gjennomsiktighet og skanning av glatte eller ensfargede overflater. Object Capture fungerer foreløpig dårlig med gjennomsiktige objekter. Det samme gjelder objekter uten tekstur eller tydelige kjennetegn, siden det gjør det vanskeligere å registrere formen på objektet.
Likevel mener vi at Apple gjør en bemerkelsesverdig god jobb med Object Capture, og API-et integreres sømløst med programvaren fra PhotoRobot. Å generere en 3D-modell kan by på utfordringer for enkelte objekter, men samlet sett er Object Capture et kjærkomment tilskudd i studioet.
Spesielt for enkelte produkter gir det imponerende resultater uten stort behov for etterfølgende redigering eller retusjering. Med 3D-visningsverktøy som Emersya er det dessuten enkelt å bygge inn 3D-modeller på vår egen nettside eller i CMS- og e-handelsplattformer.
Vil du lære mer om 3D-modellering og hosting?
Ta kontakt med oss i dag, eller meld deg på nyhetsbrevet vårt om profesjonell produktfotografering nedenfor. Du finner oss også på Facebook, LinkedIn og YouTube, slik at du holder deg oppdatert på alt som skjer i bransjen og hos PhotoRobot. Enten du vil lære å lage 3D-modeller med PhotoRobot eller trenger produksjon av 360- eller 3D-produktinnhold, hjelper vi deg.
