Så skapar du en enkel 3D-modell med Apple Object Capture API
Se hur du skapar en enkel 3D-modell med Apples Object Capture API integrerat i PhotoRobots programvara för styrning och automation.
Apples Object Capture API och 3D-modeller med fotogrammetri
Redan vid lanseringen var vi sugna på att testa Apples Object Capture API för att skapa 3D-modeller med PhotoRobot. Även om tekniken inte är perfekt än, måste vi erkänna att Apple onekligen sätter standarden här. Object Capture använder algoritmer för fotogrammetri för att omvandla en serie foton till högkvalitativa 3D-modeller som är optimerade för förstärkt verklighet (AR). Tekniken integreras med PhotoRobots styrprogramvara och i professionella arbetsflöden för 3D-innehåll.
Testet av Object Capture liknade processen för att fotografera 360-spinn. Först fotograferade vi två serier med 36 foton vardera. Det ger vyer både uppifrån och underifrån av produkten. Sedan använde vi Object Capture för att skanna våra foton och skapa en USDZ-fil. Den filen kunde vi visa i AR Quick Look eller bädda in på vår webbsida med hjälp av en visare för 3D-innehåll, till exempel Emersya.
Men hur väl presterade Object Capture? Läs vidare, se resultaten själv och ta del av PhotoRobots omdöme om Object Capture API. Se var Object Capture utmärker sig och vad som fortfarande behöver förbättras. Vi går igenom vad vi testade, resultaten och hur du skapar 3D-modeller med Apples Object Capture och PhotoRobot.
1 – Översikt över Object Capture och integration
Apples Object Capture kan arbeta med foton från en iPhone eller iPad. I det här exemplet använder vi dock Object Capture på professionella produktbilder som vi tog med PhotoRobot. Object Capture finns i MacOS Monterey och senare, vilket gör att det integreras sömlöst med vår automationsdrivna utrustning för e-handelsfotografering.
Programvarans API använder tillsammans med PhotoRobots programvara skanningstekniker baserade på fotogrammetri för att skapa en 3D-modell av foton. Den hämtar information om det fysiska objektet genom att registrera, mäta och tolka våra bilder. Därefter använder vi informationen för att återskapa objektet som en digital 3D-tillgång.
Sådana tillgångar är ett starkt produktinnehåll för produktsidor, marknadsföringskampanjer, onlinemarknadsplatser som Shopify, tv-spel och mycket mer. De kan vara allt från enkla, interaktiva 3D-modeller till produktkonfiguratorer och uppslukande AR-upplevelser.
2 – Så fotograferar du en produkt för Object Capture
I vårt experiment valde vi att bygga 3D-modeller av en enda svart sko från Salomon. Vi använde PhotoRobots Case som motordriven vridskiva tillsammans med en 26 MP Canon EOS RP.
Till slut behövde vi två produktspinn (vardera med 36 foton) för att generera 3D-modellen. I det ena spinnet låg skon på sidan för att fånga skons ovansida och undersida. I det andra stod skon upprätt, så att vi fick 360 grader från sida till sida.
För det fotograferade vi 36 bilder runt skon, som stod normalt på vridskivan. Sedan gjorde vi likadant med skon liggande på sidan och tog återigen 36 bilder under rotationen.
I stället för standardbelysning i studion visade det sig att några justeringar behövdes. Till att börja med har Object Capture problem med reflekterande ytor. Vi hittade dock ett sätt att kringgå det och ändå nå ett tillfredsställande resultat.
3 – Justeringar av ljussättningen
Lägg märke till att områden med blänk i den färdiga modellen antingen får reflexen inbränd i modellen eller helt förvirrar algoritmen.
För bättre resultat hittade vi några tekniker som du kan använda i studion.
- Använd en större ljusformare för att mjuka upp ljuset.
- Rikta två frontljus mot objektet i 45° vinkel.
- Använd inget bakgrundsljus.
Den här ljussättningen ger ofta resultat som vi kan arbeta med. För vissa produkter får programvaran dock fortfarande problem med reflexer. När det händer går det att minska bländningen genom att använda ett polarisationsfilter på kameran.
Om du behöver minska reflexerna ytterligare kan du eventuellt använda korspolarisering. Tekniken kräver två polarisationsfilter: ett på kameran och ett framför belysningen. Nackdelen är att den färdiga 3D-modellen förlorar all information om ytans reflektivitet. Det innebär att du måste lägga till den informationen igen i efterhand genom manuell bildredigering.
4 – Beskär bilderna innan du genererar 3D-modellen
Vi upptäckte att det är bättre att först beskära alla bilder innan 3D-modellen genereras. Då går det mycket snabbare att skapa modellen.
I PhotoRobot_Controls beskar vi därför bara en bild och tillämpade åtgärden på alla 72 bildrutor. Funktionen Auto Crop behöver bara 5 sekunder för att bearbeta alla bilder och tillämpa redigeringen. Det gäller oavsett hur många bilder som ingår i sekvensen och trots att varje bild har olika storlek.
När åtgärden är klar kan vi gå till Generate 3D model för att konfigurera inställningarna inför produktionen.
5 – Så konfigurerar du inställningarna i Object Capture
I Object Capture finns det 2 inställningar som vi kan konfigurera innan vi genererar en modell av våra bilder. Du hittar dem när du har klickat på Generate 3D model.
Den första, Sensitivity, kan justeras från normal till hög. Den styr hur känsligt algoritmen reagerar.
Den andra, Object masking, kan vi slå på eller av för att automatiskt separera objektet från bakgrunden.
6 – Generera och förhandsgranska den färdiga modellen
När du har valt dina inställningar återstår bara att klicka på Start. Fotogrammetrialgoritmen bearbetar sedan alla källbilder och skapar en USDZ-fil som innehåller vår modell. Filen skapas på cirka 3 minuter med Object Capture och genomsnittlig hårdvara, medan andra metoder kan kräva flera timmars beräkning och professionell expertis.
Strax efter att vi har klickat på Start får vi i stället resultatet som en macOS-fil för förhandsgranskning.
Sedan kan vi arbeta vidare med filen i valfritt redigeringsprogram. När vi är nöjda kan vi använda filerna i en webbutik som Shopify eller på andra onlinemarknadsplatser med stöd för 3D-modeller.
För att använda modellerna på dina webbsidor eller i dina marknadsföringskampanjer finns det särskilda plattformar för hosting av 3D-innehåll. De här plattformarna gör 3D-visualisering och anpassning av produkter till verklighet, både för produktteam och konsumenter.
7 – Så publicerar du 3D-modeller via hostingplattformar
För att kunna publicera 3D-modeller på din egen webbplats behöver du slutligen en inbäddningsbar 3D-viewer. På PhotoRobot är Emersya vår självklara och mångåriga partner för detta. Emersyas 3D-, AR- och VR-upplevelse fungerar på alla webbsidor, enheter och operativsystem.
Med inbyggd HTML5- och WebGL-teknik kräver Emersya-visaren inga plugin-program. Responsiv design gör att allt produktinnehåll kan visas och fungerar på alla enheter som kunderna kan använda. Samtidigt garanterar hårdvaruaccelererad 3D med WebGL-teknik produktinnehåll av hög kvalitet.
Vi behövde bara ladda upp vår fil i visaren, och tack vare Emersya kan vi sedan bädda in 3D-modellen på vilken sida som helst. Det fungerar på samma sätt som när man bäddar in en video med en enkel iframe-kod. Det avancerade API:et ger kontroll över 3D-modellen direkt från vår webbplats och fungerar på alla webbsidor och CMS-baserade e-handelsplattformar.
Se de inbäddningsbara 3D-modellerna själv
PhotoRobots omdöme om Apples Object Capture
Sammanfattningsvis stötte vi på några problem med Object Capture. Det första, som vi har nämnt, gäller förmågan att skanna reflekterande ytor. Det går att kringgå med korspolarisering, men då krävs manuell redigering efteråt.
Andra problem vi har stött på gäller transparens och skanning av släta eller enfärgade ytor. För närvarande fungerar Object Capture inte bra med transparenta material. Det gäller även objekt som saknar textur eller tydliga detaljer, vilket gör det svårare att identifiera objektets form.
Vi tycker ändå att Apple levererar mycket bra resultat med Object Capture, och dess API integreras sömlöst med programvaran från PhotoRobot. Att generera en 3D-modell av vissa objekt kan vara en utmaning, men sammantaget är Object Capture ett välkommet tillskott i studion.
Särskilt för vissa produkter ger verktyget imponerande resultat utan större behov av efterredigering eller retuschering. Med 3D-visare som Emersya är det sedan enkelt att bädda in 3D-modeller på den egna webbplatsen eller i CMS- och e-handelsplattformar.
Vill du veta mer om 3D-modellering och hosting?
Kontakta oss redan idag eller prenumerera på vårt nyhetsbrev om professionell produktfotografering nedan. Följ oss också på Facebook, LinkedIn och YouTube för att hålla dig uppdaterad om allt som händer i branschen och hos PhotoRobot. Från hur du skapar 3D-modeller med PhotoRobot till produktion av allt slags 360- eller 3D-innehåll för produkter – vi hjälper dig.
