Jak stworzyć prosty model 3D za pomocą Apple Object Capture API
Proszę zobaczyć, jak stworzyć prosty model 3D za pomocą Apple Object Capture API zintegrowanego z oprogramowaniem PhotoRobot do sterowania i automatyzacji.
Apple Object Capture API i modele 3D oparte na fotogrametrii
Zaraz po premierze nie mogliśmy się doczekać, aby przetestować Apple Object Capture API do tworzenia modeli 3D z PhotoRobot. Choć rozwiązanie nie jest jeszcze doskonałe, trzeba przyznać, że Apple wyznacza tu standard. Object Capture wykorzystuje algorytmy fotogrametrii, aby przekształcać serię zdjęć w wysokiej jakości modele 3D zoptymalizowane pod kątem rzeczywistości rozszerzonej. Integruje się z oprogramowaniem sterującym PhotoRobot oraz z profesjonalnymi workflow do obróbki treści 3D.
Test Object Capture przebiegał podobnie jak fotografowanie obrotów 360°. Najpierw wykonaliśmy dwie serie po 36 zdjęć. Dzięki temu uzyskujemy widoki produktu z góry oraz od spodu. Następnie za pomocą Object Capture zeskanowaliśmy zdjęcia i wygenerowaliśmy plik USDZ. Plik ten można wyświetlić w AR Quick Look lub osadzić na stronie internetowej za pomocą przeglądarki treści 3D, takiej jak Emersya.
Jak więc Object Capture sprawdził się w praktyce? Czytając dalej, zobaczą Państwo wyniki na własne oczy i zapoznają się z oceną Object Capture API przygotowaną przez PhotoRobot. Pokażemy, w czym Object Capture się wyróżnia, a co nadal wymaga poprawy. Przedstawimy, co testowaliśmy, jakie były wyniki i jak tworzyć modele 3D za pomocą Apple Object Capture i PhotoRobot.
1 – Object Capture: przegląd i integracja
Apple Object Capture może działać na zdjęciach z iPhone’a lub iPada. W tym przypadku zastosowaliśmy jednak Object Capture do profesjonalnych zdjęć produktowych wykonanych za pomocą PhotoRobot. Object Capture jest dostępny w systemie macOS Monterey i nowszych, dzięki czemu bezproblemowo integruje się z naszym zautomatyzowanym sprzętem do fotografii e-commerce.
API tego oprogramowania wraz z oprogramowaniem PhotoRobot wykorzystuje techniki skanowania fotogrametrycznego, aby stworzyć model 3D na podstawie zdjęć. Pobiera informacje o fizycznym obiekcie poprzez rejestrowanie, mierzenie i interpretowanie naszych obrazów. Następnie wykorzystujemy te informacje do odtworzenia obiektu w postaci cyfrowego zasobu 3D.
Takie zasoby stanowią atrakcyjną treść produktową dla stron produktów, kampanii marketingowych, platform handlowych online, takich jak Shopify, gier wideo i nie tylko. Mogą przybierać różne formy – od podstawowych, interaktywnych modeli 3D, przez konfiguratory produktów, po immersyjne doświadczenia AR.
2 – Jak sfotografować produkt dla Object Capture
W naszym eksperymencie postanowiliśmy stworzyć modele 3D pojedynczego czarnego buta marki Salomon. Jako zmotoryzowany stół obrotowy posłużył nam stół Case od PhotoRobot, a do tego aparat 26 MP Canon EOS RP.
Ostatecznie do wygenerowania modelu 3D potrzebowaliśmy dwóch obrotów produktu (każdy składał się z 36 zdjęć). W jednym z nich obuwie leżało płasko na boku, co pozwoliło uchwycić górę i spód buta. W drugim but stał w pozycji pionowej, a ujęcia obejmowały 360° z każdej strony.
W tym celu musieliśmy wykonać 36 klatek wokół buta ustawionego normalnie na stole obrotowym. Następnie to samo zrobiliśmy z butem położonym na boku, ponownie rejestrując 36 klatek w trakcie obrotu.
Okazało się, że zamiast standardowego oświetlenia studyjnego konieczne było wprowadzenie kilku zmian. Po pierwsze, Object Capture ma problemy z powierzchniami odbijającymi światło. Znaleźliśmy jednak sposób, aby to obejść i nadal uzyskać zadowalające rezultaty.
3 – Dostosowanie ustawienia oświetlenia
Proszę zwrócić uwagę, że na powstałym modelu obszary z odblaskami albo utrwalają odbicie w skanie, albo całkowicie dezorientują algorytm.
Aby uzyskać lepsze rezultaty, znaleźliśmy kilka technik, które można zastosować w studiu.
- Należy użyć większego modyfikatora światła, aby je zmiękczyć.
- Dwa światła czołowe należy ustawić tak, aby były skierowane na obiekt pod kątem 45°.
- Nie używać światła tła.
To ustawienie oświetlenia często daje wyniki, z którymi można pracować. Przy niektórych produktach oprogramowanie nadal jednak napotyka problemy z odbiciami. W takiej sytuacji można ograniczyć odblaski, stosując na aparacie filtr polaryzacyjny.
Jeśli konieczne jest dalsze ograniczenie odblasków, można to potencjalnie osiągnąć za pomocą polaryzacji krzyżowej. Ta technika wymaga dwóch filtrów polaryzacyjnych: jednego na aparacie i jednego przed źródłem światła. Jedyny problem polega na tym, że powstały model 3D traci wszelkie informacje o odbijalności powierzchni. Oznacza to, że informacje te trzeba będzie później odtworzyć ręcznie w edycji zdjęć.
4 - Kadrowanie zdjęć przed wygenerowaniem modelu 3D
Przekonaliśmy się, że przed wygenerowaniem modelu 3D lepiej najpierw przyciąć wszystkie zdjęcia. Dzięki temu model powstaje znacznie szybciej.
Dlatego w PhotoRobot_Controls po prostu przycięliśmy jedno zdjęcie i zastosowaliśmy tę operację do wszystkich 72 klatek. Funkcja Auto Crop przetwarza wszystkie zdjęcia i stosuje edycję w zaledwie 5 sekund. Dzieje się tak niezależnie od liczby zdjęć w zestawie i mimo że każdy obraz ma inny rozmiar.
Po zakończeniu operacji możemy przejść do opcji Generate 3D model, aby skonfigurować ustawienia przed rozpoczęciem generowania.
5 - Jak skonfigurować ustawienia w Object Capture
Podczas pracy w Object Capture przed wygenerowaniem modelu ze zdjęć możemy skonfigurować 2 ustawienia. Znajdziemy je po kliknięciu Generate 3D model.
Pierwsze, Sensitivity, można ustawić w zakresie od normalnego do wysokiego. Określa ono, jak czuły będzie algorytm.
Drugie, Object masking, możemy włączyć lub wyłączyć, aby automatycznie oddzielić obiekt od tła.
6 - Generowanie i podgląd gotowego modelu
Po wybraniu ustawień wystarczy kliknąć Start. Algorytm fotogrametrii przetworzy wówczas wszystkie zdjęcia źródłowe i utworzy plik USDZ zawierający nasz model. W Object Capture i na przeciętnym sprzęcie plik powstaje w około 3 minuty, podczas gdy inne metody mogą wymagać wielogodzinnych obliczeń i fachowej wiedzy.
Zamiast tego już krótko po kliknięciu przycisku Start otrzymujemy wynik w postaci pliku macOS do podglądu.
Z tym plikiem możemy następnie pracować w dowolnym oprogramowaniu do edycji. Gdy efekt nas zadowoli, możemy używać plików w sklepie internetowym, takim jak Shopify, lub na innych platformach handlowych online obsługujących modele 3D.
Do wykorzystania na stronach internetowych lub w kampaniach marketingowych służą dedykowane platformy do hostingu treści 3D. Platformy te skutecznie ożywiają wizualizację 3D i personalizację produktów, zarówno dla zespołów produktowych, jak i konsumentów.
7 - Jak publikować modele 3D za pomocą platform hostingowych
Aby opublikować modele 3D na własnej stronie, potrzebna będzie przeglądarka 3D do osadzenia na stronie. W PhotoRobot naszym sprawdzonym, wieloletnim partnerem w tym zakresie jest Emersya. Rozwiązanie Emersya 3D, AR & VR jest dostępne dla każdej strony internetowej, urządzenia i systemu operacyjnego.
Dzięki natywnej technologii HTML5 i WebGL przeglądarka Emersya nie wymaga wtyczek. Responsywny projekt zapewnia, że wszystkie treści produktowe są widoczne i kompatybilne z każdym urządzeniem, z którego mogą korzystać kupujący. Jednocześnie sprzętowo akcelerowana grafika 3D w technologii WebGL gwarantuje wysoką jakość treści produktowych.
Wystarczyło wgrać nasz plik do przeglądarki, a dzięki Emersya nasz model 3D można osadzić na dowolnej stronie. To ten sam proces, co osadzanie wideo za pomocą prostego kodu iframe. Zaawansowane API zapewnia kontrolę nad modelem 3D bezpośrednio z naszej strony i działa na każdej stronie internetowej oraz platformie e-commerce z systemem CMS.
Zobacz osadzone modele 3D na własne oczy
Opinia PhotoRobot o Object Capture firmy Apple
Ostatecznie napotkaliśmy w Object Capture kilka problemów. Pierwszy, o którym już wspominaliśmy, dotyczy skanowania powierzchni odbijających światło. Można go obejść za pomocą polaryzacji krzyżowej, jednak później wymagana jest ręczna edycja.
Do innych problemów, które zauważyliśmy, należą praca z przezroczystością oraz skanowanie gładkich lub jednolitych powierzchni. Obecnie Object Capture słabo radzi sobie z przezroczystością. Podobnie jest w przypadku obiektów pozbawionych tekstury lub charakterystycznych cech, co utrudnia rozpoznanie kształtu obiektu.
Mimo to uważamy, że Apple spisuje się z Object Capture znakomicie, a jego API płynnie integruje się z oprogramowaniem PhotoRobot. Wygenerowanie modelu 3D dla niektórych obiektów może być wyzwaniem, ale ogólnie Object Capture to mile widziane uzupełnienie wyposażenia studia.
Zwłaszcza w przypadku niektórych produktów daje imponujące rezultaty, nie wymagając większej późniejszej edycji ani retuszu. Z kolei dzięki przeglądarkom 3D, takim jak Emersya, łatwo osadzić modele 3D na własnej stronie internetowej lub w platformach e-commerce opartych na systemach CMS.
Chcą Państwo dowiedzieć się więcej o modelowaniu 3D i hostingu?
Zapraszamy do kontaktu lub zapisu na nasz Professional Product Photography Newsletter poniżej. Znajdą nas Państwo także na Facebooku, LinkedInie i YouTube, gdzie na bieżąco informujemy o wszystkim, co dzieje się w branży i w PhotoRobot. Od tworzenia modeli 3D za pomocą PhotoRobot po produkcję dowolnych treści produktowych 360 lub 3D – zapewniamy kompleksowe wsparcie.
