S4 스튜디오는 가상 프로덕션 및 시각 효과를 위한 원스톱 숍으로, 로스 앤젤레스에 스튜디오가 있고 카노가 공원에 가상 프로덕션/ICVFX(카메라 내 시각 효과)가 설치되어 있습니다. 소유자이자 크리에이티브 디렉터인 제프리 케이터(Geffrey Kater)는 HTC VIVE Mars CamTrack과 함께 AJA GEN10 HD/SD/AES 동기화 생성기를 사용하고 있으며, 최근 그를 만나 스튜디오에서 LED 벽, 카메라 및 컴퓨터를 동기화하기 하고 기술을 어떻게 사용하고 있는지에 대해 이야기하기 위해 그를 만났습니다.

S4 스튜디오와 당신의 역할에 대해 알려주십시오.
S4 스튜디오는 ICVFX 무대가 있는 시각 효과 회사입니다. 우리는 고객이 실시간으로 촬영할 수 있는 하나의 장소를 제공합니다. 또한 전체적인 시각 효과 스튜디오이기 때문에 정리 작업을 수행하고 벽에서 촬영할 수 없는 시각 자료를 만들 수도 있습니다. S4 스튜디오는 24년 전 애니메이션과 VFX에 중점을 두고 시작되었고, 약 2년 전, 저는 가상 프로덕션과 실시간 시각 효과의 혼합 작업에 참여하기 시작했습니다. 우리는 3개의 벽과 모든 종류의 가상 프로덕션 장비를 설치했고, 그 때, 언리얼 엔진이 자리를 잡기 시작했습니다. 애니메이션과 VFX 분야에서 수년간 일해왔기 때문에 이 소프트웨어를 채택하여 가상 프로덕션뿐만 아니라 다른 유형의 애니메이션과 VFX 작업에도 사용하기 시작했습니다. 팬데믹이 닥쳤을 때 모두가 가상으로 작업하기 시작했고, 우리는 언리얼과 더 많은 일을 하기 시작했습니다.

우리는 더 많은 가상 프로덕션을 원했고 무대를 찾기 시작했습니다. 저는 레멧 스튜디오(Remmet Studios)에서 막 LED 벽을 만들기 시작한 무대를 발견했고, 그 벽을 운영하고 이 새로운 영화 프로덕션 시대를 구축하기 위한 기술을 개발하기 위해 제 프로덕션 팀에 제안했습니다.

촬영할 때 제 역할은 크리에이티브 디렉터와 가상 프로덕션 감독입니다. 저는 감독 및 DP와 협력하여 그들이 그날 원하는 장면을 얻을 수 있도록 합니다. 저는 또한 벽에 환경을 놓는 Unreal 그룹을 운영하고 있습니다. 우리가 하려는 샷 유형에 따라 주변의 것들을 바꾸거나 설정을 이동하도록 지시합니다.

가상 프로덕션 기능에 대해 설명해주십시오.
2,300평방피트의 작은 무대가 있고, 차량 내 프로세스에 적합한 3개의 벽으로 구성되어 있습니다. 우리는 거대한 ICVFX 볼륨보다 훨씬 저렴한 가격으로 뮤직 비디오와 기타 촬영을 수행했습니다. 더 많은 회사가 소규모 프로젝트에서도 가상 프로덕션이 가능하다는 점을 알기를 바랍니다. 또한, 볼륨에 하루에 5~6만 달러를 쓸 필요는 없습니다. 우리는 하루에 $10,000부터 시작하며, 여러 장소를 이용할 수 있지만 어디에도 갈 필요가 없기 때문에 장기적으로 비용을 절약할 수 있습니다.

가상 시네마 프로덕션의 새로운 시대를 주도하는 것은 무엇이라고 생각하십니까?
비용 효율성이 큰 부분을 차지하지만, 실시간 아트 디렉션과 ‘최종 픽셀(final pixel)’ 측면이 트렌드를 주도하고 있고, 가상화 환경에서 사용자가 원하는 이미지를 얻을 수 있도록 가상화 환경을 100% 제어하는 것입니다. 또한, 세트를 완전히 제어할 수 있기 때문에 실제 세계에서는 할 수 없었던 롤링 기술도 사용할 수 있습니다. 하지만, 해변에서 촬영을 해서 해가 마음대로 오르내리게 할 수는 없습니다. 이 기술의 전문가인 프로듀서들도 나중에 필요한 VFX 또는 후반 작업이 거의 없기 때문에 비용 절감 측면을 이해하고 있습니다. 또한, 어떤 장소에도 갈 필요가 없고, 허가를 받고 도시 거리를 차단할 필요가 없고 이동 없이 하루에 여러 위치를 촬영할 수 있습니다.

직장에서의 평균적인 하루는 어떤 모습입니까?
일반적인 하루는 다양한 카메라, 시스템 및 환경을 테스트하고 Unreal 환경 라이브러리를 만들고 비즈니스를 마케팅하는 일에 중점을 둡니다. 또한, 기술 공급업체와 협력하여 잠재 고객에게 장비를 선보입니다. 저는 끊임없이 라인 프로듀서들과 일하고, 그들을 초대하여 기술을 경험하게 하거나 DP가 어떻게 추적이 작동하는지 보고 그들이 이 무대에서 할 수 있는 샷의 종류에 알려줍니다.

직면한 문제와 이를 극복하는 방법을 설명해주십시오.
가장 큰 문제는 일부 클라이언트가 LED 벽에서 촬영한 적이 없기 때문에 LED 벽까지의 촬영 거리와 픽셀 해상도를 이해하는 것이 중요하다는 것입니다. 또한, 셔터 각도 및  록과 같이 일반 촬영에서 고려할 필요가 없는 모아레 현상 및 카메라 문제가 있을 수 있습니다. 어떤 사람들은 젠록 동기화 기능도 없는 카메라를 들고 들어옵니다.

가상 프로덕션 크루는 이제 촬영의 일부가 된 매우 다른 구성 요소이기도합니다. 우리는 하루 종일 기술적인 어려움에 부딪치기 때문에 그들이 원하는 샷을 얻을 수 있도록 긴밀하게 협력할 것이라는 이해가 있어야 합니다. 우리는 또한 컴퓨터가 고장나기 시작하거나 벽에 결함이 생길 수 있다는 사실에 고객이 인내심을 가질 것을 요청합니다. 그래서 우리는 벽, 처리 능력, 그리고 그런 종류의 것들에 특별히 초점을 맞춘 기술자가 있습니다. 또 다른 구성 요소는 고객에게 배경에서 건물을 이동하거나 조명을 약간 변경할 수 있다는 것을 보여주는 것입니다. 그들이 이것을 단순한 배경이 아니라 실시간으로 창의적인 도구로 사용할 수 있는 것에 대해 이해하는 데 시간이 걸립니다.

당신은 AJA GEN10과 HTC VIVE Mars CamTrack 시스템을 어떻게 사용하고 있습니까?
우리의 모든 컴퓨터에는 NVIDIA Quadro 카드와 동기화 카드가 내장되어 있어 벽에서 모두 함께 동기화할 수 있습니다. 그리고 실제 LED 프로세서가 있고, LED 프로세서는 미디어를 벽에 투사합니다. 또한, VIVE Mars 카메라 추적이 들어오는 추적 측면입니다. 우리는 베이스 스테이션을 가로, 세로 10미터 정도의 격자형으로 걸어놓았습니다. 그래서 우리 무대의 크기와 촬영량에 완벽하게 맞습니다.

이 작업이 완료되면 테스트를 시작했고 젠록이나 동기화가 없었기 때문에 이미지가 찢어지는 것을 발견했습니다. 이 문제는 Mars Facebook Group에서 자주 발생했습니다. 사람들은 작동 방식에 대한 다이어그램을 게시하기 시작했고, AJA GEN10이 일종의 ‘연결하고 잊어버리는’ 솔루션인 Mars 시스템과 잘 작동했다는 언급이 있었습니다. 이 모든 젠록은 시각적 효과에서 오는 저에게 새로운 것이었지만, 저는 그것을 주문했고, 우리는 뒤에 있는 작은 딥 스위치를 구성하고 모든 것을 연결했습니다. 찢어짐, 줄이 사라졌고, 벽, 카메라, 컴퓨터 및 시스템은 모두 24시에 동기화되었습니다. 그것은 매우 아름다웠고, 우리는 서로 하이파이브를 하며 뛰어다녔습니다.

우리는 GEN10, 즉 우리가 부르는 매직 박스로 해결책을 찾았습니다. 모든 사람을 같은 페이지에 모으기 때문에 작업의 심장 박동인 메트로놈입니다. 그 작은 마법 상자가 모든 것의 지휘자입니다. 몇몇 사람들만이 젠록을 사용하기를 선택하지만, 우리가 보호받고 모든 컴퓨터 장비 및 벽 등 모든 것이 동기화된다는 것을 알고 있습니다.

HTC 및 AJA와 함께 일한 경험에 대해 자세히 말씀해 주십시오.
HTC VIVE Mars CamTrack Facebook Group에 참여하는 것은 우리가 요청할 수 있는 최고의 지원이며, 그곳에 있는 팀 웬(Tim Wen)은 항상 지원을 해줍니다. 그들의 기술은 또한 설정 후 잊어버리기 때문에 기술 지원을 요청할 필요가 거의 없습니다. 모든 것이 잘 문서화되어 있고, 그들은 우리의 삶을 더 편하게 해주는 기능들을 계속해서 출시하고 있습니다. AJA 측에서 문제가 발생했을 때, 우리의 비디오 엔지니어가 ‘AJA에게 전화하면 누군가 전화를 받을 것을 보장합니다.’라고 말했습니다. 통화 연결음 없이 즉시 누군가를 찾았습니다. 우리는 그들에게 우리의 도전을 이야기했고, 그들은 그것을 조사하기 시작했습니다. AJA는 확실하게 믿을 수 있습니다.

어떤 트렌드를 따르고 있으며 그 이유는 무엇입니까?
AI는 현재 가장 큰 게임 체인저입니다. 로토스코핑 및 추적은 이제 인공지능이 있는 버튼 클릭 한 번으로 가능합니다. 애니메이터와 디자이너로 경력을 시작한 후 컴퓨터 애니메이션, 캐릭터 애니메이션, 시각 효과로 옮겨가면서 저는 다양한 패러다임의 변화를 겪었습니다. 지금 우리가 겪고 있는 AI는 2D 애니메이션에서 3D 애니메이션으로의 전환과 다르지 않습니다. 모두들 2D가 사라질 것이라고 생각했지만, 여전히 멋진 2D 만화들이 많이 있습니다.

그것이 제가 AI 영화 프로덕션 도구를 그렇게 봅니다. 컴퓨터가 아름다운 배경을 만들도록 훈련될 수 있다고 해서 그것이 영화 같은 눈을 가지고 있다는 것을 의미하지는 않습니다. 이것은 우리가 일을 더 잘 할 수 있도록 도와줄 수 있는 또 다른 도구입니다. 이는 처리 시간에 영향을 미치고 어려울 수 있는 작업을 완료하는 데 걸리는 시간을 단축합니다.
로토를 추적하는 방법을 알고 모든 조작을 해야 했던 저 같은 사람의 손에 있으면, 이 작업을 훨씬 더 빨리 수행하기 위해 제가 가야 할 곳으로 가는 데 도움이 될 수 있습니다.

저는 또한 AI로 사람을 캐릭터로 대체하기 위해 무엇을 하고 있는지, 얼마나 멋져 보이는지에 대한 많은 예를 봅니다. iPhone의 어떤 사람이 아니라 전체 제작진이 모인 정말 멋진 집에서 촬영되었다는 것을 알 수 있습니다. 이것이 인공지능 기술과 물리적 프로덕션의 교차점이 우리가 연구하고 작업하고 있는 것으로 합쳐질 것입니다. 그것은 흥미롭기도 하지만 어떤 사람들에게는 무섭기도 합니다. 특히 이러한 AI 도구가 어디서 왔는지 이해하는 창의적인 사람들의 경우, 업계에 큰 도움이 됩니다.

AJA GEN10 소개
GEN10은 독립적으로 제어되는 HD/SD 동기화 출력 그룹 2개와 AES-11 출력 1개를 포함하여 7개의 출력을 제공하는 비용 효율적이고 유연한 HD/SD/AES 동기화 생성기입니다. SD 출력은 Color Black 또는 Color Bar 사이에서 전환할 수 있습니다. HD 3단계 동기화는 19가지 HD 형식 간에 전환할 수 있습니다. AES-11 출력은 SILENCE와 TONE 사이에서 전환할 수 있습니다. 모든 출력은 서로 동기화되며 정확한 마스터 타임 베이스에서 소싱됩니다.

AJA Video Systems,Inc.에 대하여

1993년부터 AJA Video는 비디오 인터페이스 기술, 변환기, 디지털 비디오 레코딩 솔루션 및 전문 카메라의 선두 제조업체로, 전문 방송, 비디오 및 포스트 프로덕션 시장에 고품질, 비용 효율적인 제품을 공급하고 있습니다. AJA 제품은 캘리포니아주 그래스 밸리에 있는 당사 시설에서 설계 및 제조되며 전 세계 리셀러 및 시스템 통합업체의 광범위한 세일즈 채널을 통해 판매됩니다.