한복 판소리 3D 공연 — 검증 기록 · 1편

유튜브 공연 영상으로 한복 판소리 3D 공연 만들기

프레임 단위로 검증한 기록

4분 37초짜리 판소리 '사랑가' 공연 영상 하나를 참고해서, 소리꾼 두 명과 고수 한 명을 한복 입은 3D 캐릭터로 다시 무대에 세우는 작업을 하고 있다. Blender 작업은 대부분 AI 코딩 에이전트(Claude Code)에게 맡기고, 나는 결과 영상을 보고 "여기가 이상하다"고 지적하는 방식이다.

만드는 것 자체보다 "제대로 됐는지 어떻게 확인하느냐"가 훨씬 어려웠다. 이 글은 v18에서 v20까지 오면서 쓴 확인 방법과, 틀렸던 진단까지 포함한 실험 기록이다. 버전이 올라갈 때마다 이어서 쓸 예정이다.

0작업 환경과 원칙

  • Blender 5.2를 창 없이 실행한다. 모든 수정은 파이썬 스크립트로 남긴다.
blender -b scene.blend --python fix_something.py -- --out scene_new.blend --report report.json
  • 장면은 1~6640프레임, 23.976fps. 프레임 1이 음원 0초다.
  • 원칙은 세 가지로 굳어졌다.
    1. 고칠 때마다 스크립트와 보고서(JSON)를 남긴다. 손으로 고친 것은 다시 못 만든다.
    2. 먼저 숫자로 확인한다. 가능하면 전 프레임을 검사한다.
    3. 숫자가 좋아도 반드시 확대 렌더를 눈으로 본다. 숫자가 좋은데 화면이 이상한 경우가 여러 번 있었다.

확인용으로 계속 쓰는 것은 세 가지다. 원하는 사람·부위·프레임을 지정해 확대 렌더를 한 장에 모으는 스크립트, 옷과 몸이 겹치는 삼각형 수를 전 구간에서 세는 스캔, 그리고 원본 영상과 3D를 같은 시각으로 맞춰 보는 비교 화면이다.

그림 1수정 후 확인용으로 뽑는 확대 렌더 모음

1북소리를 음원에서 찾기

고수(북 치는 사람)는 영상에서 작게 보여서 동작을 딸 수 없다. 그래서 고수만은 소리에 맞춰 동작을 만든다. 규칙은 이렇게 정했다.

  • 둥: 채로 북의 오른쪽 가죽을 치고, 동시에 왼손바닥으로 반대쪽 가죽을 친다.
  • 딱: 채로 북통 위쪽을 친다.
  • 둥딱: 옆면에서 위로 이어서 친다.

문제는 녹음이다. 노래와 북이 한 채널에 섞여 있다(좌우 채널 상관 0.9996, 사실상 모노). 좌우로 분리할 수 없어서 스펙트로그램에서 북의 특징을 직접 찾았다. 북 타격은 아주 가늘고 넓은 대역의 세로줄(20ms 안에 사라짐)로 보이고, 둥은 여기에 105~135Hz 울림이 붙는다.

그림 2스펙트로그램에 타격 표시를 겹친 그림. 위(파랑)는 예전 버전의 타격 시각, 아래(빨강 둥 / 초록 딱)는 새로 찾은 타격

후보 299개 중 확실한 207개(둥 167, 딱 40)만 동작에 넣었다.

여기서 얻은 교훈은 감지기 하나만 믿으면 안 된다는 것이다. 나중에 훨씬 단순한 감지기("1.5~9kHz 대역이 한꺼번에 9dB 이상 튀는 순간")로 다시 재 보니, 가장 또렷한 타격음 115개 중 59%만 내 목록에 들어 있었다. 반대로 내 목록의 45개는 또렷한 타격음이 없는 자리였다. 소리꾼의 자음, 숨소리, 갑자기 시작하는 잡음이 모두 "타격음처럼" 보이기 때문이다. 소리만으로는 정답을 확정할 수 없었다.

2"소리가 먼저 나고 나중에 치는 것 같다"

타격 시각 자체는 정확했다(실제 소리 시작과 0~10ms 차이). 그런데 영상으로 보면 늦어 보였다. 원인은 화면 쪽에 있었다.

  • 접촉 프레임을 round(t × fps)로 잡았다. 그러면 타격의 53%가 소리가 난 뒤(최대 21ms)에 화면에 나온다.
  • 채가 최대 7프레임에 걸쳐 천천히 다가갔다. 눈은 "닿는 순간"을 늦게 느낀다.

그래서 이렇게 바꿨다.

  • 접촉 프레임 = 소리가 시작될 때 화면에 떠 있는 프레임: floor(t × fps) + 1
  • 2~5프레임 들어올린 뒤 가속해서 내려친다. 직전 프레임에는 채가 5.8cm 떨어져 있다.
  • 치자마자 튕긴다.
  • 둥 다음에 딱이 16프레임 안에 오면(23쌍) 제자리로 돌아가지 않고, 옆면에서 테두리를 넘어 위로 한 동작으로 잇는다.
그림 3둥(옆면 + 반대쪽 손바닥) → 팔을 들어 테두리를 넘김 → 딱(북통 위). 확인용 영상에서는 타격 프레임에 글자가 뜬다

검증은 전 프레임에서 했다. 207번 모두 접촉 프레임에서 채 끝과 목표 지점의 거리 0.0mm, 북을 뚫고 들어가는 프레임 0, 손목 꺾임 최대 13.8°.

3그래도 안 맞아 보인다 — 실제 고수를 프레임 단위로 보기

숫자는 완벽했는데, 영상을 본 느낌은 여전히 "예전 v18이 더 잘 맞았던 것 같다"였다. 느낌을 숫자로 바꾸기 위해 두 가지를 했다.

(1) 두 버전의 장면에서 실제 동작을 다시 쟀다. 프레임마다 채 끝과 북 사이의 거리를 구하고, "2.5cm 이상 다가갔다가 다시 멀어지는 순간"을 타격으로 셌다.

v18 v20
눈에 보이는 타격 수 47 215
소리 없는 자리의 타격 6% 13%
가장 또렷한 타격음 중 따라간 비율 23% 70%
타격 직전 채 끝 속도 0.39 m/s 1.38 m/s

v18은 거의 안 치지만, 칠 때는 대부분 소리가 있었다. 게다가 동작이 느려서 "닿는 순간"이 흐릿하다. v20은 네 배 넘게 자주, 빠르고 또렷하게 친다. 그래서 틀린 타격이 하나하나 눈에 띈다.

(2) 원본 영상에서 실제 고수의 손을 프레임 단위로 잘라 봤다. 고수가 크게 잡힌 컷을 찾아 손과 북 부분만 잘라 48프레임을 한 장에 늘어놓았다.

그림 4원본 영상에서 고수의 손과 북만 잘라 프레임 순서대로 늘어놓은 것(87.7~89.7초). 왼손바닥이 북면에, 채는 북 위쪽에 있다

그리고 또렷한 타격음이 나는 세 군데를 확대했다.

그림 5타격 세 번의 전후 프레임. 노란 숫자가 프레임 번호

여기서 예상하지 못한 사실이 나왔다.

채나 손이 북에 닿는 프레임 소리가 시작되는 프레임 차이
1993~1994 1996.3 약 2.8프레임
2104~2105 2106.4 약 1.9프레임
2137~2138 2139.8 약 2.3프레임

원본 영상에서는 치는 모습이 소리보다 약 2프레임(약 0.1초) 먼저 보인다. 객석 뒤쪽에서 찍은 영상이라 소리가 늦게 도착한 것으로 보인다(0.1초면 약 34m).

나는 타격을 소리에 맞췄다. 그러니 3D 고수는 실제 고수보다 약 2프레임 늦게 친다. 소리꾼들의 동작은 영상의 "그림"에서 딴 것이라 그림 시간에 맞아 있고, 고수만 소리 시간에 맞아 있었던 셈이다.

확인을 위해 네 화면을 나란히 놓은 비교 영상을 만들었다. 원본의 실제 손, v18, v20, 그리고 v20의 타격을 2프레임 앞당긴 시험판이다.

그림 64분할 비교 영상의 프레임. 실제 채가 북에 닿는 1993~1994프레임에 시험판(오른쪽 아래)은 이미 닿아 있고, 앞당기기 전의 v20(왼쪽 아래, 그림 속 표시는 'v20 - 지금')은 아직 내려오는 중이다

시험판이 맞는 것을 확인하고 전체 장면에 적용했다. 접촉 프레임 규칙에 0.075초를 더 뺀 것이 전부다.

frame = floor((t - 0.075) * fps) + 1

적용한 장면에서 채 끝 위치를 다시 재 보니, 207번 모두 접촉이 소리보다 1.8~2.8프레임(중앙값 2.3프레임) 먼저 화면에 나온다. 실제 고수에서 잰 1.9~2.8프레임과 같은 범위다. 실제 채가 닿는 1993~1994프레임에 3D는 1994프레임, 2137~2138프레임에 3D는 2138프레임에 닿는다.

다만 0.075초는 고수가 크게 잡힌 한 컷의 타격 세 번에서 잰 값이다. 다른 컷에서도 같은지는 아직 확인하지 못했다.

교훈기준 시계가 하나가 아닐 수 있다. 영상에서 딴 동작과 음원에서 찾은 사건을 한 장면에 섞을 때는 둘 사이의 시간차부터 재야 한다.

4차렷 자세에서 손등이 서로 마주본다

팔을 내리면 손바닥이 바깥을 향하는 이상한 자세가 나왔다. 원인은 영상에서 동작을 옮길 때 팔의 방향만 맞추고, 팔이 자기 축을 따라 도는 각도는 아무도 정해 주지 않았기 때문이다. 재 보니 아래팔의 회전이 -80°에서 +80° 사이를 오가고 있었다.

고친 방법은 이렇다.

  • 어깨·팔꿈치·손목의 위치는 그대로 둔다. 원본 영상과의 일치도가 변하면 안 된다.
  • 팔꿈치가 분명히 접혀 있으면 접힌 평면의 법선을 팔꿈치 축으로 쓴다.
  • 팔이 거의 펴져 있으면 "늘어뜨린 팔, 손바닥은 허벅지 쪽"이라는 기준 자세를 현재 팔 방향으로 최단 회전시켜 가져온다.
  • 두 경우를 접힘 12~35° 사이에서 섞고, 프레임당 12° 이상은 돌지 않게 제한한다.

팔을 내린 구간에서 손바닥이 몸 쪽을 향하는 정도(1이면 정확히 몸 쪽, -1이면 바깥쪽)의 중앙값이 여성 왼손 -0.64 → 0.68, 남성 왼손 -0.72 → 0.57로 바뀌었고, 관절 위치 변화는 0이다.

그림 7같은 프레임을 수정 전(a_before), 수정 후(b_after) 순서로 나란히 놓았다

5넓은 소매를 중력으로 늘어뜨리기 — 실험하고 철회한 것

소매의 넓은 부분이 팔뼈에 묶여 같이 도는 게 어색해서, 소매만 천 시뮬레이션으로 늘어뜨려 보았다.

그림 8수정 전: 소매 주머니가 풍선처럼 팔과 함께 돈다

결과적으로 이 실험은 적용하지 않았다. 하지만 과정에서 문제 네 개를 차례로 찾았고, 이게 더 값졌다.

  1. 시작 자세에서 소매가 이미 몸에 겹쳐 있었다. 그 상태로 시뮬레이션을 시작하면 천이 구겨진 채 굳는다. 기본 자세(팔 벌린 자세)에서 시작해 첫 프레임 자세로 천천히 옮겨 간 뒤 본 구간을 계산하게 했다.
  2. 소매 윗선을 뼈에 고정하면 팔이 비틀릴 때 천이 수건 짜듯 감긴다. 윗선을 "뼈의 위쪽"이 아니라 "항상 중력 반대쪽"에 걸치도록 매 프레임 다시 계산했다.
  3. 충돌용 몸통이 엉뚱한 곳에 떠 있었다. 최종 옷이 아니라 계산용 메시와 충돌체만 따로 렌더해 보고서야 알았다. 아주 예전 버전에서 잘못 만들어진 것이 계속 쓰이고 있었다.
그림 9천 계산용 메시(흰색)와 충돌체(붉은색)만 렌더한 것. 팔·다리 충돌체가 몸과 전혀 다른 방향을 향한다
  1. 계산은 매끄러운데 최종 옷이 구겨졌다. 저해상도 천의 결과를 고해상도 옷으로 옮길 때 매 프레임 "가장 가까운 면"을 찾았는데, 처진 소매는 두 겹이 붙어 있어서 겹이 뒤섞였다. 기본 자세에서 한 번만 짝을 지어 두는 방식으로 바꿨다.
그림 10위: 최종 옷(구겨짐), 아래: 계산용 메시(매끄러움). 문제가 계산이 아니라 옮기는 단계에 있다는 걸 보여 준 그림
그림 11네 가지를 고친 뒤의 시험 결과

꽤 나아졌지만 자글자글한 부분과 구멍처럼 보이는 부분이 남았다. 최종 목적지가 게임 엔진(Unity)이고 거기서 천을 다시 처리할 예정이라, 소매는 원래의 매끄러운 형태로 되돌렸다. 실험 스크립트는 남기되 결과물에는 넣지 않았다.

교훈최종 결과만 보지 말고 중간 단계를 따로 렌더한다. 3번과 4번은 그렇게 해서 5분 만에 원인이 보였다.

6치마 이음매의 마름모 구멍

치마 허리에 마름모꼴 구멍이 줄지어 보이는 프레임이 있었다. 예전 버전에서 넣은 "손이나 소매가 닿으면 치마가 살짝 비켜나는 보정"이 원인이었다. 치마는 네 조각인데, 보정이 눌린 자리를 조각별로 부드럽게 퍼뜨리다 보니 이음매의 같은 꼭짓점이 양쪽에서 다르게 밀렸다.

그림 12위: 현재(구멍), 가운데: 퍼짐을 0으로(작은 톱니), 아래: 보정 끔(매끄러움)

세 가지 설정을 같은 프레임에서 나란히 렌더해 비교하고, 치마에서는 보정을 껐다. 대신 손이 치마에 살짝 묻히는 장면이 생겼다. 겹침 수치는 나빠졌지만 화면은 좋아진 경우다.

7GLB 얼굴 얼룩 — 틀린 진단과 다시 한 진단

게임 엔진용 GLB로 내보내면 얼굴에 얼룩이 생겼다.

처음 진단은 "색을 텍스처로 구울 때 피부 속 산란 성분이 빠진다"였다. 굽는 방식을 바꾸고 머리만 시험했을 때는 괜찮아 보였다. 그런데 전체를 다시 내보내니 얼룩이 그대로였다. 진단이 틀렸던 것이다.

다시 진단할 때는 같은 GLB를 세 가지 조건으로 렌더했다.

그림 13왼쪽: 그대로, 가운데: 균일한 조명, 오른쪽: 법선을 다시 계산

균일한 조명에서만 멀쩡하다. 그러면 색 텍스처는 정상이고, 법선을 다시 계산해도 그대로이니 메시 법선도 아니다. 남는 것은 "빛을 받을 때만 쓰이는 다른 텍스처"다. GLB 안의 재질 정보를 열어 노멀 텍스처의 평균색을 재 보니 (0.46, 0.39, 0.34)였다. 진짜 노멀맵이면 파란 채널이 1에 가까워야 한다.

원인은 이랬다. Blender에서는 이 텍스처를 얼굴 부위에서 거의 0의 강도로 눌러 쓰고 있었는데, glTF는 재질마다 강도를 하나만 가질 수 있어서 얼굴 전체에 최대 강도로 내보내졌다. 후처리에서 "노멀맵처럼 생기지 않은 노멀 텍스처"의 연결을 끊었다.

그림 14위: 수정 후, 아래: 수정 전

교훈시험 조건이 실제 문제를 드러내는 조건인지 확인한다. 처음 시험은 평평한 조명이었고, 이 문제는 평평한 조명에서는 안 보인다.

8결말: 고수가 일어나 인사한다

원본 영상의 끝에서 고수가 일어나 함께 인사한다. 앉은 자세에서 선 자세로 가는 동작을 만들면서 겪은 것도 같은 종류였다. 범용 IK에 맡겼더니 팔꿈치가 몸 안으로 들어갔고, 결국 어깨-팔꿈치-손목을 직접 푸는 식으로 바꿔 팔꿈치 방향을 명시했다. 앉은 재단의 바지는 다리가 펴지는 순간 깨져서, 다리가 움직이기 전 4프레임 동안 선 재단으로 바꾼다.

그림 15일어서기와 인사 확인 시트

정리: 이번에 굳힌 확인 습관

  • 숫자와 눈을 둘 다 쓴다. 한쪽만 좋으면 아직 끝난 게 아니다.
  • 최종 결과가 이상하면 중간 단계를 따로 렌더한다.
  • 같은 프레임을 설정만 바꿔 나란히 렌더한다. 원인이 한 장에서 갈린다.
  • 감지기는 두 개 이상 만들어 서로 대조한다.
  • 영상의 그림과 소리가 같은 시각이라고 가정하지 않는다. 프레임 단위로 잘라 직접 잰다.
  • 틀린 진단은 기록에 남긴다. 다음에 같은 조건으로 시험하는 실수를 막아 준다.

다음에 할 일

  • 실제 고수가 보이는 컷을 기준으로 타격 목록 자체를 검증하기(지금 목록에는 실제로 치는데 빠진 타격이 있다)
  • 다른 컷에서도 그림과 소리의 시간차가 2프레임인지 확인하기
  • Unity에서 소매와 치마의 천 처리

참고

원본 영상의 권리는 원 제작자와 출연자에게 있다. 이 글에서는 분석 과정을 설명하기 위해 고수의 손과 북 부분만 잘라 인용했다.