팔을 흔들면 왜 더 잘 걷나요? — K1 걷기학습 V5
V4까지는 팔에 "가만히 있으라"는 벌점만 있었고, 걸을 때 팔이 옆으로 설렁거렸습니다. 다리 걸음 박자에 맞춰 팔을 앞뒤로 흔들면 점수를 주는 보상을 더한 V5는 동작 급변과 몸통 흔들림이 조금 줄었습니다. 속도를 0.7m/s로 올린 결과와 검증하지 못한 부분까지 그대로 적었습니다.
피지컬 AI, 직접 해 봤습니다 · 5회 · 앞 글: Isaac Lab에서 배운 걸음, MuJoCo에서도 걸을까요?
이 글은 실습 과정과 결과만 공개합니다. 대신 도입 기관에는 교재 본문과 지도서를 제공합니다.
팔에 "흔들라"는 점수를 주었더니, 동작 급변과 몸통 흔들림이 조금 줄었습니다. V4까지는 팔 관절에 "기본 자세에서 벗어나면 벌점" 하나만 있었고, 걸을 때 팔이 옆으로 설렁거렸습니다. 다리 걸음 박자에 맞춰 팔을 앞뒤로 흔들면 점수를 주는 보상을 더한 V5는 동작 급변 정도가 0.062에서 0.0594로, 몸통 높이 흔들림이 5.3mm에서 4.4mm로 줄었습니다. 버전마다 한 번씩 학습한 결과라, 차이가 작은 숫자는 조심해서 읽어 주십시오.
같은 조건(앞으로 0.5m/s, 10초, 넘어짐 0번)에서 V4와 비교했고, 속도를 0.7m/s로 올려도 확인했습니다. 팔이 실제로 흔들리는 것은 캡처로 봤지만, "완전히 앞뒤로만 흔드는지"는 이번 각도로는 숫자로 확인하지 못했습니다. 아래는 저희가 직접 고치고 학습시킨 기록입니다.
팔이 왜 옆으로 흔들렸나요?
보상에 "흔들라"는 항목이 없었기 때문입니다. V4까지 팔은 "기본 자세에서 벗어나면 벌점"만 받았습니다. 벌점만 있고 잘하면 주는 점수가 없으니, 로봇 입장에서는 힘이 덜 드는 방향으로 적당히 움직이는 쪽이 유리했고, 그 방향이 주로 옆이었던 것으로 저희는 추정합니다.
사람이 걸을 때 팔을 앞뒤로 흔드는 것은 반대쪽 다리와 균형을 맞추기 위해서입니다. 이 동작 자체를 점수로 만들어 주지 않으면, 학습은 "벌점을 피하는 가장 쉬운 길"을 찾을 뿐 사람과 같은 방식으로 흔들 이유가 없습니다.
무엇을 바꿨나요?
팔에 "잘하면 주는 점수"를 더하고, 벌점을 거는 방향을 조정했습니다.
- 팔 흔들기 보상 추가 — 다리 걸음 박자에 맞춰 왼팔과 오른팔이 서로 반대로 앞뒤로 흔들리면 점수를 줍니다. 사람이 걸을 때 팔다리가 엇갈리는 것과 같은 원리입니다.
- 설렁거리는 방향만 벌점 — 옆으로 벌어지거나 비틀리는 움직임은 더 눌러 억제하고, 앞뒤 움직임은 위 보상이 맡게 했습니다.
- 팔꿈치는 굽을 여지를 남겼습니다. 그런데 결과는 기대와 달리 팔꿈치가 곧게 펴진 채였습니다. 팔꿈치를 따로 가르치는 방법은 이어서 시험했습니다.
V4까지의 개선(발 딛기·관절 무작위화·급한 동작 벌점)은 그대로 유지했습니다.
결과는 어떻게 달라졌나요?
같은 조건(앞으로 0.5m/s, 10초, 넘어짐 0번)에서 V4와 비교했습니다.
| 측정 | V4 | V5 | 참고 |
|---|---|---|---|
| 1초에 발 딛는 횟수 | 3.6번 | 3.6번 | 동일 — 걸음 리듬은 그대로 유지됨 |
| 동작 급변 정도(작을수록 부드러움) | 0.062 | 0.0594 | 더 부드러워짐 |
| 이동 거리(10초) | 5.02m | 4.89m | 0.13m 짧음 |
| 몸통 높이 흔들림 | 5.3mm | 4.4mm | 줄어듦 |
학습 1회(시드 1개) 결과 · 시뮬레이션 기준
걸음 리듬은 그대로 유지됐고, 동작 급변과 몸통 흔들림은 조금 줄었습니다. 팔 흔들기가 몸 전체 움직임에 도움이 됐을 수 있지만, 버전마다 한 번씩 학습한 결과라 차이가 작은 숫자는 학습 시작값(시드)을 바꿔 다시 학습해 봐야 확실해집니다.
캡처에서 한쪽 팔이 앞으로 뻗어 나오고 다른 쪽은 몸에 붙는 자세가 프레임마다 바뀌는 것을 볼 수 있습니다. 앞뒤로 흔드는 동작 자체는 나타납니다. 다만 이번 캡처 각도(옆에서 살짝 비스듬히)로는 "완전히 옆이 아니라 진짜 앞뒤인지"까지 숫자로 확인하지는 못했습니다. 팔 관절 각도를 직접 로그로 뽑아 앞뒤 진폭과 좌우 진폭을 비교하는 것을 다음 과제로 남겼습니다.
속도를 올려도 걷나요?
0.7m/s로 올려도 넘어지지 않았고, 목표의 94%까지 이동했습니다.
| 측정 | 값 |
|---|---|
| 명령 속도 | 0.7 m/s |
| 실제 이동 | 6.61m/10초 = 0.661 m/s(목표의 94%) |
| 동작 급변 | 0.063(0.5m/s 때와 비슷 — 속도를 올려도 동작이 튀지 않음) |
| 넘어짐 | 0번 |
학습 1회(시드 1개) 결과 · 시뮬레이션 기준
V4는 0.7m/s로 시험한 적이 없어 V4와의 직접 비교 기록은 없습니다. V4가 확인했던 0.5m/s보다 더 빠르게 걸을 수 있음을 이번에 새로 확인했다는 뜻으로 읽어 주십시오.
자주 묻는 질문
팔이 이제 완전히 사람처럼 걷나요?
앞뒤로 흔드는 동작은 나타났지만, 좌우 설렁거림이 완전히 사라졌는지는 이번 캡처 각도로는 숫자로 확인하지 못했습니다. 관절 각도를 직접 로그로 뽑아 확인하는 것이 다음 과제입니다.
속도를 더 올릴 수 있나요?
0.7m/s에서는 목표의 94%까지 이동했고 넘어짐은 없었습니다. 그 이상은 이번에 시험하지 않았습니다.
보상을 하나 더했을 뿐인데 왜 걸음 리듬(1초 3.6번)은 그대로인가요?
걸음 리듬을 만드는 보상은 V4에서 이미 있던 것을 그대로 뒀고, 이번에는 팔 보상만 새로 더했기 때문으로 봅니다. 팔 보상도 다리와 같은 박자를 쓰도록 만들어, 리듬을 바꿀 이유가 없었습니다.
실제 로봇에서도 이렇게 걷나요?
확인하지 않았습니다. 이 결과는 평지, 시뮬레이션 안에서만 확인한 것입니다.
다음 단계
팔 관절 각도를 로그로 뽑아 앞뒤·좌우 진폭을 숫자로 비교하는 작업을 이어 갑니다. 보상을 어떻게 설계하고 무엇을 검증했는지, 검증하지 못한 부분까지 수업에서 어디까지 다룰지는 상담에서 범위를 잡아 드립니다.
사용한 버전: Isaac Sim 5.1.0 · Isaac Lab 2.3.2 · rsl-rl-lib 3.1.2 · Booster 공식 저장소 K1_22dof.urdf
출처: 저희가 직접 진행한 K1 걷기 강화학습 V5(2026-09-23). 모든 결과는 평지 시뮬레이션 값이며 실제 로봇 적용 전입니다.
이 글과 그림의 저작권은 SV로보틱스에 있습니다. 원문 링크를 밝힌 인용은 환영하며, 전문 복제·재배포와 교육 자료로의 전재는 허락이 필요합니다.