휴머노이드 걷기 AI 수업, PC 한 대로 할 수 있나요?
됩니다. GPU 한 장이 달린 PC에서 Booster K1 걷기를 32분 학습해 넘어지지 않는 걸음을, 걸음 모양까지 고친 v4는 1시간 40분 학습해 사람다운 걸음을 얻었습니다. 필요한 PC 사양, 쓴 도구, 다른 시뮬레이터로 확인한 결과와 한계를 정리했습니다.
피지컬 AI, 직접 해 봤습니다 · 2회 · 1회: Booster K1 걷기 학습, Isaac Lab으로 32분 걸렸습니다
이 글은 실습 과정과 결과만 공개합니다. 대신 도입 기관에는 교재 본문과 지도서를 제공합니다.
됩니다. GPU 한 장이 달린 PC 한 대에서 Booster K1 걷기를 약 32분 학습해 10초 동안 한 번도 넘어지지 않는 걸음을 얻었습니다. 다만 이 처음 결과(v1)는 1초에 발을 15.2번 딛는 종종걸음이었고, 걸음 모양 점수를 넣어 같은 PC에서 약 1시간 40분 다시 학습한 v4가 1초 3.6걸음의 사람다운 걸음이 됐습니다. 대형 서버 없이, 실습실 워크스테이션급 PC로 강화학습 실습을 준비할 수 있다는 뜻입니다.
다만 평지, 시뮬레이션 안에서 확인한 결과입니다. 실제 로봇에 올리는 단계는 아직 하지 않았습니다.
어떤 PC에서 했나요?
GPU 한 장이 달린 데스크톱 한 대입니다.
| 항목 | 이번에 쓴 PC |
|---|---|
| 운영체제 | Windows 11 Pro |
| GPU | RTX 4060 Ti 16GB |
| CPU | i7-13700F |
| RAM | 32GB |
처음 학습(v1) 동안 GPU 사용률은 약 56%, GPU 메모리는 약 4.9GB였습니다. 다른 GPU에서는 시험하지 않았으므로, 이 표는 "이 사양에서 됐다"는 기록으로 봐 주세요.
얼마나 걸리고, 결과는 어땠나요?
K1 4,096대를 시뮬레이션 안에서 동시에 돌려 1,000회 반복, 약 32분이 걸렸습니다. 아래 숫자는 모두 첫 학습(v1) 기준입니다.
| 학습 전 | 첫 학습(v1) 후(1,000회·32분) | |
|---|---|---|
| 넘어짐 | 5초 동안 2~3번 | 10초 동안 0번 |
| 이동 거리 | 0.7m(쓰러지며 밀림) | 4.26m |
| 평균 보상 | -0.28 | 32.0 |
같은 조건(앞으로 0.5m/s 명령)에서 비교했습니다.
넘어지지는 않았지만 걸음 모양은 합격이 아니었습니다. 걸음 모양에 점수를 준 v4는 같은 PC에서 이렇게 나왔습니다(과정은 연재 1회에 정리).
| 처음 결과 v1 | v4(기준 정책) | |
|---|---|---|
| 학습 | 4,096대·1,000회·약 32분 | 4,096대·2,500회·약 1시간 40분 |
| 1초에 발 딛는 횟수 | 15.2번(종종걸음) | 3.6번(사람 2~3번) |
| 10초 이동 거리(목표 5.0m) | 4.26m | 5.02m |
| 넘어짐 | 0번 | 0번 |
어떤 도구를 썼고, 따로 사야 하나요?
모두 공개된 도구와 모델을 받아 썼습니다.
| 도구 | 역할 | 라이선스 |
|---|---|---|
| NVIDIA Isaac Sim 5.1.0 | 물리 시뮬레이터 | NVIDIA 사용권(약관 동의) |
| Isaac Lab 2.3.2 | 강화학습 틀 | BSD-3-Clause |
| MuJoCo 3.13.0 | 다른 시뮬레이터로 확인 | Apache-2.0 |
| Booster K1 모델(URDF·MJCF) | 로봇 설계도 | BSD-3-Clause |
소프트웨어 구매 없이 시작할 수 있지만, 설치 용량은 넉넉히 잡아야 합니다. Isaac Sim은 받는 파일 7.9GB, 풀면 약 15GB이고 공식 설치 때 학습용 부품이 3.3GB 더 붙습니다. 윈도우에서 설치하며 막힌 곳은 따로 정리합니다.
학습한 AI가 다른 시뮬레이터에서도 걷나요?
걷습니다. 기준 정책 v4는 MuJoCo로 옮겨도 앞으로·회전·옆걸음 모두 넘어지지 않았고, 옆걸음 방향 틀어짐도 -11.6°로 줄었습니다. 거기까지 v1 → v2 → v4 세 번 학습했습니다.
학습한 결과를 물리 엔진이 다른 MuJoCo(Booster가 공식 제공하는 K1 모델)로 옮겨 각 10초씩 시험했습니다. 첫 학습(v1)에서 옆걸음이 넘어져, 바닥 마찰·밀기·몸통 무게를 무작위로 바꾸며 같은 규모(4,096대·1,000회)로 한 번 더 학습(v2)했습니다.
| 명령(10초) → MuJoCo | 첫 학습(v1) | 무작위화 학습(v2) | 걸음 모양 점수(v4) |
|---|---|---|---|
| 앞으로 0.5m/s | 넘어짐 0, 4.84m | 넘어짐 0, 3.68m(방향 35° 틀어짐) | 넘어짐 0, 4.16m(방향 9.9°) |
| 앞으로 걸으며 회전(목표 458°) | 넘어짐 0 | 넘어짐 0, 544°(더 돎) | 넘어짐 0, 470° |
| 옆으로 0.3m/s | 1.7초에 넘어짐 | 넘어짐 0, 1.31m, 몸 방향 195° 돌아감 | 넘어짐 0, 2.00m(방향 -11.6°) |
v1의 옆걸음은 Isaac Lab 안에서는 넘어지지 않았습니다. 시뮬레이터마다 물리 계산이 달라 생긴 차이이고, 이것이 실제 로봇으로 가기 전에 여러 시뮬레이터로 확인하는 이유입니다. v2에서는 MuJoCo에서도 넘어지지 않게 됐지만, 명령한 옆 방향을 유지하지 못하고 몸이 돌아갔습니다. 학생에게는 오히려 좋은 토의 주제가 됩니다.
v4는 v2의 무작위화 위에 걸음 박자에 맞춰 발을 번갈아 드는 점수를 더한 것입니다. 박자에 맞춘 걸음이 엔진이 바뀌어도 덜 흔들린다는 해석이 자연스럽지만, 원인을 나눠 보는 시험은 하지 않았습니다. 평균 보상은 버전마다 점수 항목이 달라 서로 비교하지 않습니다.
실습실은 어떻게 나누면 되나요?
학습은 GPU PC에서, 확인은 가벼운 시뮬레이터에서 나눠 할 수 있습니다.
- 학습 — GPU가 달린 워크스테이션. 이번 기록 기준 v1 약 32분, 기준 정책 v4 약 1시간 40분(2,500회)
- 확인·관찰 — MuJoCo는
pip한 줄로 설치(약 0.16GB)되고, 로봇 1대 시뮬레이션이 CPU로 실시간보다 30~45배 빨리 돌았습니다. 학습 결과를 받아 돌려 보는 실습에 맞습니다
학생 노트북과 워크스테이션을 어떻게 나눌지는 휴머노이드 실습실, 학생 수와 장비는 어떻게 나눠 생각할까요?에 정리해 두었습니다.
아직 확인하지 않은 것은 무엇인가요?
실제 로봇 적용, 다른 GPU, 옆걸음 방향의 남은 오차입니다.
- 결과는 평지 시뮬레이션에서만 확인했습니다
- 관절을 당기는 힘(PD 게인)은 제조사 공식 값이 아니라 저희가 정한 추정치입니다
- 옆걸음 방향 틀어짐은 v4에서 MuJoCo -11.6°로 줄었지만 0은 아닙니다(Isaac Lab 안에서는 -27°)
- 실제 로봇에 올리려면 더 강하게 학습시키고 시뮬레이션과 실제의 차이를 검증하는 단계가 더 필요합니다
자주 묻는 질문
GPU가 없는 실습실이면 걷기 학습을 못 하나요?
이번처럼 로봇 수천 대를 동시에 돌리는 학습은 GPU가 필요합니다. 학습이 끝난 결과를 받아 MuJoCo에서 돌려 보는 실습은 CPU로 할 수 있습니다.
이 PC 사양보다 낮으면 안 되나요?
다른 GPU에서는 시험하지 않았습니다. 이번 학습에서 GPU 메모리는 약 4.9GB를 썼습니다.
학습한 AI를 실제 K1에 바로 쓸 수 있나요?
아직 확인하지 않았습니다. 평지 시뮬레이션 결과이고, 실제 로봇 적용에는 추가 학습과 검증이 필요합니다.
이 실습을 수업으로 운영할 수 있나요?
학습 PC 구성, 설치 안내, 학생이 결과를 확인하는 방법을 기관 환경에 맞춰 함께 검토해 드립니다.
확인한 버전: Isaac Sim 5.1.0 · Isaac Lab 2.3.2 · MuJoCo 3.13.0 · booster_assets 커밋 3c2dfa9
출처: 에스브이로보틱스 Isaac Sim 실습 기록(K1 걷기 강화학습 절차서, 시뮬레이터 3종 사용 후기(v4 결과 포함), Isaac Lab 사용자 가이드). 모든 숫자는 위 PC에서 직접 측정한 값입니다.
이 글과 그림의 저작권은 SV로보틱스에 있습니다. 원문 링크를 밝힌 인용은 환영하며, 전문 복제·재배포와 교육 자료로의 전재는 허락이 필요합니다.