가상 K1에게 박물관 안내를 맡겨 보았습니다 — 배운 걸음으로 코스를 돌고, 한 번 잘 나온 숫자는 믿지 않기
강화학습으로 배운 Booster K1의 걸음을 박물관 안내 시뮬레이션에 붙였습니다. 표식을 보고 전시물 앞까지 걸어가 해설하는 코스를 학습 시작 번호(시드)를 바꾼 세 걸음으로 각각 돌려 모두 출구까지 도착했고, 넘어짐은 없었습니다. 다만 모두 시뮬레이션이고, 걸음이 충분히 좋은지는 학습 시작 번호(시드)를 바꿔 여러 번 학습한 평균과 가장 나쁜 값으로 따로 판정합니다.
이 글의 숫자는 모두 시뮬레이션 기준입니다. 실물 K1에는 아직 올리지 않았습니다.
강화학습으로 배운 걸음을 박물관 안내 일에 붙여 보았습니다. 가상 K1이 바닥과 벽의 표식을 보고 전시물 앞까지 걸어가 해설하고 출구로 나가는 코스를, 관람객 모형이 오가는 가운데 학습 시작 번호(시드)를 바꾼 세 걸음 모두 넘어짐 없이 완주했습니다(시뮬레이션 기준). 처음 두 번은 완주하지 못했고, 그 원인을 나눠 고친 기록도 함께 적습니다.
연재 3편에서는 Isaac Lab에서 배운 걸음을 다른 시뮬레이터(MuJoCo)로 옮겨 다시 확인했습니다. 이번 편은 그 걸음을 실제 쓰임새에 가까운 일에 붙여 본 이야기입니다.
무엇을 시뮬레이션했나요?
위에서 본 가상 전시실입니다. 전시물 세 곳 앞에 정지점이 있고, 출구 쪽에 표식이 있습니다.
K1이 하는 일은 이렇습니다.
- 바닥·벽에 붙인 표식(AprilTag)을 머리 카메라로 보고 자기 위치를 바로잡습니다.
- 다음 전시물 앞 정지점까지 걸어가 섭니다.
- 전시물을 해설합니다(이 시뮬레이션에서는 한 곳에 30초씩).
- 세 곳을 돌고 출구 표식까지 갑니다.
- 앞 1m 안에 사람이 보이면 멈춥니다(바로 앞 가까운 곳과 옆·뒤는 볼 수 없어 동행 요원이 필요합니다).
- 전시물 앞을 사람이 막고 있으면 기다렸다가 비켜 달라고 말하고, 그래도 막히면 조금 떨어진 자리에서 해설합니다. 계속 막히면 그 전시물을 건너뛰고 다음으로 갑니다(시뮬레이션 기준).
걷는 동작은 저희가 강화학습으로 학습시킨 걸음을 그대로 썼습니다. 어디로 갈지, 언제 멈출지는 사람이 짠 안내 프로그램이 정합니다. 걷기는 학습, 길 찾기와 멈추기는 규칙으로 나눈 구조입니다.
결과는 어땠나요?
아래는 뒤에서 설명할 판정을 통과하도록 설정을 고친 걸음으로, 학습 시작 번호(시드)를 바꾼 세 걸음 모두 코스를 돌린 결과입니다(시뮬레이션 기준).
| 항목 | 결과(시뮬레이션 기준, 세 걸음) |
|---|---|
| 코스 완주 | 세 걸음 모두, 관람객이 있을 때·없을 때 30바퀴씩 돌려 모두 출구까지 도착. 전시물 앞이 계속 막혀 전시물 하나를 건너뛴 바퀴도 있습니다 |
| 넘어짐 | 세 걸음 모두 0번 |
| 앞 1m 사람 멈춤 | 일부러 부딪치게 보낸 시험 180번(세 걸음 × 60번)과 코스 전체에서 모두 멈춤 |
| 전시물 앞에 선 자리 | 정해진 자리에서 평균 10cm를 조금 넘게 벗어났고, 가장 크게 벗어난 경우에도 30cm 안 |
| 한 바퀴 | 해설 세 곳을 모두 들르면 약 3분(관람객이 많으면 3분 반 안팎) |
평균만 보면 놓치는 값이 있어, 가장 크게 벗어난 경우도 함께 적었습니다.
처음부터 됐나요?
아니요. 처음에는 설정을 고치기 전의 걸음으로 코스를 돌렸습니다. 같은 장면, 같은 조건으로 세 번 돌렸고 세 번째에야 모두 완주했습니다.
- 첫 번째: 사람 멈춤 시험에서 많이 실패했습니다. 원인은 로봇이 아니라 시험 프로그램이었습니다. 시험이 로봇을 시작 자리로 옮겼다고 생각했는데, 학습한 걸음으로 움직이는 로봇은 출발점에 그대로 남아 있었습니다. 사람과 로봇의 위치가 어긋난 채로 시험한 것입니다.
- 두 번째: 사람 멈춤은 통과했지만 완주하지 못한 바퀴가 있었습니다. 실패는 모두 전시물 앞에 다가가는 마지막 구간에서 났습니다. 학습한 걸음은 명령을 받고 반응하기까지 시간이 조금 걸리는데, 안내 프로그램은 "제자리에서 꽉 돌고, 한 걸음씩 짧게 다가가기"를 시켰습니다. 돌다가 지나치고, 다가가는 거리가 줄지 않았습니다.
- 세 번째: 안내 프로그램이 걸음의 반응 속도에 맞춰 남은 거리에 비례해 천천히 다가가게 고치자 모두 완주했습니다.
여기서 배운 것은 실패의 몫을 나누는 일입니다. 두 번째 실패는 걸음이 나빠서가 아니라 안내 프로그램이 걸음의 성질을 모르고 명령한 탓이 컸습니다. 반대로 걸음 쪽에 남은 숙제도 분명히 보였습니다. 명령한 속도보다 실제로 덜 나아가고, 곧게 걸으라고 해도 조금씩 휘어서 안내 프로그램이 방향을 계속 고쳐 줘야 했습니다. 이 숙제는 다음 학습 단계에서 다룹니다.
학습한 걸음이 '좋은지'는 어떻게 판단하나요?
박물관 코스를 완주했다고 해서 걸음이 충분히 좋다는 뜻은 아닙니다. 안내 프로그램이 걸음의 약점을 메워 준 부분이 있기 때문입니다. 그래서 걸음 자체는 따로 판정합니다.
한 번 잘 나온 숫자를 믿지 않습니다. 강화학습은 학습을 시작할 때 고르는 시작 번호(시드)에 따라 결과가 달라질 수 있습니다. 운 좋게 한 번 잘 나온 결과만 보면 실제보다 좋게 판단하게 됩니다.
그래서 같은 조건에서 시드만 세 가지로 바꿔 세 번 학습하고, 세 결과의 평균과 가장 나쁜 값으로 판정합니다. 판정은 학습에 쓴 시뮬레이터가 아니라 다른 시뮬레이터(MuJoCo)로 옮겨서 합니다.
판정에서 보는 것은 이런 것들입니다.
- 정해진 속도로 앞으로 10초 걸었을 때 방향이 얼마나 휘는지
- 그동안 얼마나 나아갔는지
- 명령이 조금 늦게 전달되는 상황에서도 같은 걸음을 유지하는지
- 넘어지지 않는지
시드를 바꿔 보니, 같은 설정에서도 시드에 따라 걸음의 버티는 정도가 꽤 다르게 나왔습니다. 한 시드만 보고 "버팀이 좋다, 나쁘다"를 말하지 않는 이유입니다.
판정 결과는 어땠나요?
처음 설정으로 학습한 걸음은 10초 동안 나아간 거리가 기준에 못 미쳤습니다. 그래서 설정을 고쳐 다시 학습했고, 고친 설정을 같은 방법으로 판정했습니다.
같은 설정으로 시드만 바꿔 3번 학습한 결과를 MuJoCo에서 방향 보정을 켜고 앞으로 0.5m/s로 10초 걷게 해 확인했습니다(시뮬레이션 기준 — 실물 K1이 아닙니다).
| 항목 | 시드 3개 평균 | 가장 나쁜 값 |
|---|---|---|
| 방향이 틀어진 정도 | 3.9° | 8.0° |
| 10초 동안 간 거리 | 4.35m | 4.24m |
| 명령이 조금 늦게 전달될 때 방향 | 3.6° | 6.4° |
| 넘어짐 | 세 번 모두 없음 | — |
이렇게 판정을 통과한 세 걸음으로 박물관 코스를 다시 돌린 결과가 앞의 「결과는 어땠나요?」 표입니다.
시드를 바꾼 걸음에서 문제는 없었나요?
있었습니다. 학습 시작 번호(시드)를 바꾼 다른 걸음으로 돌렸을 때, 멈춰 기다리던 중 카메라가 보지 못하는 가까운 자리에 사람이 남아 있는데 다시 걷기 시작한 경우가 있었습니다. 사람이 떠나는 것을 확인하기 전엔 다시 걷지 않도록 고쳤고, 고친 뒤 세 시드 모두 그런 경우가 없었습니다(시뮬레이션 기준).
같은 시드로 다시 학습하면 같은 결과가 나오나요?
네. 같은 PC, 같은 설정, 같은 시드로 다시 학습했더니 결과로 나온 학습 파일이 바이트 단위까지 같았습니다. 다른 PC에서도 같은지는 아직 확인하지 않았습니다.
다만 이것은 "같은 조건이면 같은 결과"라는 재현성의 증거일 뿐, 설정이 좋다는 증거는 아닙니다. 설정이 좋은지는 여전히 시드 여러 개의 평균과 가장 나쁜 값으로 봅니다.
어떤 장비로 했나요?
걷기 학습은 NVIDIA Isaac Lab에서 가상 K1 여러 대를 동시에 움직여 했습니다. 공식 권장은 RTX 4080급 16GB 이상이고, 저희는 RTX 4060 Ti 16GB에서 K1 4,096대 동시 학습을 실측했습니다(2026-09-17). 박물관 안내 시뮬레이션과 판정은 MuJoCo(공개 물리 시뮬레이터)에서 했습니다.
실물 박물관에서 바로 쓸 수 있나요?
아직 아닙니다. 이 글의 결과는 시뮬레이션, 깨끗한 바닥, 단순한 관람객 모형 기준입니다.
K1의 사람 감지는 머리 깊이 카메라 하나라, 옆·뒤와 몸 바로 앞 가까운 곳은 볼 수 없습니다. 그래서 실제 운영에는 동행 요원과 바닥선이 꼭 필요합니다(시뮬레이션 기준 설계).
이 과정에서 배운 것
- 걷기는 학습, 길 찾기와 멈추기는 규칙으로 나누면 실패의 원인을 가르기 쉽습니다.
- 실패의 몫을 나눕니다. 시험 프로그램, 안내 프로그램, 걸음 — 어디서 난 문제인지 먼저 가렸습니다.
- 한 번 잘 나온 숫자는 믿지 않습니다. 시드를 바꿔 여러 번 학습하고 평균과 가장 나쁜 값으로 판단합니다.
- 같은 결과가 다시 나온다는 것은 재현성이지 좋음이 아닙니다.
자주 묻는 질문
실물 K1이 박물관을 안내한 건가요?
아닙니다. 모두 시뮬레이션입니다. 실물 K1에는 아직 이 걸음을 올리지 않았습니다.
코스를 완주했으면 걸음이 완성된 건가요?
아닙니다. 완주에는 안내 프로그램이 걸음의 약점을 메워 준 몫이 있습니다. 걸음 자체는 시드를 바꿔 여러 번 학습한 결과의 평균과 가장 나쁜 값으로 따로 판정하고, 처음 걸음은 그 판정에서 거리 기준에 못 미쳐 설정을 고쳐 다시 학습했습니다.
시드가 무엇인가요?
학습을 시작할 때 정하는 시작 번호입니다. 같은 설정이라도 시드가 다르면 학습 결과가 달라질 수 있어, 여러 시드로 학습해 결과를 함께 봅니다.
사람이 옆에서 다가오면 멈추나요?
아니요. K1의 사람 감지는 머리 깊이 카메라 하나라, 옆·뒤와 몸 바로 앞 가까운 곳은 볼 수 없습니다. 그래서 실제 운영에는 동행 요원과 바닥선이 꼭 필요합니다(시뮬레이션 기준 설계).
이런 과정을 수업에서 다룰 수 있나요?
수업에서 다루는 범위와 방법은 교육 상담에서 안내합니다.
이 글의 숫자는 모두 MuJoCo 시뮬레이션 기준이며 실물 K1에는 아직 올리지 않았습니다. 거친 바닥·경사·턱·계단, 옆·뒤나 몸 바로 앞 가까운 곳에서 다가오는 사람은 다루지 않습니다.
다음 단계
다음 편에서는 걸음을 다듬은 과정과, 다듬은 걸음이 다른 조건에서도 버티는지 확인한 이야기를 적을 예정입니다. 수업에서 다루는 방법은 교육 상담에서 안내합니다.
출처: 저희가 직접 진행한 Booster K1 걷기 강화학습·박물관 안내 시뮬레이션(2026-09-17~10-03). 박물관 안내 시뮬레이션은 MuJoCo, 공개 K1 모델, 인쇄용 AprilTag 표식으로 만들었습니다. 학습 설정·점수 설계는 이 글에 싣지 않았습니다.
이 글과 그림의 저작권은 SV로보틱스에 있습니다. 원문 링크를 밝힌 인용은 환영하며, 전문 복제·재배포와 교육 자료로의 전재는 허락이 필요합니다.