실물과 같은 입력으로 다시 배운 걷기 — 세 번 학습 모두 넘어지지 않았지만, 멈추기는 아직
실물 로봇이 잴 수 없는 값 하나를 걷기 정책의 입력에서 빼고 다시 학습했습니다. 시작 번호를 바꾼 세 번의 학습 모두 10초를 넘어지지 않고 걸었습니다. 다만 멈추라는 명령 뒤 미끄러지는 거리는 학습마다 크게 달라, 멈추기는 아직 다듬는 중입니다. 모두 시뮬레이션 기준입니다.
이 글의 결과는 모두 시뮬레이션 기준입니다. 실물 K1에 올려 본 것은 아닙니다.
입력 구성을 실물에 맞춰 다시 학습한 새 걷기 정책은, 세 번 학습 모두 10초를 넘어지지 않고 걸었습니다(시뮬레이션 기준). 이전 걷기 정책은 실물 로봇과 같은 입력 조건이면 걷기 시작 뒤 약 1초 만에 넘어졌습니다(시뮬레이션 기준).
앞 편에서는 시뮬레이션에서 배운 걷기가 실물 로봇과 같은 입력에서는 넘어지는 문제를 찾았습니다. 이번 편은 그 문제를 푼 이야기입니다.
무엇을 바꿨나요?
걷기 정책이 받는 입력에서 '몸이 앞으로 움직이는 속도'를 빼고, 실물 로봇이 실제로 잴 수 있는 값만으로 다시 학습했습니다. 다른 조건은 바꾸지 않았습니다(시뮬레이션 기준).
로봇 몸에 달린 관성 센서는 몸의 기울기와 회전 속도는 재지만, 몸이 앞으로 움직이는 속도는 직접 재지 못합니다. 그래서 처음부터 그 값 없이 걷는 법을 배우게 한 것입니다.
어떻게 판단했나요?
한 번 잘 나온 학습이 아니라, 시작 번호를 바꾼 세 번의 학습 모두 걷기 기준을 넘었는지로 판단했습니다. 걷기 기준은 결과를 보기 전에 정해 두었습니다. 함께 정한 멈추기 기준은 넘지 못했습니다(아래).
강화학습은 학습을 시작할 때 고르는 시작 번호(시드)에 따라 결과가 꽤 달라질 수 있습니다. 그래서 가장 잘 나온 한 번이 아니라, 세 번 모두의 결과를 함께 봅니다.
결과는 어땠나요?
앞으로 초속 0.5m를 10초 동안 명령했을 때, 세 번 학습 모두 넘어짐 0, 앞으로 평균 4.2m, 방향 틀어짐은 가장 나쁜 경우도 3° 안이었습니다(시뮬레이션 기준).
| 항목 | 결과(세 번 학습, 시뮬레이션 기준) |
|---|---|
| 넘어짐 | 세 번 모두 0 |
| 10초 동안 앞으로 간 거리 | 세 번 평균 4.2m |
| 방향 틀어짐 | 가장 나쁜 경우도 3° 안 |
그럼 이제 다 된 건가요?
아닙니다. 멈추라는 명령을 받은 뒤 미끄러지는 거리는 학습마다 크게 달랐습니다. 어떤 학습은 거의 바로 섰지만, 어떤 학습은 한참 더 걸어간 뒤에 섰습니다.
그래서 이번 정책은 '실물 입력으로 걷기'까지 확인한 것이고, 멈추기는 아직 다듬는 중입니다(시뮬레이션 기준).
이 과정에서 배운 것
- 시뮬레이터가 알려 주는 값과 실물 로봇이 잴 수 있는 값을 먼저 맞춥니다. 맞지 않는 값에 기대어 배운 걷기는 실물 조건에서 넘어질 수 있습니다.
- 한 번 잘 나온 숫자를 믿지 않습니다. 시작 번호를 바꾼 세 번의 학습 모두로 판단하고, 기준은 결과를 보기 전에 정합니다. 걷기 기준은 넘었고, 멈추기 기준은 넘지 못했습니다.
- 풀린 것과 남은 것을 나눠 적습니다. 이번에 확인한 것은 걷기이고, 멈추기는 남은 과제입니다.
자주 묻는 질문
실물 K1에서 걸은 건가요?
아닙니다. 모두 시뮬레이션 결과입니다. 실물 로봇과 같은 입력 조건으로 시뮬레이션에서 시험했고, 실물 K1에 올려 본 것은 아닙니다.
무엇을 바꿨나요?
걷기 정책이 받는 입력에서 '몸이 앞으로 움직이는 속도'를 빼고, 실물 로봇이 실제로 잴 수 있는 값만으로 다시 학습했습니다. 다른 조건은 바꾸지 않았습니다(시뮬레이션 기준).
결과는 얼마나 좋아졌나요?
앞으로 초속 0.5m를 10초 동안 명령했을 때, 세 번 학습 모두 넘어짐 0, 앞으로 평균 4.2m, 방향 틀어짐은 가장 나쁜 경우도 3° 안이었습니다(시뮬레이션 기준).
멈추기도 해결됐나요?
아닙니다. 멈추라는 명령 뒤 미끄러지는 거리는 학습마다 크게 달랐습니다. 이번 정책은 '실물 입력으로 걷기'까지 확인한 것이고, 멈추기는 아직 다듬는 중입니다(시뮬레이션 기준).
이런 과정을 수업에서 다룰 수 있나요?
수업에서 다루는 범위와 방법은 교육 상담에서 안내합니다.
이 글에서 확인한 것 · 확인하지 못한 것
- 확인한 것(시뮬레이션 기준): 입력을 실물에 맞춰 다시 학습한 걷기 정책이, 시작 번호를 바꾼 세 번의 학습 모두 넘어짐 0, 앞으로 평균 4.2m, 방향 틀어짐 최악 3° 안.
- 확인하지 못한 것: 실물 K1에서의 동작, 멈추기(학습마다 미끄러지는 거리가 크게 다름 — 다듬는 중).
출처: 에스브이로보틱스 실습 기록(Booster K1 걷기 강화학습, 실물과 같은 입력으로 다시 학습, 2026-10-04~05). 모두 시뮬레이션 결과입니다.
이 글과 그림의 저작권은 SV로보틱스에 있습니다. 원문 링크를 밝힌 인용은 환영하며, 전문 복제·재배포와 교육 자료로의 전재는 허락이 필요합니다.