국어) 수특 독서 지문 정정 재신청
게시글 주소: https://orbi.kr/00073468774
처음에 너무 두서없이 썼는지 반려되어서, 다시 쓴 김에 오르비에도 올립니다.
==========
사진은 순서대로 MRP, MDP, 그리고 수능특강의 <그림>입니다.
<그림>이 MRP와 MDP 중 무엇과 더 유사한지 살펴봐 주시기 바랍니다.
MRP와 MDP 사진 출처는 구글 딥마인드 유튜브 채널의 RL Course 강의자료입니다:
https://m.youtube.com/watch?v=lfHX2hHRMVQ&pp=0gcJCf0Ao7VqN5tD
수능특강 지문에서는 <그림>을 MDP로 설명하고 있습니다.
MDP에서는 에이전트가 '상태 → 행동 → 상태'로 전이되고,
MRP에서는 에이전트가 '상태 → 상태'로 전이됩니다. MRP에는 행동이 없습니다.
그리고 <그림>을 보면 행동이 없습니다.
위 MDP에서 원은 상태를 뜻하고, 점은 행동을 뜻합니다.
가장 오른쪽 원(상태)에서, 왼쪽의 원(상태)들로 넘어가려면 행동을 거쳐야 합니다.
맨 아래 점이 하나 있죠? 'Pub'이라는 행동을 나타낸 것입니다.
그 행동의 결과로, 3개의 원(상태)로 전이될 확률이 각각 0.2, 0.4, 0.4로 주어져 있습니다.
지문의 서술을 보겠습니다.
'영어 공부' 상태에서는 2가지 행동 중 하나를 취할 수 있는데, 선택한 행동에 따라 다음 상태인 '카페', '운동'으로 이동할 확률, 즉 상태 변이 확률은 각각 0.4와 0.6으로 주어져 있다. 그리고 이때의 보상(R)은 각각 +1, +10이다.
아마 '카페 가기' 행동을 취해 '카페' 상태로 전이될 확률이 0.4이고,
'운동 가기' 행동을 취해 '운동' 상태로 전이될 확률이 0.6인 것으로 읽어야 할 듯합니다.
하지만, 행동은 상태 전이 확률에 따라 정해지는 것이 아닙니다. 지문에도 나와 있습니다.
정책은 각 상태에서 취할 행동의 묶음이다.
어떤 행동을 선택할 지는 에이전트가 정책으로 정합니다.
만약 '영어 공부' 상태에서 할 2가지 행동, 즉 행동1과 행동2가 있다면,
에이전트는 정책에 따라 행동1과 행동2 중 하나를 선택할 것이고,
그 결과 '카페'와 '운동' 상태로 전이될 '상태 전이 확률'이 행동1과 행동2 각각 따로 정해져 있어야 합니다.
예를 들어, 만약 두 행동이 '카페 가기'와 '운동 가기'일 때 에이전트가 '카페 가기' 행동을 선택했다면,
'카페' 상태로 전이될 확률과 '운동'으로 전이될 확률이 각각 주어져야 하는 것입니다.
그리고 만약 이 확률이 각각 0.4와 0.6이라면,
'카페 가기' 행동을 선택했을 때 '운동' 상태로 전이될 확률이 0.6이라는 의미가 됩니다.
만일 그렇지 않고 '카페' 행동을 선택했을 때 '카페' 상태로만 전이된다면,
상태 전이 확률은 0.4나 0.6이 아닌 1이어야 합니다.
또, MDP에서 보상은 행동에 주어지는 것이지, 상태에 주어지는 것이 아닙니다.
MDP를 보면, 'Pub'이라는 행동에 대해 보상 '+1'이 주어집니다.
그런데 지문의 <그림>을 보면, '카페'와 '운동' 상태에 각각 보상 '+1, +10'이 주어지는 것처럼 보입니다.
'카페 가기' 행동을 했는데 '운동' 상태로 전이되었을 경우를 생각해 보면,
<그림>과 지문 서술로 비추어서는 보상이 +1인지 +10인지 알 수가 없습니다.
보상은 '카페 가기' 행동에 주어져야 합니다.
==========
(이전 신청 건 EBS 답변)
안녕하세요. 회원님의 의견에 대한 답변을 드립니다.
제시문에서 행동과 그에 따른 보상을 설명하고 있으므로, <그림>에서의 상태 간 전이는 에이전트의 행동 선택에 따른 결과로 해석해야 합니다. 즉, 제시문의 설명에 따라 <그림>을 MDP로 이해하는 데 문제가 없다고 판단됩니다.
감사합니다.
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
-
ㅈ됐다 1
늦었어ㅓㅓㅓㅓㅓㅓㅓㅓ
-
2등급 맞으려면 필수인가요?
-
네에
-
돌돌이
-
얼버기 6
-
컴퓨터 블루스크린 터지면서 아직 제출해야 할 보고서와 ppt가 모두 알아볼 수 없게...
-
좋아 6
좋은 아침
-
모닝똥완뇨..
-
무슨 이렇게만 보면 작수 경제 만점자는 다맞았겟노 ㅋㅋㅋ 선넘네 진짜
-
이번주는 2
하루빼고 다 택시를 탔군아 이제 그만 지각해야지
-
이거 왜케 높음 아니 다들 왜이렇게 잘하는거야 이감 어렵다매 근데 뭔 컷이.........
-
美서 눌러앉은 이공계 인재 14만명, 이들이 韓 안 오는 이유 [사설] 1
매일경제가 과학기술정보통신부·한국과학기술기획평가원의 '과학기술인력 통계'를 분석한...
-
오빠기다려
-
둘 중 한권만 풀 수 있다면 뭘 풀지 추천 부탁드립니다
-
기균은 0
쓸수있으면 무조건 쓰는게이득?
-
머할까요 일단 쉬운거부터 하고싶은데
-
나는 왈도
-
아가출근 2
-
반수생 미적n제 2
6평 미적 28틀입니다 낯선 상황이 많이 들어있는 미적 n제 뭐뭐 있을까요?
-
얼버기 0
지금 다시 잘지 걍 일어날지 고민중
-
아침마다 지하철에서 자고 싶은데 이미 이 시간에도 만석임..
-
바람펴도 이해해줄듯 일단 나랑 사귀어준다는거 자체가 자원봉사임 사랑하는 사람이...
-
어쩐지 뒤지게 아프더라
-
늦버기 2
-
못한다고 봐야 정확하겠네요 그게 나이값 하라는건 일종의 기대잖아요? 연장자에 대한...
-
칙칙폭폭
-
우리뇌가 무심코 사실로 받아들이는 정보들이 얼마나 많을까 0
사실은 거짓인데
-
집가는중인데 5
아침부터 버스에 사람 갸많네
-
국어 0
정석민 비독원A(선지판단 위주) 아직 미시독해가 완벽하지 않은거 같은데 김동욱...
-
-
기차지나간당 4
부지런행
-
ㅇㅂㄱ 3
오늘도 달려볼가?
-
얼른자렴
-
잘자라 0
-
수능은봐야지 1
복귀해도 공부했으니까 응시는해야지
-
자기싫다야 3
피곤한데졸리진않고 자야하니까 눕긴 했는데
-
24년 10월 전국연합 제외하고 있을까요?
-
딱대 싀발
-
인생에 만족하면 다른 행위도 열심히 하죠
-
근데 막 나 자신을 해치고 봐줘 히히 할 정도까진 아니고 1
태생이 관심종자는 아니라서 그건 하기 싫어
-
ㅈ됨 씨발
-
배고파 2
크윽
-
술이 들어간다 1
쯕ㆍ쯕쯬
-
새르비 망했네 3
-
취하노 1
ㅋ가니한
-
깼어. 12
꿈에서좋아했던애랑워터파크를가서수영하는데급자기물에서 잼민이들이루루나오더니나랑육탄전하다가깼음 잘자
-
생각하고 구상하고 계획해야할 것도 많고 또 그 결과가 걱정되는 부분도 많아서 또...
-
허들링이나 인강 관련 너무 재촉하지 맙시다 스트레스 엄청 받으신것같은데 좀 마음이 안 좋네요
-
다른 분하고 키배뜨거나 비난 받아서?
첫번째 댓글의 주인공이 되어보세요.