국어) 수특 독서 지문 정정 재신청
게시글 주소: https://orbi.kr/00073468774
처음에 너무 두서없이 썼는지 반려되어서, 다시 쓴 김에 오르비에도 올립니다.
==========
사진은 순서대로 MRP, MDP, 그리고 수능특강의 <그림>입니다.
<그림>이 MRP와 MDP 중 무엇과 더 유사한지 살펴봐 주시기 바랍니다.
MRP와 MDP 사진 출처는 구글 딥마인드 유튜브 채널의 RL Course 강의자료입니다:
https://m.youtube.com/watch?v=lfHX2hHRMVQ&pp=0gcJCf0Ao7VqN5tD
수능특강 지문에서는 <그림>을 MDP로 설명하고 있습니다.
MDP에서는 에이전트가 '상태 → 행동 → 상태'로 전이되고,
MRP에서는 에이전트가 '상태 → 상태'로 전이됩니다. MRP에는 행동이 없습니다.
그리고 <그림>을 보면 행동이 없습니다.
위 MDP에서 원은 상태를 뜻하고, 점은 행동을 뜻합니다.
가장 오른쪽 원(상태)에서, 왼쪽의 원(상태)들로 넘어가려면 행동을 거쳐야 합니다.
맨 아래 점이 하나 있죠? 'Pub'이라는 행동을 나타낸 것입니다.
그 행동의 결과로, 3개의 원(상태)로 전이될 확률이 각각 0.2, 0.4, 0.4로 주어져 있습니다.
지문의 서술을 보겠습니다.
'영어 공부' 상태에서는 2가지 행동 중 하나를 취할 수 있는데, 선택한 행동에 따라 다음 상태인 '카페', '운동'으로 이동할 확률, 즉 상태 변이 확률은 각각 0.4와 0.6으로 주어져 있다. 그리고 이때의 보상(R)은 각각 +1, +10이다.
아마 '카페 가기' 행동을 취해 '카페' 상태로 전이될 확률이 0.4이고,
'운동 가기' 행동을 취해 '운동' 상태로 전이될 확률이 0.6인 것으로 읽어야 할 듯합니다.
하지만, 행동은 상태 전이 확률에 따라 정해지는 것이 아닙니다. 지문에도 나와 있습니다.
정책은 각 상태에서 취할 행동의 묶음이다.
어떤 행동을 선택할 지는 에이전트가 정책으로 정합니다.
만약 '영어 공부' 상태에서 할 2가지 행동, 즉 행동1과 행동2가 있다면,
에이전트는 정책에 따라 행동1과 행동2 중 하나를 선택할 것이고,
그 결과 '카페'와 '운동' 상태로 전이될 '상태 전이 확률'이 행동1과 행동2 각각 따로 정해져 있어야 합니다.
예를 들어, 만약 두 행동이 '카페 가기'와 '운동 가기'일 때 에이전트가 '카페 가기' 행동을 선택했다면,
'카페' 상태로 전이될 확률과 '운동'으로 전이될 확률이 각각 주어져야 하는 것입니다.
그리고 만약 이 확률이 각각 0.4와 0.6이라면,
'카페 가기' 행동을 선택했을 때 '운동' 상태로 전이될 확률이 0.6이라는 의미가 됩니다.
만일 그렇지 않고 '카페' 행동을 선택했을 때 '카페' 상태로만 전이된다면,
상태 전이 확률은 0.4나 0.6이 아닌 1이어야 합니다.
또, MDP에서 보상은 행동에 주어지는 것이지, 상태에 주어지는 것이 아닙니다.
MDP를 보면, 'Pub'이라는 행동에 대해 보상 '+1'이 주어집니다.
그런데 지문의 <그림>을 보면, '카페'와 '운동' 상태에 각각 보상 '+1, +10'이 주어지는 것처럼 보입니다.
'카페 가기' 행동을 했는데 '운동' 상태로 전이되었을 경우를 생각해 보면,
<그림>과 지문 서술로 비추어서는 보상이 +1인지 +10인지 알 수가 없습니다.
보상은 '카페 가기' 행동에 주어져야 합니다.
==========
(이전 신청 건 EBS 답변)
안녕하세요. 회원님의 의견에 대한 답변을 드립니다.
제시문에서 행동과 그에 따른 보상을 설명하고 있으므로, <그림>에서의 상태 간 전이는 에이전트의 행동 선택에 따른 결과로 해석해야 합니다. 즉, 제시문의 설명에 따라 <그림>을 MDP로 이해하는 데 문제가 없다고 판단됩니다.
감사합니다.
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
김승리 문학 별론가요? 0 0
독서는 저랑 잘 맞아서 ㄱㅊ은데 문학 별로라는 말이 많길래 추천부탁
-
노뱃지는 ㄹㅇ 가만히 있어라 0 0
넵....
-
Web발신]...
-
오늘은 새르비 못하겠네요 3 2
어지러워요 내일봐요
-
뱃지 안단새끼를 믿을수가 없어 9 3
그새끼가 자기가 뭔 학교를 두번나갔는데 교수님이 에이쁠을 자기한테 줬고 자기가 너무...
-
손 틈새로 비치는 0 1
내 맘 들킬까 두려워
-
진짜 앙되인지는 잘 모르겟음
-
설레는 답글 달아드림
-
솔직히 나는 1 2
굳이 저길 들어가서 굳이 상처받는것도 이해안됨 본진에 그걸 끌고오는건 문제가맞지만...
-
남자들 운동하면 ㄹㅇ 선이 달라짐 15 0
천연 호르몬인데 이걸 안 해? 내가 특수부대 애들하고 인생네컷 찍은 거 보면 내가...
-
나랑싸우자 2 0
-
비갤여신앙되 1 0
ㅇ
-
옯뉴비는 그런거 몰라요
-
나에게 무한의 수명을 주세요 0 0
프리렌처럼 느긋하게 살고 싶구나
-
비갤 2 0
비비기보비기갤러리
-
와... 2 1
소리. 헉
-
헤으응 7 0
잘래말래잘래말래 애매하긴해
-
근데 스블 지금도 강의 밀리고 있는 거 아님? ㅋㅋ 2 0
지금까지 2개정도씩만 올라온거 아닌가
-
ㅅㅂ?
-
도태음침찐따년들이 뭐라 지랄하든 알빠는 아닌데 본진이 ㅇㅈㄹ나는거보면 정뚝떨어지네...
-
죽을 때까지 조리돌림 하고 멍석말이 한다 그게 한국인의 썩어빠진 근성이다
-
.이새끼 암소임 참고로
-
디시에서 글 쓰는거 조금 애매하긴해
-
근데솔직히 4 1
15년후 짤은 ㅈㄴ웃기긴했어 ㅋㅋㅋㅋㅋㅋ
-
서울대 합격증 갖고싶다 2 3
멋진 합격증...........
-
흠흠
-
비갤말고 6 0
지투갤 합시다. 지투농가 살려야함
-
얼굴 예쁜 사람만 와보셈 0 0
-
내가 한번 해봐?
-
알바 어케 구하냐 2 0
진짜 안구해지는데
-
-
. 7 4
감사합니다
-
그래도 이제 영어 5 0
듣기, 18~20, 21~24, 25~28, 43~45 이거는 거의 싹다 맞긴함...
-
임신기계 되고싶어요 4 0
암산 속도가 너무 느려요…
-
옯만추후기 8 2
안해봄
-
가서 하면 10단위로 깨진다던데 이걸 한 번에 태우기는 좀 그럼.,,,, 인터넷에...
-
퐁탄시티로 와라 5 1
옯만추해드림 주말 한정
-
부셔지지가 아니라 2 0
부숴지지임
-
덕코 4 0
덕코 진짜 편의점에서 받아줘요?
-
연대 사복 vs 서울대 의대 0 0
고민되넴..
-
비갤 가끔 들낙함 4 1
내욕있을까봐
-
김기현 너무 좋음 0 0
친절해… 다정해… 너무 친절해… 체화난이도가 0에 수렴함 진심…
-
어디까지 말해야할지 모르겠네 7 6
괸련지어 생각되는 인물들이랑 정작 친하질 않아서 친한걸떠나 말도안해봄 내맘대로...
-
근데 옯만추를 진짜로 함?? 8 1
다 컨셉이지..?? 그런걸 왜 함 얼굴도 모르는데 궁금해
-
맨날한명만컨셉잡으니까재미없네 5 0
진짜멀쩡해보이던사람이어느날헤카닥돌아서등신같은소리몇번하는게수상감인데
-
-
기만하나만해도괜찮을까요 12 6
오늘 받은 두 개의 연락 오랜만에 기분좋아진
-
논술로 고대가자… 2 0
아니면 한국외대라도 제발 ㅠ 현역이 한국외대간거면 ㅈㄴ만족하고살게
-
메인머야 8 2
우리 애니프사 누가 건드려 사실 사건의 발단이 먼지 모름
-
옯만추후기 5 1
사람이어서 당황함;,
첫번째 댓글의 주인공이 되어보세요.