현재 AI 업계들은 병목 지점에 부딪힌듯
게시글 주소: https://orbi.kr/00078261817
나도 나름 ai랑 붕가붕가하면서 많은 걸 깨달았는데
지난 수개월 동안 컨텍스트 윈도우만 와장창 늘리는 방향으로 쭉 가다가
비용 대비 성능 한계에 다다름
진짜 흥미로운 것은 ai도 결국 인간이 만든거라 인간의 특징을 드러내기 시작한 것
흔히 집중력이라 불리는 자원이 ai에게도 주어지는데 컨텍스트 윈도우는 인간으로 치면 단기기억 같은 개념이라 긴 대화에서 집중력 저하 현상이 나타나거나 환각을 일으킴
무한한 GPU 자원이 주어진다면 결국 토큰과 파라미터 싸움이지만 현실적으로는 그렇지 못하므로, 에이전트나 RAG 메모리, 재귀적 언어 모델같은 아이디어가 관련 논문으로 수없이 쏟아지는 중(<- 이거 보는게 개꿀잼)
그리고 좀 이름 있는 ai 업계들이 이 시점부터 각기 다른 진화 방향을 택하는 모습이 눈에 띔
얼마 전까지만 해도 ai 발전 속도가 ㅈㄴ 빠르구나 생각했는데, 그게 기껏해야 1층(1F)에서의 달리기일줄은 몰랐음
그만큼 미래가 너무 기대됨
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
단기기억 ㄹㅇ
소설같은거 쓰게 시키면 등장인물 15명 넘어가면서부터 고장나기 시작하는듯요
AI가 개개인의 인간보다 지적 수준이 나을지는 몰라도, 결국 인간 세계에서 입력한 정보의 총합의 범위를 벗어나지 못한다는 것은 두고두고 발목을 잡을 요소.
학습을 하든, 이미지를 만들든, 변형을 하든, 페이크 자료를 만들든 간에 결국 그 기반도 '인간이 입력한 정보' 범위 총합의 범위 내일 뿐이죠.
그래서 transformer를 대체할 새로운 아키텍처가 나오고
그게 혁신이 될듯