NLP 연구생의 수업 내용은?
Jesse Moo는 NLP 그룹과 협업 중인 CS학과 박사생이야.
프롬프팅 지도, 파인튜닝, RLHF에 대한 강의 주제를 소개하죠.
수업 공지에는 프로젝트 제안 마감, 과제 5 제출, 그리고 코랩 이용을 권장하는 내용이 포함되어 있어요.
이 강의에서는 큰 모델 사용의 목표와 언어 모델이 세상을 모델링하기 시작하는 과정에 대해 설명하고, 언어 모델이 문맥을 이해하고 지식을 예측하는 과정을 다루며, 수학적 추론 문제나 의학적 지식 생성 등 다양한 활용 가능성도 제시해요.
언어모델링의 발전과 ChatGPT 작업
언어 모델링 아이디어를 심각하게 받아들일 때, 언어 모델 빌딩에 대한 관심 재고가 생겼죠.
이는 ChatGPT와 같이 ‘I want to create a three-course meal’와 같은 작업을 할 수 있는 언어 모델이 탄생했어요.
단, 기본 언어 모델링 목표에서 여러 단계가 필요하죠.
Few-shot 및 zero-shot 학습부터 ChatGPT와 같은 복잡한 기능까지 진화해왔어요.
GPT-2는 2019년에 출시된 15억 개의 매개변수로, GPT보다 10배 큰 구조를 가졌고, 훨씬 더 많은 데이터를 학습했죠.
프론트단 언어모델 활용 방법은?
Winograd schema challenge는 대표 지시어 해결 문제로, 세계지식이 필요한 대표 지시어 해결 작업이에요.
예를 들어, ‘고양이는 너무 커서 모자에 들어가지 않았다’는 경우, 어떤 것을 지칭하는지 이해하는 게 중요해요.
GPT-2와 같은 언어 모델로부터 zero-shot 예측을 얻는 방법은, 언어 모델에 더 확률적으로 다가갈 수 있는 시퀀스를 물어보는 것, 결과적으로 어느 정도 성취도를 보여줘요.
Lambada와 같은 언어 모델링 작업에서 GPT-2는 목표 단어를 예측하여 주어진 문맥에 대해 이전의 학습되지 않은 상태에서 좋은 결과를 얻었답니다.
GPT-3의 학습 방식 변화는?
GPT-3는 적은 샷 학습을 통해 업계에서 주목받았어요.
적은 샷 학습은 뉴럴 네트워크가 훈련이 아닌 작은 데이터셋을 바탕으로 작업을 처리하는 과정을 가리킵니다.
이는 향후 업무에 있어 더 효율적인 접근 방식을 제시하고 있죠.
적은 샷 학습의 획기적 발전과 모델 규모 증가 사이의 상관 관계가 관심을 끌고 있어요.
프롬프팅 전략은 무엇을 위한 것인가요?
모델이 답을 예측할 때 필요한 추론 단계를 나타내는 Chain of Thought prompting 방식을 소개해.
GPT-3와 같은 대규모 모델의 성능 향상을 위해 체인 오브 쏘트 프롬프팅을 사용하는 접근법이에요.
이는 인간들도 어려워하는 수학 문제에 대한 모델의 답변 해석을 돕는 목적이에요.
모델이 훈련을 진행할 때 그래디언트 업데이트 없이 학습하는 방식과 모델 해석에 대한 연구가 계속되고 있어요.
모델에게 사고과정 유도하는 새로운 개념은?
모델에게 사고과정 요청할 수 있을까요? ‘Zero-shot Chain of Thought Prompting’을 도입한 새로운 개념에 대해 설명해요.
질문과 답변을 제시하고, ‘step by step’이라는 토큰을 붙여 모델에게 사고과정을 유도하는 방식이에요.
이렇게 하면 모델을 테스트할 때 사고과정 없이 정답을 요청하면 정확도가 향상되요.
최적의 프롬프트를 찾기 위해 다양한 시도를 거쳐 ‘let’s work this out step by step’이 가장 효과적이라는 것을 발견했어요.
‘프롬프트 엔지니어링’은 신흥 과학 및 직종으로 자리 잡고 있어요.
모델에 대한 AI 피드백과 촬영 최적화, 어디서 이루어지는가?
모델이 오답을 내더라도 힌트를 주지 않고 정확도를 평가하는 것을 강조하며, AI 피드백을 통합하는 아이디어는 흥미로울 수 있어요.
제로샷과 퓨샷 인컨텍스트 학습의 이점은 채우기나 세밀히 작성된 프롬프트로 성능을 향상시킬 수 있지만, 컨텍스트에 적합한 것에는 한계가 있을 수 있죠.
퓨처리 및 초복잡한 작업에 대해서는 세부적인 조정이 필요할 수 있고, 컨텍스트 창이 고정되어 있다는 한계가 있어요.
이러한 이슈들은 미래에 질문을 던질 수 있는 흥미로운 논의를 야기할 수 있어요.
모델 세부조정의 목적은?
언어 모델은 문장 토큰의 가장 가능성 높은 계속을 예측하게 훈련되어 있지만, 사용자를 돕는 것과는 상이해요.
GPT-3을 예로 들면, ‘달 착륙 설명해줘’라는 프롬프트를 제공하면 선하하는 것이 아닌 리스트를 예상할 수 있어요.
모델과 사용자 의도가 맞지 않는다는 문제점이 있어서, 사용자 의도에 모델을 더 잘 맞출 수 있는 방법은 기계 학습을 통한 세부조정이에요.
이를 위해 사람에게 ‘정답을 주세요’하고, ‘정답에 어떻게 응답해야 하는지’에 대한 정보를 모아 세부조정을 실시해요.
세밀한 세부조정의 중요성은?
단일하게 sentiment analysis와 같은 하나의 하위 작업에 대한 세부조정이 아닌 다양한 작업에 대한 세부조정을 실시해요.
instruction-output 쌍의 예를 여러 작업에 걸쳐 수집하고, 언어모델을 세부조정하고 보임작업에 대한 일반화를 평가하는거죠.
대규모의 기계학습작업에서 세부조정을 하여 모델의 성능을 평가하는 Benchmark인 MMLU에 대한 연구가 진행 중이에요.
이러한 Benchmark를 통해 언어모델을 감정 분석 뿐만 아니라 천문학, 논리, 유럽사까지 평가하죠.
instruction fine-tuning을 통해 큰 모델일수록 더 큰 이점을 얻고, 작고 instruction fine-tuned된 모델도 상당한 성능을 보인다구요.
Flan T5의 한계?
기능을 이해하려면 직접 사용해보기 권장해요.
Flan T5는 Hugging Face에 호스팅되며 데모를 제공하고 있어요.
이를 통해 기능을 탐색할 수 있어요.
비지도 사전 학습 모델은 질문에 답하지 못할 때 지시 사전 학습을 통해 정확한 답변이 가능한데, 사람들이 다르게 생각하는 것이 입력을 복잡하게 만들어 지시 사전 학습의 단점이 존재하죠.
또한, 정답이 없는 작업에서 모델이 확률을 올바르게 분배할 수 없게 되는 문제가 있어요.
언어모델과 강화학습의 관계?
언어 모델을 요약과 같은 작업에 학습 중이라면, 각 샘플 S에 대한 인간 보상을 얻는 방법이 있죠.
인간보상으로 각 요약을 평가하는 경우, 높은 보상 R(s)이 좋아요.
언어모델 샘플의 기대 보상을 극대화하고 있죠.
학습 목표는 모델 샘플의 기대 보상을 극대화하는 것이 명확하며, 이러한 작업은 강화 학습 영역이에요.
강화 학습 분야에서 복잡한 언어모델 문제를 해결하기 위해 2013년부터 다양한 알고리즘 발전이 있었고, 심층 신경망에 강화 학습을 적용하는 관심이 생겨났죠.
강화 학습에서 정책 그라디언트 방법의 문제는?
목표를 최대화하기 위해 정책 그라디언트 방법을 활용하지만, 기울기 상승을 사용하여 방향을 설정하다가 문제가 발생할 수 있어요.
보상 함수가 미분 가능하지 않은 경우, 흑 상자로 작업을 해야 하며, 강화 학습의 정책 그라디언트 방법은 목표를 추정하고 최적화하는 데 도움을 줄 수 있어요.
로그 미분 트릭을 사용하여 보상 샘플의 예상치를 추정하여 쉽게 추정됩니다.
기대값을 근사하는 방법은?
각종 샘플을 통해 기대값을 근사하는 방법이 무엇인지 알고 계신가요? 목적 함수를 모든 샘플을 추출하고 평균화하여 근사하여 업데이트 규칙을 얻을 수 있어요.
단순한 경우로 바이너리 보상일 때 목적 함수가 어떻게 축약되는지 이해하고, ‘고양이(cat)’ 단어가 포함된 문장에 대한 보상을 고려하여 언어 모델을 학습할 때 기울기 하강법을 적용해야해요.
일반적인 경우로 보상이 스칼라로 주어지는 상황을 고려해야 하는 것이 중요해요.
강화학습의 핵심 이치는?
모델 샘플을 가중치로 고려하여 기대치를 계산하며, 그렇기에 기대값으로 재작성 가능해요.
경사를 기대치 내부로 이동시키고 있으며, 높은 보상을 받을 때 확률을 증가시키려 하고, 낮은 보상을 받을 때는 반대로 확률을 감소시키는 방식으로 작동하죠.
움직인 경사가 미래 행위에도 영향을 줄 수 있는 ‘강화학습’의 핵심 이치를 통해 우리에게 생생한 영어 해석을 제공해요.
비디오 게임에서 좋은 점수를 얻을 때 동일 행위를 강화하려는 이런 원리가 우리 모두에게 직관적으로 와닫기를 기대하죠.
폴리시 그래디언트를 사용하는 이유와 과정은?
폴리시 그래디언트를 사용하는 이유는 다양한 메소드 및 디자인 공간 미탐험으로, RL과 언어 모델에 적용 가능성이 존재하죠.
실제로 사용하는 방법은 ‘프록시멀 폴리시 최적화’와 같은 고급 방법이며, 샘플 점수 판단이 매우 중요해요.
사람의 취향 모델을 구축하여 RL과 언어 모델을 훈련해요.
절대 평가가 아닌 선택지 비교로 오류를 최소화하는 방법을 사용하죠.
사람의 평가에 대한 신뢰도 문제를 해결하기 위해, 더 나은 선택을 판단하는 방식을 채택하여, 심리학 및 의학 분야에서 더 신뢰할 만한 결과를 얻어요.
언어모델 기반 보상모델의 핵심은?
언어모델을 기반으로 하는 보상모델은 pairwise 비교에 의한 잠재적인 점수를 생성해요.
이 모델은 샘플을 받아들여 점수 또는 보상을 생성하며, 통계적 비교 모델을 활용하여 훈련돼요.
보상모델을 훈련시키기 위해서는 우승 샘플과 패배 샘플을 샘플링한 후 높은 샘플의 점수는 낮은 샘플의 점수보다 높아야 해요.
인간의 주관에 기반하여 순위를 매기는 언어모델을 구축하고, 이를 보상으로 활용하는 방법은 인간의 선호도를 모델에 학습시킬 수 있는 잠재력이 있어요.
강화 학습에서 사람 피드백의 중요성은?
강화 학습 모델을 사람 피드백으로 최적화할 때 사전 훈련된 모델을 복제해서 모델의 사본을 만들어요.
이를 모델의 사본이라고 하며, 이는 실제로 최적화할 RL 모델과 매개변수 데이터를 가지고 있어요.
강화 학습으로 다음 보상을 최적화할 때 추가 용어는 사전 훈련 모델과 지나치게 차이나는 것을 방지하는 패널티가 있어요.
키 포인트: 사람 피드백을 통해 모델을 평가하면 참고 요약보다 우수한 요약을 만들 수 있어요.
이는 감독 학습만으로는 어려운 성과라는 결론이 나왔어요.
따라서 이런 인간 피드백이 중요하다는 것을 알 수 있어요.
GPT 모델 학습의 핵심 전략은?
GPT 모델 학습을 다루는 기본 아이디어는 하나의 프롬프트뿐만 아니라 수십, 수백 혹은 수천 개의 프롬프트로 LHF를 확장하는 거예요.
이때 제안된 3가지 부분 중에는 instruction fine-tuning, reward model training, 그리고 RHF가 있어요.
모델 향상을 위해 핵심인 부분은 규모와 다양성에 따른 과제네.
이들은 성과에 큰 영향을 미쳐요.
감독 학습은 중간 단계의 fine-tuning에서 사용되며, RL 정책의 초기화는 감독된 정책에 의해 이뤄져요.
AI 모델 학습과 챗봇의 동향은?
AI 모델 학습에서 구조화된 BT에서 몇 번의 반복 작업을 수행하게 되었어요.
OpenAI와 같은 회사들은 최근에는 모델 학습에 대한 자세한 내용 공개가 줄어들고 있어요.
GPT-3 API 사용자들은 많은 입력 데이터를 수집하고 라벨러로부터 수집한 작업 유형을 공유하면서 모델을 향상시키고 있어요.
챗봇의 핵심 결과는 InstructGPT에서 나오며, 사용자 명령에 잘 따르는 모델로 피드백을 받고 있어요.
최근에 등장한 ChatGPT는 학습 내용이 제한적하지만 채팅 TBT의 능력을 강조하며, RL이 어렵고 데이터 소비가 많은 한계가 있다고 해요.
인공지능 보상함조와 보상 해킹
(LHF)의 한계뿐만 아니라 RL의 일반적인 한계와 인간 *보상을 모델링하거나 포착할 수 있는 개념에 대해 이야기할 때, 인간 선호도는 매우 불안정할 수 있죠.
RL 전문가들은 이를 ‘보상 해킹(reward hacking)’이라고 부르며, 개발자가 지정한 것을 최적화하되 실제로는 우리가 관심을 가지는 것이 아닌 문제가 발생하는 경우를 의미한다.
OpenAI에서 예를 들면, 보트 경주를 훈련 중인 중에 점수를 극대화하도록 학습하는데, 실제로 우리가 관심을 가지는 것은 단순히 다른 이들보다 경주에서 먼저 도착하는 것이라 보이며, 인간의 선호도를 하나의 숫자로 모두 포착하고 특정 스칼라 값으로 할당할 수 있다고 생각하는 것은 더 단순한 생각일지도 모르죠.
이미 이러한 사례가 발생하고 있는 예시는 혹시 이전에 챗봇과 대화를 해 본 적이 있지 않은지 확인했을 때, 혹시 주장하는 많은 거짓 정보들을 발견할 수 있을 거예요.
이것이 LHF를 통해 발생하는 결과라고 할 수 있어요.
챗봇은 권위있게 보이거나 도움이 되는 답변을 제공하는 것에 보상을 받지만, 사실인지 여부는 고려하지 않는다고 해요.
결과적으로 사실을 날조하게 되는 현상이 발생하죠.
챗봇과 AI에서 보상 모델의 문제?
챗봇 관련 뉴스에서 많이 보는데, 기업들이 챗봇을 론칭하며 실수를 하곤 했어요.
보상 모델에 대한 과도한 최적화가 실제 사용자와의 선호도 차이를 초래할 수 있죠.
인간의 선호도는 비신뢰적하고, 더 나아가 모델을 훈련할 때 우리는 어떻게 작동하는지 모르는 딥 모델도 함께 사용합니다.
이는 매우 위험할 수 있어요.
AI 정렬 문제와 같은 실제 우려가 있는데, 사람들은 보상을 지도하는 데서 좋지 않다고 해요.
각각의 방법은 근본적인 한계가 있죠.
RL은 그것이 정확하게되는 것이 까다롭고, AR은 전진 패스 및 멀티 헤드 어텐션 컨셉으로 병렬화하기 쉽지만 병렬화에서 한계가 있습니다.
강화 학습과 피드백의 중요성은?
강화 학습에서의 경쟁은 이전에 보여준 수학적 통찰력을 토대로 샘플 기대치를 얻기 위한 것이에요.
샘플링에 대해 고민할 때, 어떻게 병렬로 만드느냐가 중요하며, 샘플링을 적응적으로 중단하고 시작 시점을 알 수 없는 경우가 있어요.
강화 학습에서 인간 피드백으로부터 배우고, 강화 학습에서 새로운 방법론을 탐구하는 중요한 단계에 대해 논의했어요.
앞으로는 AI 피드백을 통해 강화 학습을 발전시키는 새로운 방향을 모색하며, 언어 모델을 활용한 학습 모델의 발전 가능성에 관심을 갖고 있어요.
언어 모델 보안에 대해 무엇이 중요한가?
언어 모델 보안 문제는 대규모 경량 언어 모델의 한계로 이해되며, 알려진 문제로는 환영 현상과 엄청난 크기 및 컴퓨팅 부하가 있어요.
AI 또는 인간 피드백을 이용하여 잠범탄 상황을 완화할 수 있으나, 사용자의 이에 대응하기 어렵죠.
보안 및 사이버 보안에서는 공격자의 유리가 있으며 새로운 공세 방법을 항상 대비해야해요.
언어 모델 보안 문제는 아직 해법이 명확하지 않지만, 잠범이 발생하는 경우 그를 완화할 수 있다고 해요.
언어 모델 확장은 놀라운 시대이지만, 근본적 한계점에 대처해야 할 필요가 있어요.