다시 이음

유데미에서 수강이 가능한 OpenAI API 마스터하기: GPT-4의 무한한 창의성 끌어내기 라는 강의를 정리한 내용을 게시합니다. 웅진씽크빅 다니니까 유데미가 무료로 사용할 수 있어서 정말 좋네요. 인턴기간에 많이 들어둬야겠습니다. https://platform.openai.com/docs/api-reference OpenAI Platform Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform. platform.openai.com  OpenAI API를 사용할 때 꼭 확인해야할 레퍼런스를 보고 진행을 하는 형식입니다. max_tokens 출력되는 토큰 수..

안녕하세요. 오늘은 NLP 모델에서 Transformer와 BERT 모델을 기반으로 하는 모델을 알아보려고 합니다. Auto regressive 오리지날 트랜스포머 모델의 decoder를 사용하며, 이전 모든 토큰들을에 대해 다음 토큰을 예측하는 방식으로 대해 사전 학습 됩니다. 간단히 설명하면 input값으로 이전 단어를 model에 넣어 나온 output값을 사용함으로 계속하여 다음 단어를 예측합니다. 1. GPT ( Generative Pre-trained Transformer ) - unsupervised pre-training + supervised Fine-tuning을 사용합니다. - Transformer Decoder로만 구성되었습니다. - BERT와 다르게 attention이 bidire..

안녕하세요. 오늘은 Transformer라는 자연어 처리 모델중 어제 알아보았던 Attention 메커니즘의 기능을 최대화 하여 사용하는 모델에 대해서 알아보려고 합니다. Transformer 논문 : https://arxiv.org/abs/1706.03762 : Attention is All you need 라는 논문으로 트랜스포머 관련해서는 가장 유명한 논문이라고 합니다. Transformer 트랜스포머는 RNN의 순차적으로 단어가 입력되는 방식에서 단어가 많아질 수록 연산속도가 느려지는 문제점을 보완하고자 고안되었습니다. 트랜스포머는 단어를 입력받을 때 병렬화를 사용하며 그에 따라 GPU 연산에 최적화 되어있습니다. Transformer 구조 먼저 위의 그림을 설명하자면 왼쪽은 트랜스포머 안에 1개..