Gen AI란 무엇인가

#GenAI란 #생성형AI #개발자의도구들

​

​

\* 09.22에 진행한 내용

Gen AI란

• 생성형 AI는 사용자의 프롬프트나 입력에 따라 텍스트, 이미지, 비디오, 오디오, 소프트웨어 코드 등 새로운 콘텐츠를 창의적으로 생성할 수 있는 인공지능 기술이다.

​

딥러닝 기반 모델을 활용하여 방대한 데이터에서 패턴을 학습하고, 기존 데이터를 단순 분석하는 것이 아니라 사람이 만든 것처럼 새로운 결과물을 만들어내는 것에 초점을 둔다.

​

​

NLP란?

전통적 AI: 대표적인 예시가 NLP

​

📌 NLP란?

Natural Language Processing으로 비정형화된 언어를 정형화된 언어로 변환하는 기술이다.

​

                                    “Add Eggs and milks to my shopping List”

->

<shoppingList>
  <Item> milk </Item>
  <Item> Eggs </Item>
</>

사용예시

• machine translation
• English → Korean
• Spam Detection
• Virtual chatbot
• sentiment analysis
• reivew의 감정을 읽기
• 부정적? 긍정적?

​

작동원리

1. Tokenazation: 전체 텍스트를 token 단위로 나눈다.
2. stemming: 핵심만 추출한다.

• run, running -> run
• ❌ universe, university: 어원은 같지만 의미 차이가 큼
• 의미를 고려하지 않기 때문에 적합하지 않다.

1. Lemmatization

• 언어학적 사전 기반 처리
• 품사와 의미도 고려한다.
• Stemming 보다속도는 떨어지지만 정확도는 올라간다.
• running -> run
• studies -> study

1. speach tagging

• Part of Speach
• 각 토큰에 대한 해당 단어가 어떤 품사인지 붙여준다.
• I booked a room. → 동사
• This book is so lovely → 명사

1. NER

• Named Entity Recognition
• 문장에서 고유 명사를 식별한다.

                                    James is working at Disney in London

- person: James
- Location: London
- ORGANIZATION: Disney
- DATE: ...

​

전통적 AI vs Gen AI

• 목적: 분류, 패턴, 예측, 인식에 특화 되어 있다
• 기술: 주로 지도학습, 라벨링된 데이터에 의존한다.
• 출력: 결정론적 결과 (같은 입력 → 같은 출력)
• 범위: 특정 작업에만 유용 (번역, 스팸 탐지 등)
• 한계:
• 새로운 상황에 대응이 어렵다.
• 과업별로 별도의 모델링이 필요함.
• 규칙성/통계적 패턴만을 고려한다.
• 맥락 이해 및 창의성의 부재

​

​

Gen AI

• 범용성: 하나의 모델로 다양한 작업 수행 (텍스트, 이미지, 코드 생성 등)
• 창의성: 기존 데이터를 조합해 새로운 결과물 생성
• 적응성: 단순 분류를 넘어 맥락 이해, 대화, 창작 가능
• 사용자 친화성: 자연어 프롬프트만으로 복잡한 작업 수행
• 확장성: 특정 태스크에 한정되지 않고, 다목적 활용 가능

​

👉 전통 AI는 “정답 찾기” 중심, 반면 Gen AI는 “새로운 것 만들기” 중심

​

​

LLM의 구성요소

LLM은 대부분 Transformer 아키텍처를 기반으로 설계됨

• transformer architecture
• 문장 속 단어와 같은 순차 데이터 내의 관계를 추적하여 맥락과 의미를 학습하는 신경망이다.
• 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분을 감지

​

• 인코더, 디코더 구조를 통해 텍스트 시퀀스를 처리하고 생성
• Masked Multl-Head Self-Attention
• Feedforward Neural Network(FFN)

​

Tokenization: 텍스트를 모델이 이해할 수 있는 개별 단위(토큰)로 분할하는 과정. BPE, WordPiece 같은 알고리즘을 사용한다.

​

아래 사이트에서 GPT 모델별로 토큰화하는 과정을 볼 수 있다.

https://platform.openai.com/tokenizer

​

Embedding Layer: 입력 텍스트나 토큰을 벡터 형태로 변환하여 의미론적 및 구문론적 관계를 포착

​

Attention Mechanism: 입력 시퀀스의 관련 부분에 가중치를 부여하여 장거리 종속성을 처리

• Attention
• “고양이가 쥐를 쫓는다”
• “쫓는다”가 “고양이”와 더 강하게 연결된다는 것을 모델이 자동으로 학습한다.
• 트랜스포머는 모든 단어를 동시에 고려할 수 있어 속도가 빠르고, 장거리 관계(문장 시작과 끝 연결)을 잘 다룬다.

​

Feedforward Layer: 어텐션 결과를 비선형 변환으로 처리하여 패턴을 분석한다.

​

Parameter: 모델의 학습된 가중치로, 수억에서 수조 개에 달하며 모델의 성능 결정

​

LLM은 Pre-training, Fine-tuning, Prompt Engineering 등의 과정을 통해 구성된다.

• Zero shot
• few shot