20250205_LLM 심화 이해 및 활용

⭐LLM구조 이해하기

 

agentic work에서의 multi agent: 

모두 다른 일을 수행 // 모두 LLM에게 물어보는 동시에 각각의 agent끼리도 의사소통을 함

 

[위키백과]다중 에이전트 시스템 ( MAS 또는 "자체 조직 시스템")은 여러 개의 상호 작용하는 지능형 에이전트 로 구성된 컴퓨터화된 시스템입니다.

 

-------------------------------------------궁금한 개념 -------------------------------------------

LSTM

 

LSTM이란, 장단기 메모리(Long Short-Term Memory)의 줄임말이다. 이는 인공 신경망의 한 종류로, 순환 신경망(RNN)의 한 형태이다. LSTM은 정보를 오랫동안 기억하는 것이 가능하게 하며, 이는 긴 시퀀스 데이터 처리에 특히 유용하다. 기본적인 RNN에 비해 그래디언트 소실 문제를 효과적으로 해결하는 것으로 알려져 있다.

 

LSTM은 은닉층의 메모리 셀에 '게이트'라는 구조를 추가하여 정보의 흐름을 조절한다. 각 게이트는 셀 상태(cell state)를 업데이트하는 데 어느 정보를 허용할지를 학습하게 된다. 이런 구조 덕분에 LSTM은 RNN이 어려워하는 장기 의존성 문제를 해결하는데 중요한 역할을 한다.

 

-출처

https://wikidocs.net/120086

LSTM: long short-term memory (장단기 메모리)

 

scale up / scale out

 

-참고

https://dev-coco.tistory.com/143

스케일 업(Scale-Up)과 스케일 아웃(Scale-Out)이란?

 

tool calling

 

임베딩

 

임베딩(embedding)은 다차원의 데이터를 보다 낮은 차원의 공간으로 표현하는 방법이다. 특히 자연어 처리에서는 단어, 문장, 문단 등의 텍스트 데이터를 수치화된 벡터 형태로 변환하는 과정을 의미한다. 이렇게 변환된 벡터는 단어나 문장의 의미적, 문맥적 유사성을 반영하여  기계 학습 모델이 텍스트 데이터를 더 잘 이해하고 처리할 수 있도록 돕는다. 예를 들어, '왕'과 '여왕'과 같이 의미적으로 관련된 단어들은 벡터 공간에서 서로 가까운 위치에 임베딩될 가능성이 높다.

임베딩 기법에는 다양한 종류가 있는데, 가장 널리 알려진 것으로는 워드 임베딩(Word Embedding)이 있다. 워드 임베딩 방법론 중에서도 Word2Vec, GloVe(Global Vectors for Word Representation) 같은 모델이 대표적이다. 또한, 문장이나 문단을 임베딩하는 방법으로는 BERT와 같은 트랜스포머 기반 모델이 있다. 이러한 임베딩 기법들은 텍스트 데이터를 다루는 다양한 응용 분야에서, 예를 들어 감성 분석, 텍스트 분류, 기계 번역 등에서 핵심적인 역할을 한다.

 

-출처

https://wikidocs.net/141213

embedding (임베딩)