[ML/DL] LangChain이란?

LangChain 랭체인이란 대규모 언어 모델(LLM)을 기반으로 애플리케이션을 구축하기 위한 오픈 소스 프레임워크이다.

이는 다양한 언어 모델, 데이터 소스, 그리고 워크플로우를 결합하여 사용자 정의 가능한 NLP 파이프라인을 쉽게 만들 수 있게 하고 주로 챗봇, 텍스트 분석, 자동화된 데이터 처리 등의 분야에서 사용한다.

 

랭체인 패키지는 파이썬으로 사용이 가능하다.

주요 특징

1. 모듈화된 구성 요소: 여러 NLP 작업을 모듈화하여 필요에 따라 조합하고 재사용할 수 있습니다.
2. 확장성: 새로운 언어 모델이나 데이터 소스를 쉽게 통합할 수 있는 구조를 가지고 있어 확장성이 높습니다.
3. 사용자 정의 가능: 사용자가 필요에 따라 파이프라인을 자유롭게 커스터마이즈할 수 있습니다.
4. 다양한 언어 모델 지원: BERT, GPT, Transformer 모델 등 다양한 언어 모델을 지원합니다.

주요 컴포넌트

1. 언어 모델(LLMs): 자연어 생성, 요약, 번역 등 다양한 NLP 작업을 수행하는 데 사용됩니다.
2. 체인(Chains): 여러 NLP 작업을 결합하여 복잡한 파이프라인을 구축할 수 있습니다.
3. 프롬프트 템플릿(PromptTemplates): LLM에 입력할 프롬프트를 정의하는 템플릿입니다.
4. 데이터 소스(DataSources): 외부 데이터 소스와 통합하여 데이터를 가져오고 처리할 수 있습니다.

---

*pipeline 활용법 ( 감정분석 )

pipline의 특정 모델을 지정하고 싶으면 model 파라미터에 원하는 모델을 넣어주면 된다.

pipe = pipeline('text-generation', model='kogpt') #kogpt로 모델 입력

 

사용가능한 파이프라인
feature-extraction : 특징 추출 (텍스트에 대한 벡터 표현 추출)
fill-mask : 마스크 채우기
ner : 개체명 인식 (named entity recognition)
question-answering : 질의 응답
sentiment-analysis : 감정 분석
summarization : 요약
text-generation : 텍스트 생성
translation : 번역
zero-shot-classification : 제로샷 분류

 

예제

from transformers import pipeline

# 텍스트 분류 파이프라인 설정
classifier = pipeline('sentiment-analysis')

# 테스트 텍스트
texts = [
    "I love programming in Python!",
    "The weather is terrible today."
]

# 텍스트 분류 수행 및 결과 출력
for text in texts:
    result = classifier(text)
    print(f"Text: {text}")
    print(f"Classification: {result}")

Text: I love programming in Python!
Classification: [{'label': 'POSITIVE', 'score': 0.999421238899231}]
Text: The weather is terrible today.
Classification: [{'label': 'NEGATIVE', 'score': 0.9986808896064758}]

 

랭체인에 대해서는 RAG, 파인튜닝 등 공부를 지속적으로 해나갈 계획이다.

---

랭체인 기본코드 (API Key 입력필요)

from langchain.llms import HuggingFaceHub
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

# HuggingFaceHub 설정 (API 키 필요)
api_key = "your_huggingface_api_key"

llm = HuggingFaceHub(
    api_key=api_key,
    model="bert-base-uncased"
)

# 프롬프트 템플릿 정의
prompt = PromptTemplate(
    input_variables=["text"],
    template="Classify the sentiment of the following text: {text}"
)

# LLMChain 생성
chain = LLMChain(
    llm=llm,
    prompt=prompt
)

# 테스트 텍스트
texts = [
    "I love programming in Python!",
    "The weather is terrible today."
]

# 텍스트 분류 수행 및 결과 출력
for text in texts:
    result = chain.run(text)
    print(f"Text: {text}")
    print(f"Classification: {result}")

 

https://www.igloo.co.kr/security-information/%EB%9E%AD%EC%B2%B4%EC%9D%B8langchain-%EA%B7%B8%EA%B2%83%EC%9D%B4-%EC%95%8C%EA%B3%A0-%EC%8B%B6%EB%8B%A4/

랭체인(LangChain), 그것이 알고 싶다

https://www.gpters.org/dev/post/records-basic-environment-settings-14Tiysf4dj9dsBB

[9기 랭체인] 기본 환경설정과 간단한 실습에 대한 기록

https://fallenangel13th.tistory.com/16

허깅페이스 pipeline 사용법