Professional Field

SQL(ORACLE) | AI | BI | 통계분석

파이프라인 2

[ML/DL] LangChain이란?

LangChain 랭체인이란 대규모 언어 모델(LLM)을 기반으로 애플리케이션을 구축하기 위한 오픈 소스 프레임워크이다.이는 다양한 언어 모델, 데이터 소스, 그리고 워크플로우를 결합하여 사용자 정의 가능한 NLP 파이프라인을 쉽게 만들 수 있게 하고 주로 챗봇, 텍스트 분석, 자동화된 데이터 처리 등의 분야에서 사용한다. 랭체인 패키지는 파이썬으로 사용이 가능하다.주요 특징모듈화된 구성 요소: 여러 NLP 작업을 모듈화하여 필요에 따라 조합하고 재사용할 수 있습니다.확장성: 새로운 언어 모델이나 데이터 소스를 쉽게 통합할 수 있는 구조를 가지고 있어 확장성이 높습니다.사용자 정의 가능: 사용자가 필요에 따라 파이프라인을 자유롭게 커스터마이즈할 수 있습니다.다양한 언어 모델 지원: BERT, GPT, T..

Scientist/ML.DL 2024.07.18

[Pipeline] 파이프라인 Apache Airflow 설치방법

먼저 운영체제가 Windows인지 Linux인지 Mac인지 OS 확인을 해야한다.  나는 컴퓨터가 Windows이기 때문에 WSL을 이용하여 Airflow를 설치해보고자 한다. ( Docker방법은 추후 포스팅 ) 먼저 Windows PowerShell을 관리자 권한으로 열어 해당 명령어를 실행한다.(관리자 권한 미실행 시 db init 데이터베이스 초기화 오류발생)wsl --install 이는 리눅스 Ubuntn(우분투)를 사용하기 위해 WSL를 설치하는 과정이다.이미 설치를 했기때문에 Ubuntu가 자동으로 실행됨.  처음에는 아래화면과 같이 User ID와 PW를 생성해야한다.sudo apt install python3-venvUbuntu 가상환경venv 설치python3 -m venv env새 e..

Engineer/Pipeline 2024.07.05