Finding Value in Data

네이버 API에 있는 데이터를 Airflow를 이용해 데이터웨어하우스(dw)인 snowflake에 넣어보는 실습을 진행해보자. 1. 먼저 네이버 API 권한을 받는다.사전 준비 : 네이버 API 어플리케이션 등록 네이버 API 사용 가이드 네이버 API를 사용하려면 네이버 개발자 센터에서 애플리케이션을 등록하고 클라이언트 아이디와 클라이언트 시크릿을 발급받아야 한다. (test 이기때문에 서비스 환경은 모두 http://localhost 로 해주었다.) 2. airflow 설치할 때 만든 airflow-docker/dags 폴더안에 naver_to_snow.py 를 만들어준다.airflow에는 Operator 로 파이프라인을 구성해주어야 한다. from airflow import DAGfrom airfl..

저번 포스팅에서는 WSL 우분투를 이용한 Airflow 설치방법을 진행했었는데 이번에는 Docker를 이용해 설치를 해보려고 한다. 그 이유는 몇 가지가 있는데 Docker를 이용한 컨테이너 가상 환경에서 독립적으로 실행이 되어 다른 프로그램과 충돌을 하지 않고, 다양한 환경 조성이 가능하다. 또한 compose를 사용해서 빠른 설치가 가능하다. 이번 포스팅에서는 compose를 이용한 설치를 진행한다.   Docker는 wsl가 있어야 활용가능하다.wsl 최신버전 업데이트  1. 먼저 Docker Desktop 을 설치하고 실행해준다. 2. CMD 창에서 관리자권한으로 실행한 뒤 디렉터리를 만들어준 다음 경로를 찾아준다. 사용자 PC에 맞게 YourUsername 을 변경해준다. mkdir C:\Use..

먼저 운영체제가 Windows인지 Linux인지 Mac인지 OS 확인을 해야한다.  나는 컴퓨터가 Windows이기 때문에 WSL을 이용하여 Airflow를 설치해보고자 한다. ( Docker방법은 추후 포스팅 ) 먼저 Windows PowerShell을 관리자 권한으로 열어 해당 명령어를 실행한다.(관리자 권한 미실행 시 db init 데이터베이스 초기화 오류발생)wsl --install 이는 리눅스 Ubuntn(우분투)를 사용하기 위해 WSL를 설치하는 과정이다.이미 설치를 했기때문에 Ubuntu가 자동으로 실행됨.  처음에는 아래화면과 같이 User ID와 PW를 생성해야한다.sudo apt install python3-venvUbuntu 가상환경venv 설치python3 -m venv env새 e..