aws를 관련 프로젝트를 진행하면서 남긴 기록들입니다.

모든 폴더와 파일들은 (https://foot-data-engineering.tistory.com/) 블로그에 링크를 달아 필요할 때 특정부분만 찾아올 수 있도록 되어있습니다.

목적 :

• 클라우드에서 데이터를 처리하고자 하는 데이터 엔지니어의 기록용입니다.

Repository 구조의 예를 들면 다음과 같습니다.

.
├── airflow_py              # MWAA 활용 전 local 환경에서 airflow를 정리한 파일
├── notebook                # aws emr에서 batch processing code
├── script                  # MWAA에서 필요로하는 dag파일과 emr steps용 파일
└── README.md