반응형 2020/10/081 [airflow] Mysql to gcs to bigquery 할 때 CSV로 저장하기 이 글은 이전에 소개한 mysql => gcs, gcs => bigquery 를 이해한 상태에서 보는 것이 도움된다. - [airflow] Mysql 데이터를 GCS(Google Cloud Storage)로 저장하기 lemontia.tistory.com/957 - [airflow] GCS(Google Cloud Storage) 파일을 BigQuery에 저장하기 lemontia.tistory.com/965 일전에 MySqlToGoogleCloudStorageOperator를 소개하면서 Json형태로 저장하는걸 소개했었는데, json은 포멧구조 상 key를 포함해야 하기 때문에 CSV에 비해 용량이 2배이상 차이난다. json 형태 {"AGE": 25, "ID": 1, "NAME": "아이유", "REG_D.. 2020. 10. 8. 이전 1 다음 반응형