본문 바로가기
반응형

분류 전체보기386

[springboot, bigquery] 데이터 조회 dependency는 다음을 참조한다. dependencies { ... compile group: 'org.springframework.cloud', name: 'spring-cloud-gcp-starter-bigquery' ... } 만약 버전을 참고하지 못해 에러가 발생한다면 최신버전인 1.2.5.RELEASE 를 입력하면 된다(2020.09.01 기준) dependencies { ... compile group: 'org.springframework.cloud', name: 'spring-cloud-gcp-starter-bigquery', version: '1.2.5.RELEASE' ... } application.properties에 다음을 설정한다. spring.cloud.gcp.bigquer.. 2020. 9. 2.
[springboot, gcp연동] GOOGLE_APPLICATION_CREDENTIALS 파일로 설정하는 2가지 방법 사용안내 공식 홈페이지 https://cloud.google.com/bigquery/docs/reference/libraries BigQuery API 클라이언트 라이브러리 | Google Cloud C#, Go, 자바, Node.js, PHP, Python, Ruby에서 BigQuery API와의 상호작용에 대한 정보 cloud.google.com 위 사이트에서 소개하는 방법은 환경설정하는 방식인데, 환경설정은 변수가 많기 때문에 프로젝트 내에 파일을 삽입하기로 했다. 인증.json파일 다운로드 했다는 가정하에 글이다. application.properties를 이용해 다음 2가지로 설정가능하다. 1) 절대경로 가동하는 컴퓨터 환경에서 절대경로를 이용해 인식시키는 방법이다 # 절대경로 #spring.c.. 2020. 9. 2.
[airflow] mac에서 DAG실행 시 오류날 때 airflow로 dag를 수행하는데 test를 수행하면 잘 되던것이 web이나 trigger로 실행하면 다음과 같이 에러가 발생한다. 찾고 찾다가 다음의 사이트를 발견했다. https://stackoverflow.com/questions/59821777/airflow-task-running-tweepy-exits-with-return-code-6 Airflow task running tweepy exits with return code -6 I have a simple Airflow DAG which has only one task - stream_from_twitter_to_kafka Here is the code for the DAG: default_args = { "owner": "me", "dep.. 2020. 9. 1.
[airflow] DAG schedule_interval에 timezone 세팅 airflow 버전은 1.10.10 을 사용중이다. (현재 기준 최신버전은 1.10.12) 유지보수를 용이하게 하기 위해 execution_date에 어떻게든 timezone에 맞춰 설정하려 했는데 몇가지 방법을 써도 전혀 되지 않았다. 알고보니 스케쥴을 실행할 때 run_id라는게 있는데, 이게 execution_date 과 달리 움직이기 때문이었다.(내부 문제인듯 싶은데....) 그래서 결론만 말하자면 UTF 기준으로 설정해야 하고, timezone은 설정되지 않는다.(화면에서 보이는 것 등은 설정이 되는거 같더만...) 아래는 과정이다. 그럼 시작. 테스트를 위해 schedule_interval 설정을 새벽 1시로 설정했다. 그래야 timezone 설정 테스트에 부합하기 때문이다. 예를들어 9월 1.. 2020. 8. 31.
[airflow] Mysql 데이터를 GCS(Google Cloud Storage)로 저장하기(mysql_to_gcs, 한글깨짐, 날짜포멧 수정) Data lake 를 구축하기 위한 1단계인 원본데이터를 GCS로 이동하는 것을 다뤄보려 한다. embulk를 쓸까도 했었는데, JAVA 1.8 버전 이후부터는 지원을 안하기도 했고, 관리포인트를 늘리는 것도 좋아보이지 않아 찾아보다가 airflow에서 자체적으로 할 수 있는것을 확인해 이걸로 하기로 결정했다. 아래 github을 들어가면 mysql_to_gcs.py파일이 있는데, 이걸 이용하면 mysql에 질의한 쿼리대로 나온 결과를 GCS로 저장이 가능하다. https://github.com/apache/airflow/blob/1e79dae06e/airflow/contrib/operators/mysql_to_gcs.py apache/airflow Apache Airflow - A platform to.. 2020. 8. 27.
[aws,ses] SES(Simple Email Service)서비스로 메일전송하기(springboot) AccessToken을 이용해 전송할 것이기 때문에 IAM에서 계정에 따른 KEY를 받아두어야 한다. 해당계정에 다음 권한이 포함되어 있어야 한다. 그럼 이제 연동을 시작하자 # application.properties에 등록 및 AWS SES에 Email 인증하기 application.properties에 다음항목을 추가하자. # AWS SES(이메일) 액세스 Key aws.ses.credentials.access-key: [accessKey] aws.ses.credentials.secret-key: [secretKey] # AWS SES 인증 이메일이자 전송시 보낸이의 이메일이어야 함 aws.ses.veritied.email=[이메일 주소] 전송할 이메일을 등록할 경우, 사전에 확인된 메일만 등록할 .. 2020. 8. 27.
반응형

티스토리툴바