반응형 공부378 [python3] 기존에 되던것이 No module named 뜰 때 최근 서버를 점검하다 파이썬3.7 => 3.8로 버전을 올리게 되면서 pip3 도 같이 업데이트 했는데, 하고나니 기존 프로그램들이 실행되지 않는 문제가 발생했다. 보아하니 pip3로 받은 모듈들이 모두 깨진게 아닐까 판단. 복구방법은 pip3 명령어로 --upgrade 해주어야 한다 예를들어 다음과 같은 에러가 난다면 ... ModuleNotFoundError: No module named 'google' 아래 명령어로 수행해주어야 한다. pip3 install --upgrade google-cloud-storage 그중에는 모듈이름이랑 완벽하게 일치하지 않는경우가 있었는데, 위 사례가 그렇다. google이라고 하지만 사실상 google-cloud-storage 와 google_auth_httplib.. 2020. 9. 3. [springboot, bigquery] 데이터 조회 dependency는 다음을 참조한다. dependencies { ... compile group: 'org.springframework.cloud', name: 'spring-cloud-gcp-starter-bigquery' ... } 만약 버전을 참고하지 못해 에러가 발생한다면 최신버전인 1.2.5.RELEASE 를 입력하면 된다(2020.09.01 기준) dependencies { ... compile group: 'org.springframework.cloud', name: 'spring-cloud-gcp-starter-bigquery', version: '1.2.5.RELEASE' ... } application.properties에 다음을 설정한다. spring.cloud.gcp.bigquer.. 2020. 9. 2. [airflow] mac에서 DAG실행 시 오류날 때 airflow로 dag를 수행하는데 test를 수행하면 잘 되던것이 web이나 trigger로 실행하면 다음과 같이 에러가 발생한다. 찾고 찾다가 다음의 사이트를 발견했다. https://stackoverflow.com/questions/59821777/airflow-task-running-tweepy-exits-with-return-code-6 Airflow task running tweepy exits with return code -6 I have a simple Airflow DAG which has only one task - stream_from_twitter_to_kafka Here is the code for the DAG: default_args = { "owner": "me", "dep.. 2020. 9. 1. [airflow] DAG schedule_interval에 timezone 세팅 airflow 버전은 1.10.10 을 사용중이다. (현재 기준 최신버전은 1.10.12) 유지보수를 용이하게 하기 위해 execution_date에 어떻게든 timezone에 맞춰 설정하려 했는데 몇가지 방법을 써도 전혀 되지 않았다. 알고보니 스케쥴을 실행할 때 run_id라는게 있는데, 이게 execution_date 과 달리 움직이기 때문이었다.(내부 문제인듯 싶은데....) 그래서 결론만 말하자면 UTF 기준으로 설정해야 하고, timezone은 설정되지 않는다.(화면에서 보이는 것 등은 설정이 되는거 같더만...) 아래는 과정이다. 그럼 시작. 테스트를 위해 schedule_interval 설정을 새벽 1시로 설정했다. 그래야 timezone 설정 테스트에 부합하기 때문이다. 예를들어 9월 1.. 2020. 8. 31. [airflow] Mysql 데이터를 GCS(Google Cloud Storage)로 저장하기(mysql_to_gcs, 한글깨짐, 날짜포멧 수정) Data lake 를 구축하기 위한 1단계인 원본데이터를 GCS로 이동하는 것을 다뤄보려 한다. embulk를 쓸까도 했었는데, JAVA 1.8 버전 이후부터는 지원을 안하기도 했고, 관리포인트를 늘리는 것도 좋아보이지 않아 찾아보다가 airflow에서 자체적으로 할 수 있는것을 확인해 이걸로 하기로 결정했다. 아래 github을 들어가면 mysql_to_gcs.py파일이 있는데, 이걸 이용하면 mysql에 질의한 쿼리대로 나온 결과를 GCS로 저장이 가능하다. https://github.com/apache/airflow/blob/1e79dae06e/airflow/contrib/operators/mysql_to_gcs.py apache/airflow Apache Airflow - A platform to.. 2020. 8. 27. [aws,ses] SES(Simple Email Service)서비스로 메일전송하기(springboot) AccessToken을 이용해 전송할 것이기 때문에 IAM에서 계정에 따른 KEY를 받아두어야 한다. 해당계정에 다음 권한이 포함되어 있어야 한다. 그럼 이제 연동을 시작하자 # application.properties에 등록 및 AWS SES에 Email 인증하기 application.properties에 다음항목을 추가하자. # AWS SES(이메일) 액세스 Key aws.ses.credentials.access-key: [accessKey] aws.ses.credentials.secret-key: [secretKey] # AWS SES 인증 이메일이자 전송시 보낸이의 이메일이어야 함 aws.ses.veritied.email=[이메일 주소] 전송할 이메일을 등록할 경우, 사전에 확인된 메일만 등록할 .. 2020. 8. 27. 이전 1 ··· 18 19 20 21 22 23 24 ··· 63 다음 반응형
