본문 바로가기
반응형

분류 전체보기386

[AWS, Springboot] SqsListener 사용 시 pool_size 문제 및 메세지처리 팁 서비스를 개발하다보면 고객에게 알림을 보내야 하는 일이 있다. 그래서 모듈을 개발할 때 알림까지 전송할 수 있도록 한번에 처리한다. 그러다보니 문제가 발생했을 경우 각각의 시스템에서 점검해야 하는 문제가 발생했다. 각각의 서버환경이 다르다보니 로그파일 위치나 DBMS의 정보를 모두 저장해두어야 했고, 로그를 저장하는 방식을 기억하고 있어야 했다. 그래서 이것을 통합하기 위해 시스템을 구축중이다. 각 서비스에서 보내던 알림을 하나로 통합하기 위해 Message 를 사용하기로 했다. 유명한 Kafka나 RabbitMQ를 고려했으나 설치형 서버를 사용하는 경우 서버비용이 더 많이 들것 같아 AWS에서 제공하는 Amazon Simple Queue Service 서비스를 이용하기로 했다. (SNS[Amazon S.. 2019. 6. 16.
[java] LocalDateTime(또는 LocalDate)을 Json으로 변환할 때 데이터 포멧 간혹 다른 것과 통신을 위해 JAVA의 객체를 JSON으로 변환할 때가 있다. int나 String은 문제없이 데이터 그대로 보여주는데 데이터타입의 경우 전혀다른 포멧으로 변환될 때가 있다. 이번 글은 그런 문제를 해겷하기 위한 것이다. ObjectMapper 를 이용해 Object를 Json으로 변경하면 다음과 같다. ObjectMapper를 이용해 Json 으로 변경 후 { "date":{ "dayOfYear":125, "dayOfWeek":"SUNDAY", "month":"MAY", "dayOfMonth":5, "year":2019, "monthValue":5, "hour":8, "minute":55, "second":33, "nano":0, "chronology":{ "id":"ISO", "cal.. 2019. 5. 11.
[centos7] HTTPS 무료 인증설치방법(--manual 옵션 사용) --manual 옵션을 사용하지 않고 하는방법은 이전 포스팅에서 해두었다. 이전포스팅 방법이 안될 경우 이번 포스팅을 추천한다 https://lemontia.tistory.com/697 [Linux-centos7] HTTPS 무료 인증서 설치 및 설정 방법(certbot 사용, apache) ### certbot 을 다운로드 및 실행. wget https://dl.eff.org/certbot-auto # certbot-auto 가 설치된 디렉토리에서 아래의 명령어를 실행합니다. 실행 후에는 /etc 폴더내에 letsencrypt 파일이 생성되므로 root.. lemontia.tistory.com 이전 방법과 같이 certbot 이 있어야 한다. 없으면 다음방법으로 다운로드 받는다. wget https:/.. 2019. 4. 22.
[springboot] Spring batch 테스트 시 사용하는 JobLauncherTestUtils 쓸 때 설정법 결론 Test 패키지에 @EnableBatchProcessing 이 포함된 Bean을 생성해야 한다. 작성된 테스트 클래스 @RunWith(SpringRunner.class) @SpringBootTest public class BatchTests { @Autowired private JobLauncherTestUtils jobLauncherTestUtils; @Test public void 배치테스트(){ try { JobParameters jobParameters = new JobParametersBuilder() .addString("fromDateTime", CommFunc.nowTimeString()) .toJobParameters(); JobExecution jobExecution = jobLa.. 2019. 3. 29.
[python3] Flask-SQLAlchemy 사용 시 json 으로 데이터 가공하기 웹크롤링 할게 많을거 같아 항상 쓰던 자바대신 python을 이용했다.이전에는 django를 이용했는데 사용하면서 느낀점은 잘되어있지만 커스텀하게 쓰기엔 조금 무거운 감이 있었다.알아야할 것도 많기도 하고. 그래서 이번에는 보다 가벼운 flask를 적용하기로 하고, 거기에 ORM 방식으로 데이터접근하면 좋을거 같아 찾다가 발견한 것이 SQLAlchemy 이다. SQLAlchemy를 사용하는 방법은 인터넷에 이미 충분히 있으니 여기서는 json으로 변환하여 리턴하는 것에만 집중했다. json으로 변환하려는 이유는 데이터를 주고받는데 json형태가 가장 편하고, 자바스크립트에서도 데이터를 접근하거나 조작하는데 유용하기 때문이다. 그리고 ajax를 이용해 json 형태로 데이터를 주고받을수도 있기 때문에 여러.. 2019. 3. 11.
[DBMS] 데이터베이스 설계와 중복엔터티(이론대로만 하면 안되는 것) 데이터베이스를 설계할 때엔 중복엔터티를 없애야한다. 이를 정규화라고 하는데, 목적을 한마디로 하면 데이터의 중복을 최소한으로 줄이는 것이다. 이는 오랜 정설이었으며, 여전히 유용하다. 중복엔터티를 없애야 하는 이유는 다음과 같다.- 변경할 부분이 생기면 모두 고쳐야 한다는 문제- 불필요한 데이터 함께 삽입- 데이터 불일치 가능성 지금까지 데이터베이스를 설계할때에는 항상 이 규칙을 지키기 위해 노력했다.그런데 요즘 대용량 처리를 하게되면서 이부분이 조금씩 금이가기 시작했다. - 인덱스가 만능키는 아니다 데이터의 속성에 따라 데이터를 한 테이블에 넣거나 분리한다. 분리된 연관성은 나중에 관계를 통해 다시금 불러올 수 있다. 우리가 관계지향 데이터베이스를 쓰는 가장 큰 이유이기도 하다. 그런데 테이블간의 Jo.. 2019. 3. 5.
반응형

티스토리툴바