반응형 공부381 [python3] Flask-SQLAlchemy 사용 시 json 으로 데이터 가공하기 웹크롤링 할게 많을거 같아 항상 쓰던 자바대신 python을 이용했다.이전에는 django를 이용했는데 사용하면서 느낀점은 잘되어있지만 커스텀하게 쓰기엔 조금 무거운 감이 있었다.알아야할 것도 많기도 하고. 그래서 이번에는 보다 가벼운 flask를 적용하기로 하고, 거기에 ORM 방식으로 데이터접근하면 좋을거 같아 찾다가 발견한 것이 SQLAlchemy 이다. SQLAlchemy를 사용하는 방법은 인터넷에 이미 충분히 있으니 여기서는 json으로 변환하여 리턴하는 것에만 집중했다. json으로 변환하려는 이유는 데이터를 주고받는데 json형태가 가장 편하고, 자바스크립트에서도 데이터를 접근하거나 조작하는데 유용하기 때문이다. 그리고 ajax를 이용해 json 형태로 데이터를 주고받을수도 있기 때문에 여러.. 2019. 3. 11. [DBMS] 데이터베이스 설계와 중복엔터티(이론대로만 하면 안되는 것) 데이터베이스를 설계할 때엔 중복엔터티를 없애야한다. 이를 정규화라고 하는데, 목적을 한마디로 하면 데이터의 중복을 최소한으로 줄이는 것이다. 이는 오랜 정설이었으며, 여전히 유용하다. 중복엔터티를 없애야 하는 이유는 다음과 같다.- 변경할 부분이 생기면 모두 고쳐야 한다는 문제- 불필요한 데이터 함께 삽입- 데이터 불일치 가능성 지금까지 데이터베이스를 설계할때에는 항상 이 규칙을 지키기 위해 노력했다.그런데 요즘 대용량 처리를 하게되면서 이부분이 조금씩 금이가기 시작했다. - 인덱스가 만능키는 아니다 데이터의 속성에 따라 데이터를 한 테이블에 넣거나 분리한다. 분리된 연관성은 나중에 관계를 통해 다시금 불러올 수 있다. 우리가 관계지향 데이터베이스를 쓰는 가장 큰 이유이기도 하다. 그런데 테이블간의 Jo.. 2019. 3. 5. [python3] jupyter 사용시 Connecting to kernel 문제 jupyter에 파이썬을 실행해보면 실행만 하고있고 실제 결과물이 나오지 않는다 사진을 보면 Connecting to kernel 이 뜨고, 실행을 하고 있는 In[*] 은 끝나지 않았다. 웹페이지를 보면 Connecting to kernel 이란 표시가 뜬다.로그를 보니 다음의 표시가 뜨는데 특별한 에러는 없다 [I 14:18:56.358 NotebookApp] Adapting to protocol v5.1 for kernel 7b6b5233-f196-4ad0-b5ce-66868f91f49e/usr/local/lib/python3.7/site-packages/notebook/base/zmqhandlers.py:284: RuntimeWarning: coroutine 'WebSocketHandler.get.. 2019. 3. 3. [Spring] 환경에 따라 logback 설정파일 분리하기(springboot 아님) 환경에 따라(dev, pord, local 등) logback 의 설정파일을 달리 읽히게 할 필요가 있었다.그래서 인터넷에 검색하여 logback-[xxx].xml 방식으로 설정을 하는데 먹히지 않았다. 그전에 잠깐 환경에 따른 설정을 어떻게 하는지 설명이 필요할 거 같다.내 경우는 환경설정을 위해 spring.profiles.active 를 자주쓰는데 주로 파라미터에 주는 편이다. -Dspring.profiles.active=dev 그래서 이클립스든 Intellij 든 사용할때 위와 같은 환경을 설정한 후 실행한다. spring.profiles 에 설정을 기반으로 하여 logback 설정파일을 읽는것이 가장 좋겠다 판단했기에 인터넷에 찾아봤는데 된다고 하는 파일명-[환경설정].xml 방식은 되지 않았다.. 2019. 2. 26. [Retrofit2] Unable to create converter for interface 에러 Retrofit2 에서 다음의 에러가 발생했다. java.lang.IllegalArgumentException: Unable to create converter for interface retrofit2.http.POST for method [URL] Converter 가 초기화되지 않아 발생한 오류이다. 이것을 수정하는 방법은 여러가지 있지만 내 경우는 converter-jackson 을 이용했다. Gradle 에 다음사항 추가 dependencies { compile group: 'com.squareup.retrofit2', name: 'retrofit', version: [버전] compile group: 'com.squareup.retrofit2', name: 'converter-jackson',.. 2019. 2. 21. 통계용어정리, 기술통계, 추론통계 통계에서 가장 중요한 것은 데이터를 원하는 형태로 가공하는 방법이다. 데이터 관련 업종 많은 이들이 여기에 시간을 다수 할애한다. # 통계용어 정리 - 모집단(population)- 장점: 데이터의 정확성 향상- 단점: 비용이 많이듬(시간, 인력등 낭비가 커질 수 있음)- 표본집단(sample)- 표집(sampling)- 어떻게 표집할 것인가?- 특정기준을 주면 데이터 쏠림현상이 생길 수 있다 => 이를 편향 또는 오염이라 함(bios)- 이런 현상을 줄이기 위해 랜덤샘플링을 사용한다. (무작위로 데이터를 차출하는 것) - 모평균: 평균을 구하는 것- 이는 데이터만 있으면 구할 수 있지만 데이터가 없거나 너무방대하면 처리하기 힘들다.- 기호: m- 모분산: 관찰값들이 얼마나 많이 퍼져있는지 조사하는 것-.. 2019. 2. 17. 이전 1 ··· 34 35 36 37 38 39 40 ··· 64 다음 반응형
