Nerdy

코로나 데이터에 일일 누적 확진자 수와 일자별 국내발생 수 데이터가 있다. 단순히 데이터들을 변수에 담아 막대그래프를 그리면 간단히 될 줄 알았지만 데이터가 천만이 넘는 숫자형 데이터가 보니 축에 표시가 되지 않는 현상이 발생한다. 이번 포스팅에서는 축 범위에 만단위 숫자 설정과 막대 그래프에 레이블값 표시한 방법을 리뷰해볼려고 한다. 데이터 파일을 가져오고 전처리와 정수형 변환은 이전 포스팅 내용과 동일하다. # 사용할 라이브러리 import import pandas as pd import matplotlib.pyplot as plt import numpy as np from matplotlib import font_manager, rc import warnings # 데이터프레임 출력 df = pd...

코로나 공식 홈페이지에 있는 주간 발생 추이 막대 그래프가 있다. 이전에 사용한 데이터를 활용하여 파이썬 Pandas와 Matplotlib 라이브러리를 사용해 비슷하게 만들어보도록 하겠다. http://ncov.mohw.go.kr/ 코로나바이러스감염증-19 코로나바이러스감염증-19 정식 홈페이지로 발생현황, 국내발생현황, 국외발생현황, 시도별발생현황, 대상별 유의사항, 생활 속 거리 두기, 공적마스크 공급현황, 피해지원정책, 홍보자료, FAQ, 관 ncov.mohw.go.kr 코로나 19 누적 데이터 대상으로 pd.read_csv 함수를 사용해 데이터를 불러온다. 한글깨짐을 방지하기 위해 encoding = UTF-8로 설정을 해준다. # 사용할 라이브러리 import import pandas as pd..

코로나 공식홈페이지에 누적 데이터(엑셀)를 다운 받을 수 있다. 이 데이터를 가지고 R에서 분류를 한 후 막대 차트를 만들어보도록 하자 데이터는 첫 확진 날부터 시작해서 현재 날짜까지 누적된 엑셀화 데이터이며 연도별, 월별이 아닌 일별로 나눠져 있어 최근 날짜인 2022년 6월 데이터만 대상으로 코드 작성을 한다. http://ncov.mohw.go.kr/ 코로나바이러스감염증-19 코로나바이러스감염증-19 정식 홈페이지로 발생현황, 국내발생현황, 국외발생현황, 시도별발생현황, 대상별 유의사항, 생활 속 거리 두기, 공적마스크 공급현황, 피해지원정책, 홍보자료, FAQ, 관 ncov.mohw.go.kr 엑셀 파일을 다운 받으면 '발생별(국내 + 해외유입), 사망' 시트부터 시작해 총 5개 시트가 구성 되어..

공공데이터 포털 사이트에서 신청한 코로나 19 국내발생현황(사망) 오픈 API 데이터를 가지고 간단하게 그래프를 그려보도록 한다. 신청방법은 이전에 올린 글을 참고하면 된다. https://whiplash-bd.tistory.com/35 공공데이터포털 오픈 API 신청 방법 (JSON) 수 많은 데이터들이 모여 있고 볼 수 있는 공공데이터포털에서 오픈 API를 신청하는 방법을 알고자 한다. # 공공데이터포털 사이트 https://www.data.go.kr/index.do 공공데이터 포털 국가에서 보유하고 whiplash-bd.tistory.com 먼저 승인된 신청 데이터를 누르고 상세내용을 확인한다. 신청 데이터 상세보기로 들어가면 서비스 정보를 볼 수 있으며 json URL을 얻는 방법은 인증키를 넣어..

R에서 대용량 데이터셋을 처리할 때 메모리가 부족하여 수행할 수 없는 경우 메모리를 늘리는 방법을 소개하고자 한다. 1. 현재 사용하고 있는 메모리 확인 memory.size() # 226.74 2. R에서 최대 가상 메모리 사용 한계 확인 memory.limit() # 16339 3. 큰 벡터를 생성한 후 저장, 메모리 사이즈 확인 x = rep(0, 500000000) memory.size() # 4037.82 큰 벡터를 가진 x 객체를 저장하면 현 메모리 사이즈는 4037.82(3.943184GB)로 나타난다. 만약 x와 똑같은 벡터를 5개 생성하여 저장하면 메모리 초과로 인해 만들 수 없을 것이다. x = rep(0, 500000000) x2 = rep(0, 500000000) x3 = rep(0..

■ 데이터 테이블이란? R의 data.table은 대용량 데이터를 빠른 집계와 빠른 정렬된 조인 , 그룹별로 빠른 열 합치기/수정/삭제를 할 수 있는 아주 유용한 패키지다. '왜 data.table인가?'를 설명할 수 있는 data.table GitHub에서는 여러 장점들을 설명하고 있고 그 중 몇가지만 알아보도록 한다. 1). 빠르게 쓰고 읽을 수 있는 간결한 구문(concise syntax: fast to type, fast to read) 얼마나 빠르게 쓰고 읽을 수 있는 간결한 구문인지 비교를 위해 dplyr과 data.table 두 개 패키지를 비교해봤다. 어떤 data에 대해서 그룹 'a' 별로 변수 'x'의 평균을 구해보는 예시를 구문으로 작성하여 비교를 해보면 아래와 같다. # 1. dpl..

레이블과 제목에 한글을 넣게 되면 한글깨짐 현상이 발생한다. 이 문제를 해결하기 위해서는 한글깨짐 방지 세팅이 필요하다. 먼저 산점도 그래프를 만들어본다. # 사용된 라이브러리 모듈 import numpy as np import matplotlib.pyplot as plt # 산점도 그래프 생성 np.random.seed(0) n = 30 x = np.random.rand(n) y = np.random.rand(n) plt.scatter(x, y) plt.title('test scatter') plt.xlabel('x') plt.ylabel('y') plt.grid(True) # 격자 표시 plt.show() # 결과 산점도 그래프 작성을 위한 파이썬 코드를 돌려보면 위의 이미지처럼 아주 잘 나온다. 하..

수 많은 데이터들이 모여 있고 볼 수 있는 공공데이터포털에서 오픈 API를 신청하는 방법을 알고자 한다. # 공공데이터포털 사이트 https://www.data.go.kr/index.do 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 먼저 공공데이터 포털 사이트를 들어가면 검색창에 원하는 데이터를 검색한다. 예를 들어 코로나 현황 관련 JSON 오픈 API 데이터가 필요하면 검색창에 '코로나' 단어를 입력하면 된다. 조건검색에 서비스 유형 : REST 확장자 : JSON 체크박스를 누른 후 상세검색을 하면 원하는 오..