2.1 결국 가격이다 (개정).ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.1] pandas.read_excel로 엑셀파일 읽어오기 시도 \n",
    "\n",
    "import pandas as pd\n",
    "\n",
    "# 아래와 같이 KB에서 받은 데이터를 디렉터리와 제목을 합쳐서 문자열로 입력하세요\n",
    "#path = r'C:\\Users\\JK\\Desktop\\부동산 데이터\\KB부동산\\월간\\★(월간)KB주택가격동향_시계열(2019.01)12831994601335062.xls'\n",
    "path = r' 여러분이 내려 받은 KB 엑셀파일의 디렉터리를 넣으세요 \\ KB엑셀 파일명.xls'\n",
    "raw_data = pd.read_excel(path, sheet_name='매매종합')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# [예제 2.2] xlwings모듈 활용하여 엑셀 데이터 가져와서 데이터프레임으로 저장 \n",
    "\n",
    "import pandas as pd\n",
    "import xlwings as xw\n",
    "\n",
    "path = r' 여러분이 받은 파일의 디렉터리를 넣으세요 \\ KB엑셀 파일명.xls'\n",
    "wb = xw.Book(path)                \n",
    "sheet = wb.sheets['매매종합']   \n",
    "row_num = sheet.range(1,1).end('down').end('down').end('down').row  \n",
    "data_range = 'A2:GE' + str(row_num)\n",
    "raw_data = sheet[data_range].options(pd.DataFrame, index=False, header=True).value "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.3] 시-도 데이터와 구-군 데이터를 가져와 리스트로 만들기\n",
    "\n",
    "big_col = list(raw_data.columns)\n",
    "small_col = list(raw_data.iloc[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.4 small_col] 리스트에서 None 없애기\n",
    "\n",
    "for num, gu_data in enumerate(small_col):\n",
    "    if gu_data == None:\n",
    "        small_col[num] = big_col[num]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.5] small_col, big_col 리스트 완성하기 \n",
    "\n",
    "bignames = '서울 대구 부산 대전 광주 인천 울산 세종 경기 강원 충북 충남 전북 전남 경북 경남 제주도 6개광역시 5개광역시 수도권 기타지방 구분 전국'\n",
    "bigname_list = bignames.split(' ')\n",
    "big_col = list(raw_data.columns)\n",
    "small_col = list(raw_data.iloc[0])\n",
    "\n",
    "for num, gu_data in enumerate(small_col):\n",
    "    if gu_data == None:\n",
    "        small_col[num] = big_col[num]\n",
    "    \n",
    "    check = num\n",
    "    while True:\n",
    "        if big_col[check] in bigname_list:\n",
    "            big_col[num] = big_col[check]\n",
    "            break\n",
    "        else:\n",
    "            check = check - 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.6] small_col, big_col 예외 부분 수정하기 \n",
    "\n",
    "big_col[129] = '경기' \n",
    "big_col[130] = '경기'\n",
    "small_col[185] = '서귀포'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.7] 새로운 컬럼 입력하기 \n",
    "\n",
    "raw_data.columns = [big_col, small_col]\n",
    "new_col_data = raw_data.drop([0,1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.8] 데이터를 읽어와 컬럼을 재설정하여 데이터프레임으로 저장하는 코드 정리 \n",
    "\n",
    "import pandas as pd\n",
    "import xlwings as xw\n",
    "\n",
    "path = r' 여러분이 받은 파일의 디렉터리를 넣으세요 \\ KB엑셀 파일명.xls'\n",
    "wb = xw.Book(path)                \n",
    "sheet = wb.sheets['매매종합']   \n",
    "row_num = sheet.range(1,1).end('down').end('down').end('down').row  \n",
    "data_range = 'A2:GE' + str(row_num)\n",
    "raw_data = sheet[data_range].options(pd.DataFrame, index=False, header=True).value \n",
    "\n",
    "bignames = '서울 대구 부산 대전 광주 인천 울산 세종 경기 강원 충북 충남 전북 전남 경북 경남 제주도 6개광역시 5개광역시 수도권 기타지방 구분 전국'\n",
    "bigname_list = bignames.split(' ')\n",
    "big_col = list(raw_data.columns)\n",
    "small_col = list(raw_data.iloc[0])\n",
    "\n",
    "for num, gu_data in enumerate(small_col):\n",
    "    if gu_data == None:\n",
    "        small_col[num] = big_col[num]\n",
    "    \n",
    "    check = num\n",
    "    while True:\n",
    "        if big_col[check] in bigname_list:\n",
    "            big_col[num] = big_col[check]\n",
    "            break\n",
    "        else:\n",
    "            check = check - 1\n",
    "            \n",
    "big_col[129] = '경기' \n",
    "big_col[130] = '경기'\n",
    "small_col[185] = '서귀포'\n",
    "\n",
    "raw_data.columns = [big_col, small_col]\n",
    "new_col_data = raw_data.drop([0,1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.9] 인덱스를 위한 날짜 리스트 만들기 \n",
    "\n",
    "index_list = list(new_col_data['구분']['구분'])\n",
    "\n",
    "new_index = []\n",
    "\n",
    "for num, raw_index in enumerate(index_list):\n",
    "    temp = str(raw_index).split('.')\n",
    "    if int(temp[0]) > 12 :\n",
    "        if len(temp[0]) == 2:\n",
    "            new_index.append('19' + temp[0] + '.' + temp[1])\n",
    "        else:\n",
    "            new_index.append(temp[0] + '.' + temp[1])\n",
    "    else:\n",
    "        new_index.append(new_index[num-1].split('.')[0] + '.' + temp[0])\n",
    "\n",
    "        \n",
    "# [예제 2.10] 만들어진 날짜 리스트를 인덱스로 설정 \n",
    "\n",
    "new_col_data.set_index(pd.to_datetime(new_index), inplace=True)\n",
    "cleaned_data  = new_col_data.drop(('구분', '구분'), axis=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.11] 전처리 함수화 \n",
    "\n",
    "def KBpriceindex_preprocessing(path, data_type):\n",
    "    # path : KB 데이터 엑셀 파일의 디렉토리 (문자열)\n",
    "    # data_type : ‘매매종합’, ‘매매APT’, ‘매매연립’, ‘매매단독’, ‘전세종합’, ‘전세APT’, ‘전세연립’, ‘전세단독’ 중 하나\n",
    "    \n",
    "    wb = xw.Book(path)                \n",
    "    sheet = wb.sheets[data_type]   \n",
    "    row_num = sheet.range(1,1).end('down').end('down').end('down').row  \n",
    "    data_range = 'A2:GE' + str(row_num)\n",
    "    raw_data = sheet[data_range].options(pd.DataFrame, index=False, header=True).value \n",
    "    \n",
    "    bignames = '서울 대구 부산 대전 광주 인천 울산 세종 경기 강원 충북 충남 전북 전남 경북 경남 제주도 6개광역시 5개광역시 수도권 기타지방 구분 전국'\n",
    "    bigname_list = bignames.split(' ')\n",
    "    big_col = list(raw_data.columns)\n",
    "    small_col = list(raw_data.iloc[0])\n",
    "\n",
    "    for num, gu_data in enumerate(small_col):\n",
    "        if gu_data == None:\n",
    "            small_col[num] = big_col[num]\n",
    "\n",
    "        check = num\n",
    "        while True:\n",
    "            if big_col[check] in bigname_list:\n",
    "                big_col[num] = big_col[check]\n",
    "                break\n",
    "            else:\n",
    "                check = check - 1\n",
    "                \n",
    "    big_col[129] = '경기' \n",
    "    big_col[130] = '경기'\n",
    "    small_col[185] = '서귀포'\n",
    "    \n",
    "    raw_data.columns = [big_col, small_col]\n",
    "    new_col_data = raw_data.drop([0,1])\n",
    "    \n",
    "    index_list = list(new_col_data['구분']['구분'])\n",
    "\n",
    "    new_index = []\n",
    "\n",
    "    for num, raw_index in enumerate(index_list):\n",
    "        temp = str(raw_index).split('.')\n",
    "        if int(temp[0]) > 12 :\n",
    "            if len(temp[0]) == 2:\n",
    "                new_index.append('19' + temp[0] + '.' + temp[1])\n",
    "            else:\n",
    "                new_index.append(temp[0] + '.' + temp[1])\n",
    "        else:\n",
    "            new_index.append(new_index[num-1].split('.')[0] + '.' + temp[0])\n",
    "\n",
    "    new_col_data.set_index(pd.to_datetime(new_index), inplace=True)\n",
    "    cleaned_data  = new_col_data.drop(('구분', '구분'), axis=1)\n",
    "    return cleaned_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.12] 전처리 함수 사용 예제 \n",
    "\n",
    "# [예제 2.13] matplotlib 불러오고 한글폰트 설정 \n",
    "import matplotlib.pyplot as plt\n",
    "from matplotlib import font_manager, rc\n",
    "%matplotlib inline\n",
    "\n",
    "font_name = font_manager.FontProperties(fname=\"c:/Windows/Fonts/malgun.ttf\").get_name()\n",
    "rc('font', family=font_name)\n",
    "# 맥OS 인 경우 위 두 줄을 입력하지 말고 아래 코드를 입력하세요\n",
    "# rc('font', family='AppleGothic')\n",
    "plt.rcParams['axes.unicode_minus'] = False\n",
    "\n",
    "\n",
    "# [예제 2.14] 종합 매매가격 지수 그래프 그리기 \n",
    "path = r' 여러분이 받은 파일의 디렉터리를 넣으세요 \\ KB엑셀 파일명.xls'\n",
    "data_type = '매매종합'\n",
    "new_data = KBpriceindex_preprocessing(path, data_type)\n",
    "new_data['전국']['전국'].plot(legend='전국')\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.15] 특정 지역에 원하는 시간대의 데이터를 가져와 그래프 그리기 \n",
    "\n",
    "new_data['전국']['전국']['2008-01':].plot(legend='전국')\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.16] subplot을 이용해 서울과 대구 그래프 그리기\n",
    "\n",
    "plt.figure(figsize=(10, 5))\n",
    "\n",
    "plt.subplot(1, 2, 1)\n",
    "plt.title('서울')\n",
    "plt.plot(new_data['서울']['서울']['2008-01':])\n",
    "\n",
    "plt.subplot(1, 2, 2)\n",
    "plt.title('대구')\n",
    "plt.plot(new_data['대구']['대구']['2008-01':])\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.17] for 문을 이용해 여러 개의 subplot을 그리는 코드  \n",
    "\n",
    "spots = '전국 서울 대구 부산'\n",
    "start_date = '2008-1'\n",
    "spot_list = spots.split(' ')\n",
    "num_row = int((len(spot_list)-1)/2)+1\n",
    "\n",
    "plt.figure(figsize=(10, num_row*5))\n",
    "for i, spot in enumerate(spot_list):\n",
    "    plt.subplot(num_row, 2, i+1)\n",
    "    plt.title(spot)\n",
    "    plt.plot(new_data[spot][spot][start_date:])\n",
    "    \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.18] 시-도 안의 구 지역 가격지수까지 subplot으로 그래프 그리기 \n",
    "\n",
    "spots = '서울 서울,마포구 서울,강남구 부산 경기'\n",
    "start_date = '2008-1'\n",
    "spot_list = spots.split(' ')\n",
    "num_row = int((len(spot_list)-1)/2)+1\n",
    "\n",
    "plt.figure(figsize=(10, num_row*5))\n",
    "for i, spot in enumerate(spot_list):\n",
    "    plt.subplot(num_row, 2, i+1)\n",
    "    plt.title(spot)\n",
    "    if ',' in spot:\n",
    "        si, gu = spot.split(',')\n",
    "    else:\n",
    "        si = gu = spot\n",
    "    plt.plot(new_data[si][gu][start_date:])\n",
    "    \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.19] 특정 날짜의 전 지역 가격지수 데이터 가져오기 \n",
    "\n",
    "new_data.loc['2018-1-1']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.20] 두 날짜 사이의 부동산 가격지수 증감률 구하기\n",
    "\n",
    "(new_data.loc['2018-1-1'] - new_data.loc['2016-1-1']) / new_data.loc['2016-1-1'] * 100"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.21] 가격지수 증감률 정렬하기 \n",
    "\n",
    "diff = (new_data.loc['2018-1-1'] - new_data.loc['2016-1-1']) / new_data.loc['2016-1-1'] * 100\n",
    "diff.sort_values()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.22] 누락된 지역 삭제 및 상위, 하위 10개만 출력 \n",
    "\n",
    "diff = ((new_data.loc['2018-1-1'] - new_data.loc['2016-1-1']) / new_data.loc['2016-1-1'] * 100).dropna()\n",
    "print(\"하위 10개\")\n",
    "print(diff.sort_values()[:10])\n",
    "print(' ')\n",
    "print(\"상위 10개\")\n",
    "print(diff.sort_values(ascending=False)[:10])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.23] 가격지수 증감률을 막대그래프로 시각화\n",
    "\n",
    "import numpy as np\n",
    "from matplotlib import style\n",
    "style.use('ggplot')\n",
    "\n",
    "fig = plt.figure(figsize=(13, 7))\n",
    "ind = np.arange(20)\n",
    "\n",
    "ax = fig.add_subplot(1, 3, 1)\n",
    "plt.title('2016.1~2018.1 가격 변화율 최하위 20')\n",
    "rects = plt.barh(ind, diff.sort_values()[:20].values,  align='center', height=0.5)\n",
    "plt.yticks(ind, diff.sort_values()[:20].index)\n",
    "for i, rect in enumerate(rects):\n",
    "    ax.text(0.95 * rect.get_width(),\n",
    "            rect.get_y() + rect.get_height() / 2.0,\n",
    "            str(round(diff.sort_values()[:20].values[i],2)) + '%',\n",
    "            ha='left', va='center', bbox=dict(boxstyle=\"round\", fc=(0.5, 0.9, 0.7), ec=\"0.1\"))\n",
    "    \n",
    "ax2 = fig.add_subplot(1, 3, 3)\n",
    "plt.title('2016.1~2018.1 가격 변화율 최상위 20')\n",
    "rects2 = plt.barh(ind, diff.sort_values()[-20:].values,  align='center', height=0.5)\n",
    "plt.yticks(ind,  diff.sort_values()[-20:].index)\n",
    "for i, rect in enumerate(rects2):\n",
    "    ax2.text(0.95 * rect.get_width(),\n",
    "             rect.get_y() + rect.get_height() / 2.0,\n",
    "             str(round(diff.sort_values()[-20:].values[i],2)) + '%', \n",
    "             ha='right', va='center', bbox=dict(boxstyle=\"round\", fc=(0.5, 0.9, 0.7), ec=\"0.1\"))\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 2.24] 특정 지역만 선택해서 가격지수 증감률을 막대그래프로 시각화\n",
    "\n",
    "loca =  '전국 서울 부산 경기 대구 광주 울산 대전'\n",
    "\n",
    "temp_list = loca.split(\" \")\n",
    "loca_list = []\n",
    "for temp in temp_list:\n",
    "    if ',' in temp:\n",
    "        temp_split = temp.split(\",\")\n",
    "        loca_list.append((temp_split[0], temp_split[1]))\n",
    "    else:\n",
    "        loca_list.append((temp, temp))\n",
    "\n",
    "diff = ((new_data.loc['2018-1-1', loca_list] - new_data.loc['2016-1-1', loca_list]) / new_data.loc['2016-1-1', loca_list] * 100).sort_values()\n",
    "\n",
    "num = len(loca_list)\n",
    "fig = plt.figure(figsize=(13, 7))\n",
    "ind = np.arange(num)\n",
    "\n",
    "ax = fig.add_subplot(1, 3, 1)\n",
    "plt.title('2016.1~2018.1 가격지수 변화율')\n",
    "rects = plt.barh(ind, diff.head(num).values,  align='center', height=0.5)\n",
    "plt.yticks(ind, diff.head(num).index)\n",
    "for i, rect in enumerate(rects):\n",
    "    ax.text(0.95 * rect.get_width(), rect.get_y() + rect.get_height() / 2.0, str(round(diff.head(20).values[i], 2)) + '%',\n",
    "            ha='left', va='center', bbox=dict(boxstyle=\"round\", fc=(0.5, 0.9, 0.7), ec=\"0.1\"))\n",
    "\n",
    "\n",
    "plt.show()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}