4.1 학군 (개정).ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.1] ‘2018년 2차_졸업생의 진로 현황(전체)’ 엑셀 파일을 판다스의 read_excel로 읽어오기 \n",
    "\n",
    "import pandas as pd\n",
    "\n",
    "# graduate_path = r'C:\\Users\\JK\\Desktop\\부동산 데이터\\2018년 2차_졸업생의 진로 현황(전체).xlsx'\n",
    "graduate_path = r' 졸업생 진로 데이터 엑셀 파일 디렉터리 \\ 졸업생 진로 데이터 엑셀 파일명.xlsx'\n",
    "raw_graduate = pd.read_excel(graduate_path, sheet_name='2018_졸업생의 진로 현황(중)')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.2] 전국 중학교 졸업자 데이터를 데이터프레임으로 정리 \n",
    "\n",
    "select_col = raw_graduate[['지역', '학교명','정보공시 \\n 학교코드', '졸업자.2', '(특수목적고)과학고 진학자.2','(특수목적고)외고ㆍ국제고 진학자.2']]\n",
    "select_col.columns = ['지역', '학교명', '학교코드', '졸업자', '과고', '외고']\n",
    "graduate_data = select_col.drop(0)\n",
    "graduate_data['과고'] = pd.to_numeric(graduate_data['과고'])\n",
    "graduate_data['외고'] =  pd.to_numeric(graduate_data['외고']) \n",
    "graduate_data['졸업자'] =  pd.to_numeric(graduate_data['졸업자']) \n",
    "graduate_data['총합'] = graduate_data['과고'] + graduate_data['외고']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.3] 전국 중학교 지역명 정리\n",
    "\n",
    "def get_sido(x):\n",
    "    temp = x.split(' ')[0]\n",
    "    if len(temp) != 4:\n",
    "        return temp[:2]\n",
    "    else:\n",
    "        return temp[0] + temp[2]\n",
    "\n",
    "graduate_data['시도'] = graduate_data['지역'].dropna().apply(get_sido)\n",
    "graduate_data['구군'] = graduate_data['지역'].dropna().apply(lambda x: x.split(' ')[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.4] 누락된 지역 예외 처리\n",
    "\n",
    "graduate_data.at[588,'시도'] = '부산'\n",
    "graduate_data.at[588,'구군'] = '기장군'\n",
    "graduate_data.at[3011,'시도'] = '경북'\n",
    "graduate_data.at[3011,'구군'] = '예천군'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# [예제 4.5] 특목고 진학 데이터를 데이터프레임으로 만드는 함수 \n",
    "\n",
    "def graduate_preprocrssing(path):\n",
    "    raw_graduate = pd.read_excel(path, sheet_name='2018_졸업생의 진로 현황(중)')\n",
    "    select_col = raw_graduate[['지역', '학교명','정보공시 \\n 학교코드', '졸업자.2', '(특수목적고)과학고 진학자.2','(특수목적고)외고ㆍ국제고 진학자.2']]\n",
    "    select_col.columns = ['지역', '학교명', '학교코드', '졸업자', '과고', '외고']\n",
    "    graduate_data = select_col.drop(0)\n",
    "    graduate_data['과고'] = pd.to_numeric(graduate_data['과고'])\n",
    "    graduate_data['외고'] =  pd.to_numeric(graduate_data['외고']) \n",
    "    graduate_data['졸업자'] =  pd.to_numeric(graduate_data['졸업자']) \n",
    "    graduate_data['총합'] = graduate_data['과고'] + graduate_data['외고']\n",
    "    \n",
    "    def get_sido(x):\n",
    "        temp = x.split(' ')[0]\n",
    "        if len(temp) != 4:\n",
    "            return temp[:2]\n",
    "        else:\n",
    "            return temp[0] + temp[2]\n",
    "    \n",
    "    graduate_data['시도'] = graduate_data['지역'].dropna().apply(get_sido)\n",
    "    graduate_data['구군'] = graduate_data['지역'].dropna().apply(lambda x: x.split(' ')[1])\n",
    "    \n",
    "    graduate_data.at[588,'시도'] = '부산'\n",
    "    graduate_data.at[588,'구군'] = '기장군'\n",
    "    graduate_data.at[3011,'시도'] = '경북'\n",
    "    graduate_data.at[3011,'구군'] = '예천군'\n",
    "    \n",
    "    return graduate_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.6] 평균 아파트 매매가격 데이터 읽어오기\n",
    "\n",
    "# price_path = r'C:\\Users\\JK\\Desktop\\부동산 데이터\\평균매매가격_아파트.xlsx'\n",
    "price_path = r' 평균 아파트 매매가격 데이터 디렉터리 \\ 평균 아파트 매매가격 데이터 엑셀 파일명.xlsx'\n",
    "row_price = pd.read_excel(price_path, skiprows=10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# [예제 4.7] 지역 설정하기\n",
    "\n",
    "big_col = []\n",
    "for num, temp in enumerate(row_price['지 역']):\n",
    "    if pd.isna(temp) :\n",
    "        big_col.append(big_col[num-1])\n",
    "    else:\n",
    "        big_col.append(temp)\n",
    "    \n",
    "    \n",
    "small_col = []\n",
    "for num in range(len(row_price)):\n",
    "    temp_list = list(row_price[['지 역', 'Unnamed: 1', 'Unnamed: 2', 'Unnamed: 3']].iloc[num])\n",
    "    for temp in temp_list[3::-1]:\n",
    "        if not pd.isna(temp):\n",
    "            small_col.append(temp)\n",
    "            break\n",
    "            \n",
    "row_price.index = [big_col, small_col]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.8] 필요 없는 컬럼을 없애고 컬럼과 인덱스 바꾸기 \n",
    "\n",
    "transposed_price = row_price.drop(['지 역', 'Unnamed: 1', 'Unnamed: 2', 'Unnamed: 3'], axis=1).T"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# [예제 4.9] 날짜 인덱스 개선\n",
    "\n",
    "time_index = []\n",
    "for time in transposed_price.index:\n",
    "    temp = time.split(' ')\n",
    "    time_index.append(temp[0][:-1]+'.'+temp[1][:-1])\n",
    "\n",
    "transposed_price.index = pd.to_datetime(time_index)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.10] 평균 아파트 매매가 데이터를 데이터프레임으로 만드는 함수 \n",
    "\n",
    "def gamjungwon_price_preprocessing(path):\n",
    "    row_price = pd.read_excel(path, skiprows=10)\n",
    "    \n",
    "    big_col = []\n",
    "    for num, temp in enumerate(row_price['지 역']):\n",
    "        if pd.isna(temp) :\n",
    "            big_col.append(big_col[num-1])\n",
    "        else:\n",
    "            big_col.append(temp)\n",
    "\n",
    "\n",
    "    small_col = []\n",
    "    for num in range(len(row_price)):\n",
    "        temp_list = list(row_price[['지 역', 'Unnamed: 1', 'Unnamed: 2', 'Unnamed: 3']].iloc[num])\n",
    "        for temp in temp_list[3::-1]:\n",
    "            if not pd.isna(temp):\n",
    "                small_col.append(temp)\n",
    "                break\n",
    "\n",
    "    row_price.index = [big_col, small_col]\n",
    "    \n",
    "    transposed_price = row_price.drop(['지 역', 'Unnamed: 1', 'Unnamed: 2', 'Unnamed: 3'], axis=1).T\n",
    "    \n",
    "    time_index = []\n",
    "    for time in transposed_price.index:\n",
    "        temp = time.split(' ')\n",
    "        time_index.append(temp[0][:-1]+'.'+temp[1][:-1])\n",
    "\n",
    "    transposed_price.index = pd.to_datetime(time_index)\n",
    "    \n",
    "    return transposed_price"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.11] 특목고 데이터프레임을 이용해 시도별 졸업생의 데이터를 합산하기 \n",
    "\n",
    "graduate_path = r' 졸업생 진로 데이터 엑셀 파일 디렉터리 \\ 졸업생 진로 데이터 엑셀 파일명.xlsx'\n",
    "gradu_df = graduate_preprocrssing(graduate_path)\n",
    "\n",
    "gradu_df.groupby('시도').sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.12] 정렬을 이용해 특목고를 가장 많이 진학시킨 시도 찾기 \n",
    "\n",
    "gradu_sido = gradu_df.groupby('시도').sum()\n",
    "gradu_sido.sort_values(by='총합', ascending=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.13] 특목고 진학률을 계산해 정렬하기 \n",
    "\n",
    "gradu_sido['진학률'] = gradu_sido['총합'] / gradu_sido['졸업자'] * 100\n",
    "gradu_sido.sort_values(by='진학률', ascending=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.14] 지역별 가격 가져와 저장하기\n",
    "\n",
    "price_path = r' 평균 아파트 매매가격 데이터 디렉터리 \\ 평균 아파트 매매가격 데이터 엑셀 파일명.xlsx'\n",
    "price_data = gamjungwon_price_preprocessing(price_path)\n",
    "\n",
    "sido_list = []\n",
    "for i in gradu_sido.index:\n",
    "    sido_list.append(price_data.loc['2018-6-1'][i][i])\n",
    "      \n",
    "gradu_sido['평균매매가격'] = sido_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.15] 그래프를 그리기 위한 설정\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "from matplotlib import font_manager, rc\n",
    "from matplotlib import style\n",
    "style.use('ggplot')\n",
    "%matplotlib inline\n",
    "\n",
    "\n",
    "font_name = font_manager.FontProperties(fname=\"c:/Windows/Fonts/malgun.ttf\").get_name()\n",
    "rc('font', family=font_name)\n",
    "# 맥OS인 경우 위 두 줄을 입력하지 말고 아래 코드를 입력하세요\n",
    "# rc('font', family='AppleGothic')\n",
    "plt.rcParams['axes.unicode_minus'] = False"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.16] 특목고 진학률과 평균 아파트 매매가격의 scatter 그래프 그리기\n",
    "\n",
    "plt.figure(figsize=(10, 7))\n",
    "plt.scatter(gradu_sido['진학률'], gradu_sido['평균매매가격'], color='darkcyan', s=50)\n",
    "plt.xlabel('졸업생 대비 특목고 진학생 비율(%)')\n",
    "plt.ylabel('평균아파트매매가격')\n",
    "for name in gradu_sido.index:\n",
    "    plt.text(gradu_sido['진학률'][name]*1.02, gradu_sido['평균매매가격'][name], name, fontsize=13)\n",
    "        \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.17] 선형 회귀선 추가하기\n",
    "import seaborn as sns\n",
    "\n",
    "plt.figure(figsize=(10, 7))\n",
    "plt.scatter(gradu_sido['진학률'], gradu_sido['평균매매가격'], color='darkcyan', s=50)\n",
    "sns.regplot(gradu_sido['진학률'], gradu_sido['평균매매가격'], scatter=False, color='darkcyan')\n",
    "plt.xlabel('졸업생 대비 특목고 진학생 비율(%)')\n",
    "plt.ylabel('평균아파트매매가격')\n",
    "for name in gradu_sido.index:\n",
    "    plt.text(gradu_sido['진학률'][name]*1.02, gradu_sido['평균매매가격'][name], name, fontsize=13)\n",
    "        \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#[예제 4.18] 서울시의 구별 특목고 진학자 알아보기\n",
    "\n",
    "local = '서울'\n",
    "\n",
    "gradu_gu = graduate_data[graduate_data['시도'] == local].groupby('구군').sum()\n",
    "gradu_gu['진학률'] = gradu_gu['총합'] / gradu_gu['졸업자'] * 100\n",
    "gradu_gu['평균매매가격'] = price_data.loc['2018-6-1'][local][gradu_gu.index]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.19] 서울시의 특목고 진학률과 평균 아파트 매매가격 scatter 그래프 그리기 \n",
    "\n",
    "plt.figure(figsize=(12, 7))\n",
    "plt.scatter(gradu_gu['진학률'], gradu_gu['평균매매가격'], color='steelblue', s=50)\n",
    "sns.regplot(gradu_gu['진학률'], gradu_gu['평균매매가격'], scatter=False, color='steelblue')\n",
    "plt.xlabel('졸업생 대비 특목고 진학생 비율(%)')\n",
    "plt.ylabel('평균아파트매매가격')\n",
    "for name in gradu_gu.index:\n",
    "    plt.text(gradu_gu['진학률'][name]*1.02, gradu_gu['평균매매가격'][name], name, fontsize=13)\n",
    "        \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.20] 부산시의 특목고 진학률과 평균 아파트 매매가격 scatter 그래프 그리기 \n",
    "\n",
    "local = '부산'\n",
    "\n",
    "gradu_gu = graduate_data[graduate_data['시도'] == local].groupby('구군').sum()\n",
    "gradu_gu['진학률'] = gradu_gu['총합'] / gradu_gu['졸업자'] * 100\n",
    "gradu_gu['평균매매가격'] = price_data.loc['2018-6-1'][local][gradu_gu.index]\n",
    "gradu_gu = gradu_gu.dropna()\n",
    "\n",
    "plt.figure(figsize=(12, 7))\n",
    "plt.scatter(gradu_gu['진학률'], gradu_gu['평균매매가격'], color='steelblue', s=50)\n",
    "sns.regplot(gradu_gu['진학률'], gradu_gu['평균매매가격'], scatter=False, color='steelblue')\n",
    "plt.xlabel('졸업생 대비 특목고 진학생 비율(%)')\n",
    "plt.ylabel('평균아파트매매가격')\n",
    "for name in gradu_gu.index:\n",
    "    plt.text(gradu_gu['진학률'][name]*1.02, gradu_gu['평균매매가격'][name], name, fontsize=13)\n",
    "        \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.21] 학원 데이터를 데이터프레임으로 가져오기\n",
    "\n",
    "#aca_path = r'C:\\Users\\JK\\Desktop\\부동산 데이터\\2018년 시도별 행정구역별 사설학원 현황.xlsx'\n",
    "aca_path = r' 사설학원 현황 데이터 디렉터리 \\ 사설학원 현황 엑셀 파일명.xlsx'\n",
    "aca_raw = pd.read_excel(aca_path , skiprows=3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.22] 학원 데이터프레임을 정리 \n",
    "\n",
    "aca_data = aca_raw[aca_raw['분야'] == '입시검정및보습']\n",
    "aca_data = aca_data[['시도', '행정구역', '학원수', '정원\\n(수강자수)', '강사수', '강의실수','월평균교습시간','월평균교습비(원)' ]]\n",
    "aca_data.columns = ['시도', '구군', '학원수', '수강자수', '강사수', '강의실수','월평균교습시간','월평균교습비']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.23] 전국 시도의 학원수와 평균 아파트 매매가격의 scatter 그래프 그리기 \n",
    "\n",
    "aca_sido = aca_data.groupby('시도').sum()\n",
    "\n",
    "sido_list = []\n",
    "for i in aca_sido.index:\n",
    "    sido_list.append(price_data.loc['2018-6-1'][i][i])\n",
    "      \n",
    "aca_sido['평균매매가격'] = sido_list\n",
    "\n",
    "plt.figure(figsize=(10, 7))\n",
    "plt.scatter(aca_sido['학원수'], aca_sido['평균매매가격'], color='orange', s=50)\n",
    "sns.regplot(aca_sido['학원수'], aca_sido['평균매매가격'], scatter=False, color='orange')\n",
    "plt.xlabel('학원수')\n",
    "plt.ylabel('평균아파트매매가격')\n",
    "for name in aca_sido.index:\n",
    "    plt.text(aca_sido['학원수'][name]*1.02, aca_sido['평균매매가격'][name], name, fontsize=13)\n",
    "        \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.24] 서울시의 학원 수와 평균 아파트 매매가격의 scatter 그래프 그리기 \n",
    "\n",
    "local = '서울'\n",
    "\n",
    "aca_gu = aca_data[aca_data['시도'] == local].groupby('구군').sum()\n",
    "aca_gu['평균매매가격'] = price_data.loc['2018-6-1'][local][aca_gu.index]\n",
    "aca_gu = aca_gu.dropna()\n",
    "\n",
    "plt.figure(figsize=(12, 7))\n",
    "plt.scatter(aca_gu['학원수'], aca_gu['평균매매가격'], color='orange', s=50)\n",
    "sns.regplot(aca_gu['학원수'], aca_gu['평균매매가격'], scatter=False, color='orange')\n",
    "plt.xlabel('학원수')\n",
    "plt.ylabel('평균아파트매매가격')\n",
    "for name in aca_gu.index:\n",
    "    plt.text(aca_gu['학원수'][name]*1.02, aca_gu['평균매매가격'][name], name, fontsize=13)\n",
    "        \n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.25] 서울시의 특목고 진학률과 학원수를 하나의 데이터프레임으로 병합 \n",
    "\n",
    "local = '서울'\n",
    "\n",
    "gradu_gu = graduate_data[graduate_data['시도'] == local].groupby('구군').sum()\n",
    "gradu_gu['진학률'] = gradu_gu['총합'] / gradu_gu['졸업자'] * 100\n",
    "aca_gu = aca_data[aca_data['시도'] == local].groupby('구군').sum()\n",
    "study_df = pd.merge(gradu_gu, aca_gu, how='outer', right_index=True, left_index=True)\n",
    "study_df['평균매매가격'] = pd.to_numeric(price_data.loc['2018-6-1'][local][study_df.index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# [예제 4.26] 병합한 데이터프레임으로 scatter 그래프 그리기 \n",
    "\n",
    "plt.figure(figsize=(12, 6))\n",
    "plt.scatter(study_df['진학률'], study_df['학원수'], c=study_df['평균매매가격'], s=study_df['평균매매가격']*0.001, cmap=\"YlOrRd\", alpha=0.5)\n",
    "sns.regplot(study_df['진학률'], study_df['학원수'], scatter=False, color='silver')\n",
    "plt.xlabel('특목고 진학률(%)')\n",
    "plt.ylabel('학원수')\n",
    "\n",
    "for name in study_df.index:\n",
    "    plt.text(study_df['진학률'][name]*1.01, study_df['학원수'][name], name)\n",
    "    \n",
    "plt.colorbar()\n",
    "plt.show()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}