Seoul-MatZip-2019.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 시사플러스 2019 서울맛집 지도화\n",
    "\n",
    "### 현재 위치에서 가까운 맛집을 [mz.moim.at](https://mz.moim.at)에서 확인하실 수 있습니다. (위치 권한 필요)\n",
    "\n",
    "## 개요\n",
    "\n",
    "* [시사플러스 '2019 서울맛집' 기사](http://m.sisaplusnews.com/news/articleView.html?idxno=22423)의 맛집들을 지도 위에 표시하는 프로젝트입니다.\n",
    "* 정확한 위치를 표시하기보다는 카테고리별 맛집의 분포 등을 재미삼아 보는 것을 목표로 하였습니다.\n",
    "* 이 프로젝트는 [Chang-Joo Park](https://github.com/ChangJoo-Park)님께서 먼저 제안하시고 GeoJSON 사용법 등을 보여주시는 것으로 시작하였습니다.\n",
    "* 잘못된 정보나 기능 추가는 [Issue](https://github.com/9bow/Seoul-MatZip-2019/issues) 또는 [Pull Request](https://github.com/9bow/Seoul-MatZip-2019/pulls) 부탁드립니다.\n",
    "\n",
    "## 정제\n",
    "\n",
    "* 기초 데이터는 [시사플러스 '2019 서울맛집'](http://m.sisaplusnews.com/news/articleView.html?idxno=22423)에서 가져왔습니다.\n",
    "* ~~전체 데이터 중 `1. 평양냉면`부터 `45. 돼지고기`까지 가져왔으며, 이후 데이터는 수작업이 많을 것 같아 따로 정제하지 않았습니다.~~\n",
    "* `1. 평양냉면`부터 `56. 중국집`까지 전체 데이터를 가져왔습니다. (2019/04/25 수정)\n",
    "* 기초 데이터는 `동 이름` (` - ` `역 이름`) ` - ` `음식점 이름` (` - ` `기타`) 형태로 정리하였으며, 가게명만 있는 경우 모두 제외하였습니다.\n",
    "  * (`45. 돼지고기` 및 `46~50`의 지역음식, `56. 중국집`의 경우 소제목을 `기타`에 포함시켰습니다.)\n",
    "* 각 행은 따로 정제하지 않았으나, 훑어보다가 확인한 일부 오류들은 수정하였습니다.\n",
    "  * 예. `서초동 - 교대역 - 만경생태양재동 - 양재역 - 원산생태`, `여의도도 ㅇ- 여의도력 - 햇살도시락` 등\n",
    "\n",
    "## 검색\n",
    "\n",
    "* 식당 검색에는 [Kakao 지도/로컬 API](https://developers.kakao.com/features/platform#%EC%A7%80%EB%8F%84-%EB%A1%9C%EC%BB%AC)를 사용하였습니다.\n",
    "  * [키워드로 장소 검색 API](https://developers.kakao.com/docs/restapi/local#%ED%82%A4%EC%9B%8C%EB%93%9C-%EA%B2%80%EC%83%89)를 사용하였고, 검색 시 음식점 카테고리(FD6)로 검색하였습니다.\n",
    "  * `동 이름`과 `음식점 이름`으로 검색하였으며 `음식점 이름`에 괄호가 있는 경우 괄호 및 괄호 안의 내용은 무시합니다.\n",
    "  * 검색 결과의 첫번째 값을 사용하였으며 없는 경우에는 무시합니다.\n",
    "* [GeoJSON](https://tools.ietf.org/html/rfc7946) 형태로 정리하였습니다.\n",
    "\n",
    "## 코드\n",
    "\n",
    "* 데이터 검색을 위한 전체 코드는 [Seoul-MatZip-2019.ipynb](https://nbviewer.jupyter.org/github/9bow/Seoul-MatZip-2019/blob/master/Seoul-MatZip-2019.ipynb)에서 보실 수 있습니다.\n",
    "  * Python 코드이며, 실행을 하기 위해서는 Jupyter Notebook과 Kakao API Key가 필요합니다.\n",
    "* [mz.moim.at](https://mz.moim.at)의 소스코드는 GitHub 저장소의 [docs/](https://github.com/9bow/Seoul-MatZip-2019/tree/master/docs)에서 보실 수 있습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "import json\n",
    "import requests\n",
    "from copy import deepcopy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"raw/raw_all.json\", \"r\", encoding=\"utf-8\") as raw_data:\n",
    "    matzip_raw = json.load(raw_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "url = \"http://dapi.kakao.com/v2/local/search/keyword.json\"\n",
    "\n",
    "params = {\n",
    "    \"category_group_code\":\"FD6\",\n",
    "    \"query\":\"\"\n",
    "}\n",
    "\n",
    "headers = {\n",
    "    'Authorization': \"KakaoAK ###_KAKAO_API_KEY_###\",\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "geojson_proto = {\n",
    "    \"type\": \"FeatureCollection\",\n",
    "    \"features\": []\n",
    "}\n",
    "\n",
    "geoitem_proto = {\n",
    "  \"type\": \"Feature\",\n",
    "  \"geometry\": {\n",
    "    \"type\": \"Point\",\n",
    "    \"coordinates\": [0, 0]\n",
    "  },\n",
    "  \"properties\": {}\n",
    "}\n",
    "\n",
    "categories = matzip_raw.keys()\n",
    "\n",
    "ex_ptrn = re.compile('\\(.*?\\)')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Writing 'geo/평양냉면.geojson'...done\n",
      "Writing 'geo/메밀국수(소바).geojson'...done\n",
      "Writing 'geo/막국수.geojson'...done\n",
      "Writing 'geo/콩국수.geojson'...done\n",
      "Writing 'geo/국밥,해장국.geojson'...done\n",
      "Writing 'geo/설렁탕.geojson'...done\n",
      "Writing 'geo/감자탕.geojson'...done\n",
      "Writing 'geo/순대.geojson'...done\n",
      "Writing 'geo/닭볶음탕.geojson'...done\n",
      "Writing 'geo/추어탕.geojson'...done\n",
      "Writing 'geo/육개장.geojson'...done\n",
      "Writing 'geo/대구탕.geojson'...done\n",
      "Writing 'geo/김밥.geojson'...done\n",
      "Writing 'geo/김치찌개.geojson'...done\n",
      "Writing 'geo/부대찌개.geojson'...done\n",
      "Writing 'geo/청국장.geojson'...done\n",
      "Writing 'geo/된장.geojson'...done\n",
      "Writing 'geo/간장게장.geojson'...done\n",
      "Writing 'geo/삼계탕.geojson'...done\n",
      "Writing 'geo/보쌈.geojson'...done\n",
      "Writing 'geo/족발.geojson'...done\n",
      "Writing 'geo/치킨.geojson'...done\n",
      "Writing 'geo/돈까스.geojson'...done\n",
      "Writing 'geo/함박스테이크.geojson'...done\n",
      "Writing 'geo/떡볶이.geojson'...done\n",
      "Writing 'geo/라면.geojson'...done\n",
      "Writing 'geo/라멘.geojson'...done\n",
      "Writing 'geo/우동.geojson'...done\n",
      "Writing 'geo/튀김.geojson'...done\n",
      "Writing 'geo/순두부,두부.geojson'...done\n",
      "Writing 'geo/피자.geojson'...done\n",
      "Writing 'geo/아이스크림,젤라또.geojson'...done\n",
      "Writing 'geo/갓포요리집.geojson'...done\n",
      "Writing 'geo/죽.geojson'...done\n",
      "Writing 'geo/덮밥,백반,벤또(도시락).geojson'...done\n",
      "Writing 'geo/꼬치구이,로바다야끼.geojson'...done\n",
      "Writing 'geo/냉동삼겹살.geojson'...done\n",
      "Writing 'geo/기사식당.geojson'...done\n",
      "Writing 'geo/스테이크,BBQ.geojson'...done\n",
      "Writing 'geo/칼국수.geojson'...done\n",
      "Writing 'geo/수제맥주,맥주맛있는곳.geojson'...done\n",
      "Writing 'geo/아구찜.geojson'...done\n",
      "Writing 'geo/생선구이&조림.geojson'...done\n",
      "Writing 'geo/돼지갈비.geojson'...done\n",
      "Writing 'geo/돼지고기.geojson'...done\n",
      "Writing 'geo/유럽음식.geojson'...done\n",
      "Writing 'geo/중동음식.geojson'...done\n",
      "Writing 'geo/아프리카음식.geojson'...done\n",
      "Writing 'geo/북중남미.geojson'...done\n",
      "Writing 'geo/아시아음식.geojson'...done\n",
      "Writing 'geo/기네스.geojson'...done\n",
      "Writing 'geo/사케.geojson'...done\n",
      "Writing 'geo/몰트위스키.geojson'...done\n",
      "Writing 'geo/칵테일.geojson'...done\n",
      "Writing 'geo/막걸리.geojson'...done\n",
      "Writing 'geo/중국집.geojson'...done\n",
      "Writing 'geo/전체 맛집.geojson'...\n",
      "Done\n"
     ]
    }
   ],
   "source": [
    "total_json = deepcopy(geojson_proto)\n",
    "total_json_filename = \"geo/전체 맛집.geojson\"\n",
    "\n",
    "for cate in categories:\n",
    "    filename = \"geo/{}.geojson\".format(cate.replace(' ', ''))\n",
    "    dupl_chk = set()\n",
    "    tmp_json = deepcopy(geojson_proto)\n",
    "    tmp_list = []\n",
    "\n",
    "    print(\"Writing '{}'...\".format(filename), end=\"\")\n",
    "    for matzip in matzip_raw[cate]:\n",
    "        items = matzip.split(\" - \")\n",
    "\n",
    "        if len(items) == 1:\n",
    "            continue\n",
    "        elif len(items) == 2:\n",
    "            query = items[0] +\" \"+ re.sub(ex_ptrn, \"\", items[1])\n",
    "        elif len(items) >= 3:\n",
    "            query = items[0] +\" \"+ re.sub(ex_ptrn, \"\", items[2])\n",
    "\n",
    "        params['query'] = query\n",
    "        response = requests.request(\"GET\", url, headers=headers, params=params)\n",
    "        data = response.json()\n",
    "\n",
    "        if len(data['documents']) < 1:\n",
    "            continue\n",
    "\n",
    "        if data['documents'][0]['id'] in dupl_chk:\n",
    "            continue\n",
    "        else:\n",
    "            dupl_chk.add(data['documents'][0]['id'])\n",
    "\n",
    "        geoitem = deepcopy(geoitem_proto)\n",
    "        geoitem['geometry']['coordinates'] = [float(data['documents'][0]['x']), float(data['documents'][0]['y'])]\n",
    "        geoitem['properties']['pid'] = data['documents'][0]['id']\n",
    "        geoitem['properties']['name'] = data['documents'][0]['place_name']\n",
    "        geoitem['properties']['phone'] = data['documents'][0]['phone']\n",
    "        geoitem['properties']['source'] = matzip\n",
    "        geoitem['properties']['address'] = data['documents'][0]['road_address_name']\n",
    "        geoitem['properties']['website'] = data['documents'][0]['place_url']\n",
    "        geoitem['properties']['category'] = cate\n",
    "        \n",
    "        tmp_list.append(geoitem) \n",
    "\n",
    "    tmp_json['features'] = tmp_list\n",
    "    total_json['features'].append(tmp_list)\n",
    "\n",
    "    with open(filename, \"w\", encoding=\"utf-8\") as json_file:\n",
    "        json_file.write(json.dumps(tmp_json, indent=1, ensure_ascii=False))\n",
    "        print(\"done\")\n",
    "\n",
    "with open(total_json_filename, \"w\", encoding=\"utf-8\") as total_json_file:\n",
    "    print(\"Writing '{}'...\".format(total_json_filename))\n",
    "    total_json_file.write(json.dumps(total_json, indent=1, ensure_ascii=False))\n",
    "\n",
    "print(\"Done\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 결과 (GeoJSON 형태)\n",
    "\n",
    "* [**전체 맛집**](geo/전체%20맛집.geojson) (파일이 커서 느릴 수 있습니다.)\n",
    "\n",
    "* [평양냉면](geo/평양냉면.geojson)\n",
    "* [메밀국수(소바)](geo/메밀국수(소바).geojson)\n",
    "* [막국수](geo/막국수.geojson)\n",
    "* [콩국수](geo/콩국수.geojson)\n",
    "* [국밥,해장국](geo/국밥,해장국.geojson)\n",
    "* [설렁탕](geo/설렁탕.geojson)\n",
    "* [감자탕](geo/감자탕.geojson)\n",
    "* [순대](geo/순대.geojson)\n",
    "* [닭볶음탕](geo/닭볶음탕.geojson)\n",
    "* [추어탕](geo/추어탕.geojson)\n",
    "* [육개장](geo/육개장.geojson)\n",
    "* [대구탕](geo/대구탕.geojson)\n",
    "* [김밥](geo/김밥.geojson)\n",
    "* [김치찌개](geo/김치찌개.geojson)\n",
    "* [부대찌개](geo/부대찌개.geojson)\n",
    "* [청국장](geo/청국장.geojson)\n",
    "* [된장](geo/된장.geojson)\n",
    "* [간장게장](geo/간장게장.geojson)\n",
    "* [삼계탕](geo/삼계탕.geojson)\n",
    "* [보쌈](geo/보쌈.geojson)\n",
    "* [족발](geo/족발.geojson)\n",
    "* [치킨](geo/치킨.geojson)\n",
    "* [돈까스](geo/돈까스.geojson)\n",
    "* [함박스테이크](geo/함박스테이크.geojson)\n",
    "* [떡볶이](geo/떡볶이.geojson)\n",
    "* [라면](geo/라면.geojson)\n",
    "* [라멘](geo/라멘.geojson)\n",
    "* [우동](geo/우동.geojson)\n",
    "* [튀김](geo/튀김.geojson)\n",
    "* [순두부,두부](geo/순두부,두부.geojson)\n",
    "* [피자](geo/피자.geojson)\n",
    "* [아이스크림,젤라또](geo/아이스크림,젤라또.geojson)\n",
    "* [갓포요리집](geo/갓포요리집.geojson)\n",
    "* [죽](geo/죽.geojson)\n",
    "* [덮밥,백반,벤또(도시락)](geo/덮밥,백반,벤또(도시락).geojson)\n",
    "* [꼬치구이,로바다야끼](geo/꼬치구이,로바다야끼.geojson)\n",
    "* [냉동삼겹살](geo/냉동삼겹살.geojson)\n",
    "* [기사식당](geo/기사식당.geojson)\n",
    "* [스테이크,BBQ](geo/스테이크,BBQ.geojson)\n",
    "* [칼국수](geo/칼국수.geojson)\n",
    "* [수제맥주,맥주맛있는곳](geo/수제맥주,맥주맛있는곳.geojson)\n",
    "* [아구찜](geo/아구찜.geojson)\n",
    "* [생선구이&조림](geo/생선구이&조림.geojson)\n",
    "* [돼지갈비](geo/돼지갈비.geojson)\n",
    "* [돼지고기](geo/돼지고기.geojson)\n",
    "* [유럽음식](geo/유럽음식.geojson)\n",
    "* [중동음식](geo/중동음식.geojson)\n",
    "* [아프리카음식](geo/아프리카음식.geojson)\n",
    "* [북중남미](geo/북중남미.geojson)\n",
    "* [아시아음식](geo/아시아음식.geojson)\n",
    "* [기네스](geo/기네스.geojson)\n",
    "* [사케](geo/사케.geojson)\n",
    "* [몰트위스키](geo/몰트위스키.geojson)\n",
    "* [칵테일](geo/칵테일.geojson)\n",
    "* [막걸리](geo/막걸리.geojson)\n",
    "* [중국집](geo/중국집.geojson)\n",
    "\n",
    "## 결과 (지도 형태)\n",
    "\n",
    "* 현재 위치에서 가까운 맛집을 [mz.moim.at](https://mz.moim.at)에서 확인하실 수 있습니다. (위치 권한 필요)\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}