Scrapping_sido_delivery_info.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 날짜별로 여러 파일 이름으로 저장되어 있음\n",
    "- 2020.01-2021.09 : 등기소포(창구, 택배)\n",
    "- 2021.10-2023.10 : 방문소포, 등기소포\n",
    "- 단) 저장되어 있는 폴더가 다르므로 잘 확인할 것"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "# 1. Pagenation\n",
    "for page in range(0, 10):\n",
    "    url=\"https://www.koreapost.go.kr/user/bbs/kpost/114/4255/bbsDataList.do?page={}&column=&search=&searchSDate=&searchEDate=&bbsDataCategory=\".format(page)\n",
    "    res=requests.get(url)\n",
    "    soup=BeautifulSoup(res.text, \"html.parser\")\n",
    "    titles=soup.findAll(\"a\", \"list_bbsDataTitle\")\n",
    "    # 2. 해당 페이지의 제목에 대해(월별 시도별 우편분류 접수 및 배달정보)\n",
    "    for title in titles:\n",
    "        href=title.attrs['href']\n",
    "        titlestrip=title.text.strip()\n",
    "\n",
    "        res2=requests.get(\"https://www.koreapost.go.kr\"+title.attrs['href'])\n",
    "        soup2=BeautifulSoup(res2.text, \"html.parser\")\n",
    "        downlists=soup2.findAll(\"ul\", \"bbsFileList\")[0].findAll(\"li\")\n",
    "\n",
    "        for downlist in downlists:\n",
    "            downname=downlist.findAll(\"a\")[0].text.strip()\n",
    "            # 3. 등기소포, 방문소포에 해당하는 것만 다운로드\n",
    "            if downname[0:11] in [\"우정사업본부_등기소포\", \"우정사업본부_방문소포\"] or downname[0:13] in [\"우정사업본부_시도별 등기\", \"우정사업본부_시도별 방문\"] or downname[3:16] in [\"우정사업본부_시도별 등기\", \"우정사업본부_시도별 방문\"] or downname[:13] in [\"우정사업본부_우편물류정보\"] or downname[0:14] in [\"우편물류 접수 및 배달정보\"]:\n",
    "                href2=downlist.findAll(\"a\")[0].attrs['href']\n",
    "                downloadurl=\"https://www.koreapost.go.kr\"+href2\n",
    "                print(downname)\n",
    "                local_filepath = \"D:/programmers-devcourse/project2/우정사업본부/\"+downname\n",
    "                response = requests.get(downloadurl)\n",
    "\n",
    "                # 요청이 성공적으로 이루어졌는지 확인(상태 코드 200).\n",
    "                if response.status_code == 200:\n",
    "                    # 로컬 파일을 이진 쓰기 모드로 열고 응답의 내용을 파일에 씁니다.\n",
    "                    with open(local_filepath, 'wb') as file:\n",
    "                        file.write(response.content)\n",
    "                    print(\"파일 다운로드 성공.\")\n",
    "                else:\n",
    "                    print(f\"파일 다운로드 실패. 상태 코드: {response.status_code}\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## zip 폴더를 모두 압축풀기\n",
    "- 한글이 깨지는 문제가 발생하여 patool 라이브러리를 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "!pip install patool"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import patoolib"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_all_zip_filenames(folder_path):\n",
    "    # folder_path: zip 파일 이름을 얻고자 하는 폴더의 경로\n",
    "\n",
    "    # 폴더 내의 모든 파일 리스트\n",
    "    all_files = [f for f in os.listdir(folder_path) if os.path.isfile(os.path.join(folder_path, f))]\n",
    "\n",
    "    # 확장자가 \".zip\"인 파일들만 필터링\n",
    "    zip_files = [f for f in all_files if f.lower().endswith('.zip')]\n",
    "\n",
    "    return zip_files"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def unzip_all_folders(base_folder, output_folder):\n",
    "    # base_folder: 압축을 해제할 폴더의 경로\n",
    "\n",
    "    # zip 파일 이름을 얻고자 하는 폴더의 경로를 지정\n",
    "    folder_path = 'D:/programmers-devcourse/project2/우정사업본부/'\n",
    "    # base_folder 내의 모든 폴더 리스트\n",
    "    folders = get_all_zip_filenames(folder_path)\n",
    "\n",
    "    # 각 폴더에 대해 압축을 해제\n",
    "    for folder in folders:\n",
    "        zip_file = os.path.join(base_folder, folder)\n",
    "        output_folder_full = os.path.join(output_folder, folder)\n",
    "\n",
    "        # CP949로 명시적으로 지정하여 디코딩\n",
    "        patoolib.extract_archive(zip_file, outdir=output_folder_full, verbosity=-1, interactive=False)\n",
    "\n",
    "# 압축을 해제할 기본 폴더 경로를 지정\n",
    "base_folder_path = 'D:/programmers-devcourse/project2/우정사업본부/'\n",
    "output_folder_path = 'D:/programmers-devcourse/project2/우정사업본부-압축해제/'\n",
    "\n",
    "# 함수 호출\n",
    "unzip_all_folders(base_folder_path, output_folder_path)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 데이터 전처리 수행\n",
    "- 폴더이름 중 '창구, 택배, 방문, 등기' 문구가 포함되어 있지 않으면 폴더 하위에서 위의 문구가 포함된 폴더를 찾아 base_folder_path에 위치\n",
    "- 연월별로 '창구, 택배, 방문, 등기' 문구가 포함되어 있는 2개의 폴더를 남기고 나머지는 삭제\n",
    "- 특이하게 일부 지역의 경우 중량(g), 중량 // 부피(cm), 부피혼용해서 사용(전처리 필요)\n",
    "- 연도월별로 모든지역을 통합해서 하나의 csv파일로 저장"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_all_subfolders(folder_path):\n",
    "    subfolders = [f.path for f in os.scandir(folder_path) if f.is_dir()]\n",
    "    return subfolders\n",
    "\n",
    "def get_all_files(folder_path):\n",
    "    all_files = [f for f in os.listdir(folder_path) if os.path.isfile(os.path.join(folder_path, f))]\n",
    "    return all_files"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import os\n",
    "from tqdm import tqdm\n",
    "\n",
    "# 압축을 해제할 기본 폴더 경로를 지정\n",
    "base_folder_path = 'D:/programmers-devcourse/project2/우정사업본부-압축해제/'\n",
    "output_folder_path = 'D:/programmers-devcourse/project2/우정사업본부-전처리/'\n",
    "\n",
    "folder_name_list=get_all_subfolders(base_folder_path)\n",
    "for folder_name in folder_name_list:\n",
    "    output_file_name=\"\"\n",
    "    date=\"\"\n",
    "    if \"창구\" in folder_name:\n",
    "        output_file_name=\"Registered(counter)_Information\"\n",
    "    elif \"택배\" in folder_name:\n",
    "        output_file_name=\"Registered(delivery)_Information\"\n",
    "    elif \"방문\" in folder_name:\n",
    "        output_file_name=\"Visit_Information\"\n",
    "    elif \"등기\" in folder_name:\n",
    "        output_file_name=\"Registered_Information\"\n",
    "    else:\n",
    "        print(\"ERRRRRRRR\")\n",
    "        print(folder_name)\n",
    "        pass\n",
    "    file_list=get_all_files(folder_name)\n",
    "    try:\n",
    "        result=pd.read_csv(folder_name+\"/\"+file_list[0], encoding='utf-8')\n",
    "    except UnicodeDecodeError:\n",
    "        try:\n",
    "            # 다른 인코딩 시도 (예: cp1252)\n",
    "            result=pd.read_csv(folder_name+\"/\"+file_list[0], encoding='cp949')\n",
    "        except UnicodeDecodeError:\n",
    "            # 여러 가지 인코딩을 시도할 수도 있습니다.\n",
    "            print(f\"Failed to read file: {file}\")\n",
    "\n",
    "    result.dropna(inplace=True)\n",
    "    if result.columns[-1]=='부피(cm)':\n",
    "        result.rename(columns={'중량(g)':'중량','부피(cm)':'부피'}, inplace=True)\n",
    "    print(result.columns)\n",
    "    print(folder_name)\n",
    "    for file in tqdm(file_list[1:], desc=\"파일 처리 중\", leave=False):\n",
    "        try:\n",
    "            csv = pd.read_csv(os.path.join(folder_name, file), encoding='utf-8')\n",
    "        except UnicodeDecodeError:\n",
    "            try:\n",
    "                # 다른 인코딩 시도\n",
    "                csv = pd.read_csv(os.path.join(folder_name, file),encoding='cp949')\n",
    "            except UnicodeDecodeError:\n",
    "                # 여러 가지 인코딩을 시도할 수도 있습니다.\n",
    "                print(f\"Failed to read file: {file}\")\n",
    "        if csv.columns[-1]=='부피(cm)':\n",
    "            csv.rename(columns={'중량(g)':'중량','부피(cm)':'부피'}, inplace=True)\n",
    "        csv.dropna(inplace=True)\n",
    "        result = pd.concat([result, csv], ignore_index=True)\n",
    "    result_agg=result.groupby(['접수일자', '접수지역', '배달지역', '내용품']).agg({'중량': ['count', 'sum'], '부피':'sum'})\n",
    "    result_agg=result_agg.reset_index().sort_values(by=['접수일자', '접수지역', '배달지역', '내용품'], ascending=True)\n",
    "    result_agg.columns = [' '.join(col).strip() for col in result_agg.columns.values]\n",
    "    date+=str(result_agg.loc[0, '접수일자'][0:4])+str(result_agg.loc[0, '접수일자'][5:7])\n",
    "    result_agg.rename(columns={'접수일자':'receipt_date','접수지역': 'departure_area', '배달지역': 'destination_area', \"내용품\":\"category\", \"중량 sum\":\"total_weight\", \"부피 sum\":\"total_volume\", \"중량 count\":\"total_deliveries\"}, inplace=True)\n",
    "    print(\"------------------------\")\n",
    "    print(output_folder_path+date+output_file_name)\n",
    "    result_agg.to_csv(output_folder_path+date+output_file_name+'.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "모든 파일 하나로 저장"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}