chatGPT_kwangmyung_20230704.ipynb

{
  "cells": [
    {
      "cell_type": "raw",
      "metadata": {},
      "source": [
        "---\n",
        "title: \"공공데이터 이해, 데이터 활용역량\"\n",
        "subtitle: \"챗GPT와 데이터 사이언스\"\n",
        "author: \"이광춘/신종화\"\n",
        "institute: \"비영리법인 한국 R 사용자회\"\n",
        "date: 2023-07-04\n",
        "format: \n",
        "  insper-revealjs:\n",
        "    self-contained: false\n",
        "    footer: |\n",
        "      한국 R 사용자회 [chatGPT](https://r2bit.com/chatGPT/). theme [insper](https://github.com/padsInsper/quarto-insper-theme) 소스코드 [GitHub](https://github.com/padsInsper/quarto-insper-theme).\n",
        "date-format: long\n",
        "lang: ko\n",
        "filters:\n",
        "   - lightbox\n",
        "lightbox: auto\n",
        "bibliography: bibliography.bib\n",
        "csl: apa-single-spaced.csl  \n",
        "editor_options: \n",
        "  chunk_output_type: console\n",
        "---"
      ],
      "id": "aef29de0"
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "## 목차\n",
        "\n",
        "1.  강사소개 및 미트업 안내\n",
        "\n",
        "2.  (디지털) 지표로 보는 대한민국\n",
        "\n",
        "3.  공공데이터 현황\n",
        "\n",
        "4.  공공데이터 사례: 선거 공공데이터\n",
        "\n",
        "5.  \\[광명시\\] : 어린이 교통사고\n",
        "\n",
        "6.  데이터 문해력\n",
        "\n",
        "7.  (챗GPT) 데이터 과학\n",
        "\n",
        "8.  오피스 → 챗GPT 디지털 **글쓰기**\n",
        "\n",
        "9.  질의응답\n",
        "\n",
        "\n",
        "## 강사소개 & 강의 개요 {.smaller}\n",
        "\n",
        "::: panel-tabset\n",
        "### 강사소개\n",
        "\n",
        "::: {layout-ncol=\"2\"}\n",
        "### AI 아바타\n",
        "\n",
        "![](img/profile.png){.absolute top=\"0\" right=\"0\" width=\"300\"}\n",
        "\n",
        "### 주요경력 및 학력\n",
        "\n",
        "-   (현) [공익법인 한국 R 사용자회](https://r2bit.com/): 기술 이사\n",
        "\n",
        "-   (현) 국가교육위원회 전문위원: 과학/기술 분과\n",
        "\n",
        "-   (현) [건국대학교 챗GPT 데이터 사이언스 과정](https://r2bit.com/bitSlide/kunkuk_20230701.html#/title-slide): 외래교수\n",
        "\n",
        "-   (현) 경기도 빅데이터 위원회 자문위원\n",
        "\n",
        "-   (전) TCS: GS 칼텍스 디지털 아카데미 강사\n",
        "\n",
        "-   (전) 연세대학교 데이터 사이언스: 겸임교수\n",
        "\n",
        "-   (전) 삼정 KPMG: Lighthouse AI 기술총괄\n",
        "\n",
        "-   (전) 웹젠: 데이터 과학자 TD\n",
        "\n",
        "-   (전) 현대모비스: 차량용 반도체 개발구매 <br>\n",
        "\n",
        "-   (전) 현대자동차: VAATZ / FTA <br>\n",
        "\n",
        "    <br> <hr> <br>\n",
        "\n",
        "-   KAIST, CMU, 연세대 응용통계 및 컴퓨터 과학 전공\n",
        "\n",
        "-   [RStudio Instructor](https://education.rstudio.com/trainers/people/lee+kwangchun/) - Tidyverse\n",
        "\n",
        "-   [Seoul R Meetup Organizer](https://r2bit.com/seoul-r/)\n",
        ":::\n",
        "\n",
        "### 강의개요\n",
        "\n",
        "::: {layout-ncol=\"2\"}\n",
        "\n",
        "![](img/kwangmyung_logo.jpg)\n",
        "\n",
        "### 강의상세\n",
        "\n",
        "- 날짜 : 2023. 7. 04.(월) 16:00~17:30\n",
        "- 장소 : 광명시청\n",
        "- 대상 : 광명시 소속 공무원\n",
        "- 내용\n",
        "  - \"공공데이터\"\n",
        "  - \"데이터 역량강화\"\n",
        "  - \"데이터 과학\"\n",
        "  - \"사무 자동화/지능화\"\n",
        "  - \"챗GPT\"\n",
        "  - \"Text-to-X\"\n",
        "\n",
        ":::\n",
        ":::\n",
        "\n",
        "\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/seoul-r-meeup.qmd >}} -->\n",
        "\n",
        "## 4차 산업혁명을 넘어서 ...\n",
        "\n",
        "::: panel-tabset\n",
        "### 생각의 진화\n",
        "\n",
        "![](img/gg/ct-unplugged-4th-paradigm-korea.png)\n",
        "\n",
        "### 인간과 기계의 분업\n",
        "\n",
        "![[@cummings2014man]](img/gg/man-machine-role-allocation.png)\n",
        "\n",
        "### 챗GPT와 글쓰기\n",
        "\n",
        "![](img/gseek-evolution.jpg)\n",
        ":::\n",
        "\n",
        "## 디지털 뉴딜\n",
        "\n",
        "<iframe src=\"data/디지털_뉴딜.pdf\" title=\"디지털 뉴딜\" width=\"960\" height=\"600\">\n",
        "\n",
        "</iframe>\n",
        "\n",
        "::: aside\n",
        "디지털 뉴딜, 지역균형 문제 해결과 지역균형 발전방안 [@lee2020krila]\n",
        ":::\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/DT_metrics.qmd >}} -->\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/public_data.qmd >}} -->\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/public_data_election.qmd >}} -->\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/kwangmyung_school_zone.qmd >}} -->\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/public_data_literacy.qmd >}} -->\n",
        "\n",
        "# 데이터 과학\n",
        "\n",
        "## 데이터 과학 {.smaller}\n",
        "\n",
        "> 데이터 사이언스(Data Science)는 데이터를 다루는 과학이다. 따라서 자연법칙을 다루는 자연과학과 맥이 닿아있다. 자연법칙을 측정하여 데이터프레임(`DataFrame`)으로 나타내면 **변수(Variable)**, **관측점(Observation)**, **값(Value)**으로 표현된다.\n",
        "\n",
        "![](img/public/data-science-overview.png)\n",
        "\n",
        "\n",
        "## 데이터 과학 (넓은 의미)\n",
        "\n",
        "![](img/horst-eco-r4ds.png)\n",
        "\n",
        "## 데이터 과학 욕구단계설\n",
        "\n",
        "::: panel-tabset\n",
        "### 매슬로 욕구단계설\n",
        "\n",
        "![](img/pyramid-needs.png)\n",
        "\n",
        "### 가치 피라미드\n",
        "\n",
        "![](img/pyramid-data-science.png)\n",
        ":::\n",
        "\n",
        "## 가치 {.smaller}\n",
        "\n",
        "<small>\n",
        "\n",
        "<ul>\n",
        "\n",
        "<li>기술 분석(Descriptive Analytics): 무슨 일이 있었나? (What happened?)</li>\n",
        "\n",
        "<li>진단 분석(Diagnostic Analytics): 왜 일어났나? (Why did it happen?)</li>\n",
        "\n",
        "<li>예측 분석(Predictive Analytics): 무슨 일이 일어날까? (What will happen?)</li>\n",
        "\n",
        "<li>처방 분석(Prescriptive Analytics): 어떻게 그런 일을 일으킬까? (How can we make it happen?)</li>\n",
        "\n",
        "</ul>\n",
        "\n",
        "</small>\n",
        "\n",
        "![](img/public/ds-gartner.png){fig-align=\"center\" width=\"562\"}\n",
        "\n",
        "\n",
        "## 30년의 변화를 그림으로 표현\n",
        "\n",
        "![](img/public/intree-xy-f.png){fig-align=\"center\" width=\"777\"}\n",
        "\n",
        "::: aside\n",
        "[이광춘(2019-01-26), \"Data Scientist 가 바라본 제조업의 발전 전략 및 방안\", Intree 4.0 World Forum](https://statkclee.github.io/ds-authoring/intree-seminar-2019-01.html)\n",
        ":::\n",
        "\n",
        "## 데이터 경제와 산업 {.smaller}\n",
        "\n",
        "::: columns\n",
        "::: column\n",
        "### 데이터 자원\n",
        "\n",
        "![](img/public/economist-bigdata-oil.png)\n",
        ":::\n",
        "\n",
        "::: column\n",
        "### 파이프라인\n",
        "\n",
        "![](img/public/data-economy-industry.png)\n",
        ":::\n",
        ":::\n",
        "\n",
        "::: aside\n",
        "[이광춘 (2020-07-21), \"기업운영혁신을 위한 데이터 과학: 기업의 활용방안\", 포항산업과학연구원(RIST)](https://statkclee.github.io/ds-authoring/ds-rist.html)\n",
        ":::\n",
        "\n",
        "\n",
        "\n",
        "## AI/ML/DL 그리고 데이터 과학 {.smaller}\n",
        "\n",
        "<br>\n",
        "\n",
        "![](img/public/tidyvese_os.png){fig-align=\"center\" width=\"873\"}\n",
        "\n",
        "::: aside\n",
        "[한국통계학회 소식지 2019년 10월호](https://statkclee.github.io/ds-authoring/ds-stat-tidyverse.html) [@lee2019stat]\n",
        ":::\n",
        "\n",
        "## `tidyverse` {.smaller}\n",
        "\n",
        "![](img/public/maso_tidyverse.png){.smaller fig-align=\"center\" width=\"925\"}\n",
        "\n",
        "::: columns\n",
        "::: {.column .smaller}\n",
        "-   기존 자료구조를 재사용\n",
        "-   파이프 연산자로 간단한 함수를 조합\n",
        "-   함수형 프로그래밍을 적극 사용\n",
        "-   기계가 아닌 인간을 위한 설계\n",
        ":::\n",
        "\n",
        "::: column\n",
        "-   Reuse existing data structures.\n",
        "-   Compose simple functions with the pipe.\n",
        "-   Embrace functional programming.\n",
        "-   Design for humans.\n",
        ":::\n",
        ":::\n",
        "\n",
        "## 엑셀 선 넘네!!! {.smaller}\n",
        "\n",
        "::: panel-tabset\n",
        "### 세미나\n",
        "\n",
        "![](img/train-to-data.jpg)\n",
        "\n",
        "### 엑셀 구성\n",
        "\n",
        "::::: columns\n",
        "::: column\n",
        "\n",
        "-   스프레드쉬트는 데이터, 서식, 수식으로 구성된다.\n",
        "-   숫자 데이터를 엑셀로 가져오게 되면 엑셀 내장 함수를 통해 수식 계산을 수행한다.\n",
        "-   엑셀 사용자 본인 혹은 외부 사람을 위해 서식을 입히는 과정을 거쳐 비로소 완성된 스프레드쉬트가 된다.\n",
        "\n",
        ":::\n",
        "\n",
        "::: column\n",
        "\n",
        "![](img/ds-xls-data-format-logic.png){fig-align=\"center\" width=\"540\"}\n",
        "\n",
        ":::\n",
        "\n",
        ":::::\n",
        "\n",
        "### 엑셀 참사\n",
        "\n",
        "| 회사             | 손실       | 날짜     | 영향                               | 참사 개요                                |\n",
        "|------------|------------|------------|------------|-------------------------|\n",
        "| Mouchel          | £ 4.3백만  | '10.11월 | CEO 사임, 주가폭락                 | 연금펀드평가 £ 4.3백만 엑셀 오류         |\n",
        "| C&C Group        | £ 9 백만   | '09.7월  | 주가 15% 하락 등                   | 매출 3% 상승이 아니고 5% 하락, 엑셀 오류 |\n",
        "| King 펀드        | £ 130 백만 | '11.05월 | 브래드 이미지 하락                 | 웨일즈 지방 NHS 지출 엑셀 오류           |\n",
        "| AXA Rosenberg    | £ 150 백만 | '11.02월 | 은폐, 벌금, 브래드 이미지 하락     | 엑셀 오류를 감춰서 \\$242 백만 벌금       |\n",
        "| JP Morgan Chase  | £ 250 백만 | '13.01월 | 명성, 고객 신뢰도 저하             | 바젤 II VaR 위험 평가 엑셀 오류          |\n",
        "| Magellan 펀드    | £ 1.6 십억 | '95.01월 | 투자자에게 약속한 배당금 지급 못함 | 음수 부호 누락으로 자본이득 과대계상     |\n",
        "| 미연방준비위원회 | £ 2.5 십억 | '10.10월 | 명확하지 않음                      | 리볼빙 카드 신용액 산출 과정에 엑셀 오류 |\n",
        "\n",
        "\n",
        "### 복잡성\n",
        "\n",
        "<br> <br> <br> ![](img/ds-xls-algo-complexity.png)\n",
        "\n",
        "\n",
        "### 6가지 이유\n",
        "\n",
        "::::: columns\n",
        "::: column\n",
        "\n",
        "> #### 스프레드쉬트 사용 이유\n",
        ">\n",
        "> -   항상 엑셀을 사용했다: 항상 데이터를 엑셀로 저장하고 분석해서 사용했다. 하지만, 버튼 하나로 데이터를 내보내기 쉽다.\n",
        "> -   데이터베이스를 사용할 만큼 데이터가 충분하지 않다: 데이터가 작아서 데이터베이스를 사용할 이유를 찾지 못하지만, 사업이 커지고, 업무량이 늘어나면서 엑셀 작업량이 높아지고, 복잡성도 커지고, 엑셀 자체에서 처리되는 시간도 늘어난다.\n",
        "\n",
        ":::\n",
        "\n",
        "::: column\n",
        "\n",
        "#### 엑셀 &rarr; 다른 도구 \n",
        "\n",
        "1.  한번에 한사람만 작업이 가능하다.\n",
        "2.  데이터 감사는 데이터베이스에서만 가능\n",
        "3.  데이터베이스는 정형화된 작업흐름을 지원한다.\n",
        "4.  데이터베이스는 엑셀보다 모형을 보다 잘 지원한다.\n",
        "5.  데이터베이스로 보고서 생성이 수월하다.\n",
        "6.  데이터베이스는 보안이 강력하고 규제하기 좋다."
      ],
      "id": "cc125eab"
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "---\n",
        "\n",
        "7.  R은 시각화와 통계 데이터 전처리에 좋다.\n",
        "8.  파이썬은 AI 기능 도입에 좋다.\n",
        "9.  Git/GitHub 은 재현성과 버젼제어에 좋다.\n",
        "\n",
        ":::\n",
        "\n",
        ":::::\n",
        "\n",
        "### 엑셀 &rarr; 챗GPT\n",
        "\n",
        "\n",
        "![](img/excel_to_ai.jpg)\n",
        "\n",
        ":::\n",
        "\n",
        "\n",
        "::: aside\n",
        "[스터디 뽀개기 7월 (2016-07-30), 분석행(Train to data-analysis)](https://onoffmix.com/event/73626), [탈옥(jailbreakr) -- 엑셀에서 탈출... 자유](https://statkclee.github.io/data-science/ds-xls.html), [\"위기의 스프레드쉬트\"](https://statkclee.github.io/data-science/ds-why-not-excel.html), [THE DIRTY DOZEN 12 MODELLING HORROR STORIES & SPREADSHEET DISASTERS](http://blogs.mazars.com/the-model-auditor/files/2014/01/12-Modelling-Horror-Stories-and-Spreadsheet-Disasters-Mazars-UK.pdf)\n",
        ":::\n",
        "\n",
        "\n",
        "## openAI 마이크로소프트 3 대장 + $\\alpha$\n",
        "\n",
        "![](img/openai-three-pillars.png)\n",
        "\n",
        "## chatGPT 3대장\n",
        "\n",
        "::: panel-tabset\n",
        "### 최강 3대장 {.unnumbered}\n",
        "\n",
        "![](img/big_three_original.png){width=\"800\"}\n",
        "\n",
        "### `chatGPT` 3대장 {.unnumbered}\n",
        "\n",
        "![](img/big_three_chatGPT.png){width=\"800\"}\n",
        "\n",
        "### --- {.unnumbered}\n",
        "\n",
        "### 글쓰기 {.unnumbered}\n",
        "\n",
        "![](img/chatgpt_writing.gif){width=\"700\"}\n",
        "\n",
        "### 그리기 {.unnumbered}\n",
        "\n",
        "![](img/chatGPT_visual.gif){width=\"700\"}\n",
        "\n",
        "### 코딩 {.unnumbered}\n",
        "\n",
        "![](img/chatGPT_coding.gif){width=\"700\"}\n",
        ":::\n",
        "\n",
        "## chatGPT 3대장 + $\\alpha$ 추론\n",
        "\n",
        "::: panel-tabset\n",
        "### 문제\n",
        "\n",
        "#### 디오판토스 묘비\n",
        "\n",
        "신의 축복으로 태어난 그는 인생의 $\\frac{1}{6}$을 소년으로 보냈다. 그리고 다시 인생의 $\\frac{1}{12}$ 이 지난 뒤에는 얼굴에 수염이 자라기 시작했다. 다시 $\\frac{1}{7}$이 지난 뒤 그는 아름다운 여인을 맞이하여 화촉을 밝혔으며, 결혼한 지 5년 만에 귀한 아들을 얻었다. 아! 그러나 그의 가엾은 아들은 아버지의 반 밖에 살지 못했다. 아들을 먼저 보내고 깊은 슬픔에 빠진 그는 그 뒤 4년간 정수론에 몰입하여 스스로를 달래다가 일생을 마쳤다. \\[\\^1\\]\n",
        "\n",
        "### 수식\n",
        "\n",
        "디오판토스가 정확히 언제 태어나고 언제 죽었는지는 명확하지 않지만, 그가 죽었을 때의 나이는 정확히 알 수 있다. 이를 방정식을 통해 풀어보자. 수식을 $x$에 대해 정리해서 풀면 84가 나온다.\n",
        "\n",
        "$$\\frac {x} {6} + \\frac {x} {12} + \\frac {x} {7} +  5 + \\frac {x} {2} + 4 = x$$\n",
        "\n",
        "### 손 풀기\n",
        "\n",
        "![](img/inference_hand.jpg){width=\"486\"}\n",
        "\n",
        "### `Sympy`"
      ],
      "id": "78a88bb5"
    },
    {
      "cell_type": "code",
      "metadata": {},
      "source": [
        "#| echo: true\n",
        "#| eval: false\n",
        "from sympy import *\n",
        "x = Symbol('x')\n",
        "Diophantus_puzzle = x/6 + x/12 + x/7 + 5 + x/2 + 4 - x\n",
        "solve(Diophantus_puzzle, x, dict = True)"
      ],
      "id": "ec7766eb",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {},
      "source": [
        "```\n",
        "[{x: 84}]\n",
        "```\n",
        "\n",
        "### `chatGPT`\n",
        "\n",
        "![](img/inference_gpt4.jpg){width=\"400\"}\n",
        "\n",
        "### Wolfram Plugin\n",
        "\n",
        "::: columns\n",
        "::: column\n",
        "![](img/wolfram_alpha.jpg){width=\"400\"}\n",
        ":::\n",
        "\n",
        "::: column\n",
        "![](img/wolfram_alpha_website.jpg){width=\"400\"}\n",
        ":::\n",
        ":::\n",
        "\n",
        "[울프람 웹사이트](https://www.wolframalpha.com/input?i=x%2F6+%2B+x%2F12+%2B+x%2F7+%2B+5+%2B+x%2F2+%2B+4+%3D+x)\n",
        ":::\n",
        "\n",
        "## AutoGPT: Text-to-Task\n",
        "\n",
        "<br>\n",
        "\n",
        "{{< video https://user-images.githubusercontent.com/70048414/232352935-55c6bf7c-3958-406e-8610-0913475a0b05.mp4 height=\"500\" >}}\n",
        "\n",
        "::: aside\n",
        "-   [Auto-GPT: An Autonomous GPT-4 Experiment](https://github.com/Significant-Gravitas/Auto-GPT)\n",
        ":::\n",
        "\n",
        "## 데이터 분석: Text-to-Analytics\n",
        "\n",
        "::: panel-tabset\n",
        "### PandasAI\n",
        "\n",
        "[Pandas AI](https://github.com/gventuri/pandas-ai)는 널리 사용되는 데이터 분석 및 조작 도구인 Pandas에 생성 인공 지능 기능을 추가한 Python 라이브러리다. [Pandas AI](https://github.com/gventuri/pandas-ai)는 판다스와 함께 사용하도록 설계되었으며, 판다스를 대체할 수 없다.\n",
        "\n",
        "<br>\n",
        "<br>\n",
        "\n",
        "-   [chatGPT: 판다스 AI](https://r2bit.com/chatGPT/pandasai.html)\n",
        "\n",
        "### LlamaIndex\n",
        "\n",
        "![](img/llama-penguins.jpg){width=\"1274\"}\n",
        "\n",
        "-   [chatGPT: 펭귄 - 라마인덱스](https://r2bit.com/chatGPT/llama_penguins.html)\n",
        "\n",
        "### 챗GPT SQL\n",
        "\n",
        "![](img/sql_workflow.jpg){width=\"1274\"}\n",
        "\n",
        "-   [chatGPT: 챗GPT SQL](https://r2bit.com/chatGPT/sql_openai.html)\n",
        "\n",
        "### RTutor.ai\n",
        "\n",
        "{{< video https://youtube.com/shorts/n4G8UuLc0Bs?feature=share height=\"300\" >}}\n",
        "\n",
        "- [Chat with your data with RTutor](https://youtube.com/shorts/n4G8UuLc0Bs?feature=share)\n",
        "- [RTutor](http://rtutor.ai/)\n",
        "\n",
        ":::\n",
        "\n",
        "\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/office-interface.qmd >}} -->\n",
        "\n",
        "<!-- {{< include slideshow/202307_kwangmyung/30-digital-writing.qmd >}} -->\n",
        "\n",
        "# 참고문헌\n",
        "\n",
        "::: {#refs}\n",
        ":::\n"
      ],
      "id": "125e1329"
    }
  ],
  "metadata": {
    "kernelspec": {
      "name": "python3",
      "language": "python",
      "display_name": "Python 3 (ipykernel)"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}