Skip to content

낚시성 기사 데이터 탐지 (2022, bflysoft & NIA) by DSBA lab.

License

Notifications You must be signed in to change notification settings

TooTouch/Fake-News-Detection-Dataset

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Fake-News-Detection-Dataset

한국어 가짜 뉴스 탐지 데이터셋에 대한 baseline 실험 결과

Enviroments

  • python 3.6.10
torch==1.8.0a0+17f8c32
konlpy==0.6.0
einops
gluonnlp==0.10.0
wandb==0.12.18
transformers==4.18.0
git+https://[email protected]/SKTBrain/KoBERT.git@master

Computer Resources

  • CPU: i7-9800X
  • GPU: RTX 2080Ti x 2
  • RAM: 64GB
  • SSD: 2TB x 2
  • OS: ubuntu 18.04

1. docker image

  1. docker hub를 통해서 docker image pull 하는 방법
docker pull dsbalab/fake_news
  1. Dockerfile을 통해서 docker image 설치 방법

docker image 생성 시 word-embedding와 Part1과 Part2에 대한 checkpoints 가 함께 생성

cd ./docker
docker build -t $image_name .

2. Korean word-embeddings

본 프로젝트에서는 한국어 word embedding 모델로 Mecab을 사용

Directory Tree

Fake-News-Detection-Dataset
.
├── data
│   ├── Part1
│   │   ├── train
│   │   │   ├── Clickbait_Auto
│   │   │   │   ├── EC
│   │   │   │   ├── ET
│   │   │   │   ├── GB
│   │   │   │   ├── IS
│   │   │   │   ├── LC
│   │   │   │   ├── PO
│   │   │   │   └── SO
│   │   │   ├── Clickbait_Direct
│   │   │   └── NonClickbait_Auto
│   │   ├── validation
│   │   └── train
│   └── Part2
│   │   ├── train
│   │   ├── validation
│   │   └── train
├── docker
├── docs
├── LICENSE
├── part1_title
├── part2_context
├── README.md
└── requirements.txt

Data

./data에는 다음과 같은 데이터 폴더 구조로 구성되어 있음

image

Part 1: 제목 - 본문 일치성 [ Part1 ]

Baseline Models

  • HAND1
  • FNDNet2
  • BERT3

Part 2: 주제 분리 탐지 [ Part2 ]

Baseline Models

  • BERT4
  • KoBERTSeg5

Reference

Footnotes

  1. Jeong, H. (2021). Hierarchical Attention Networks for Fake News Detection (Doctoral dissertation, The Florida State University).

  2. Kaliyar, R. K., Goswami, A., Narang, P., & Sinha, S. (2020). FNDNet–a deep convolutional neural network for fake news detection. Cognitive Systems Research, 61, 32-44.

  3. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT (1), 4171-4186

  4. 전재민, 최우용, 최수정, & 박세영. (2019). BTS: 한국어 BERT 를 사용한 텍스트 세그멘테이션. 한국정보과학회 학술발표논문집, 413-415.

  5. 소규성, 이윤승, 정의석, & 강필성. (2022). KoBERTSEG: 한국어 BERT 를 이용한 Local Context 기반 주제 분리 방법론. 대한산업공학회지, 48(2), 235-248.