-
Notifications
You must be signed in to change notification settings - Fork 0
/
market_basket_analysis_using_apriori_algorithm.py
233 lines (162 loc) · 43.8 KB
/
market_basket_analysis_using_apriori_algorithm.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
# -*- coding: utf-8 -*-
"""Market Basket Analysis Using Apriori Algorithm
Automatically generated by Colaboratory.
Original file is located at
https://colab.research.google.com/drive/1l53tY3-pQ-ZpNKDxcZxtCl_t9VcpsNjN
# **Market Basket Analysis**
Market basket analysis adalah suatu metodologi untuk melakukan analisis buying habit konsumen dengan menemukan asosiasi antar beberapa item yang berbeda, yang diletakkan konsumen dalam shopping basket (keranjang belanja) yang dibeli pada suatu transaksi tertentu. Tujuan dari market basket analysis adalah untuk mengetahui produk-produk mana yang mungkin akan dibeli secara bersamaan
## **Algoritma Apriori**
Algoritma Apriori adalah suatu algoritma dasar yang diusulkan oleh Agrawal & Srikant pada tahun 1994 untuk penentuan frequent itemsets untuk aturan asosiasi boolean. Algoritma Apriori memberi kita sifat asosiatif dalam transaksi. Ini juga dikenal sebagai Aturan Asosiasi. Aturan asosiasi atau association rule adalah teknik untuk menemukan aturan asosiasi antara suatu kombinasi item. Terdapat 3 metrik untuk mengukur ketepatan aturan, yaitu :
### **1. Support**
Support adalah indikasi seberapa sering kumpulan item muncul pada dataset. Berikut perhitungan nilai support :
### **2. Confidence**
Confidence adalah suatu ukuran yang menunjukkan hubungan antar dua item secara conditional (berdasarkan suatu kondisi tertentu). Berikut perhitungan nilai confidence :
### **3. Lift**
Lift mengacu pada bagaimana peluang kedua item dibeli ketika item pertama dibeli. Berikut perhitungan nilai confidence :
---
# **Bakery Market Basket Analysis**
## **1. Import Library**
Pertama-tama mengimpor library yang akan kita gunakan untuk analisis eksplorasi data dan visualisasi data.
"""
# Commented out IPython magic to ensure Python compatibility.
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
# %matplotlib inline
"""## **2. Import Dataset**
Kita akan menggunakan data BreadBasket_DMS.csv yang bisa temen-temen download [disini](https://github.com/viktree/curly-octo-chainsaw/blob/ea4fbb632382c44af0d0b53c90f4e04496926b94/BreadBasket_DMS.csv)
Sekarang import data ke DataFrame dengan library pandas.
"""
# Commented out IPython magic to ensure Python compatibility.
import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
# %matplotlib inline
!wget https://raw.githubusercontent.com/viktree/curly-octo-chainsaw/ea4fbb632382c44af0d0b53c90f4e04496926b94/BreadBasket_DMS.csv -O dataset
# Menampilkan isi Datasets:
dataset = pd.read_csv('dataset')
dataset
"""Dari tabel diatas, menunjukkan jumlah data pada dataset terdapat 21293 baris dan 4 kolom
## **3. Data Preparation**
Pada tahapan ini kita akan memastikan tipe data yang digunakan sesuai, tidak ada nilai kosong
"""
# cek tipe data dari setiap kolom
df = pd.read_csv('dataset')
print(df.dtypes)
# mencetak 10 data pertama
print(df.head(10))
#Mencetak jumlah data item yang unik (memiliki nilai item berbeda)
jumlah_item_unik = df['Item'].nunique()
print("Jumlah data item yang unik:", jumlah_item_unik)
#Mencetak data item yang unik (memiliki nilai item berbeda)
data_item_unik = df['Item'].drop_duplicates()
print("Data item yang unik:")
for item in data_item_unik:
print(item)
# Cek missing value dan zeros
df = pd.read_csv('dataset')
print("Missing values :")
print(df.isnull().sum())
print("Zeros pada kolom :")
print((df == 0).sum())
"""Terlihat bahwa pada dataset tidak terdapat missing value dan zeros"""
# cek nilai "NONE" pada kolom Item
print("Nilai NONE pada kolom :", len(df[df['Item'] == 'NONE']))
"""Terdapat nilai 'NONE' di dataset kita. Ini bisa berarti bahwa ada item yang tidak dibeli, atau nama item tersebut tidak dicatat. Terdapat 786 data dengan nilai "None" dari total 21293. Karena data ini tidak berguna, maka bisa kita hapus saja."""
# menghapus baris dengan nilai Item = None
df = df[df['Item'] != 'NONE']
# cek perubahan yang terjadi
print("Jumlah baris setelah NONE dihapus :", len(df))
"""Jumlah baris setelah NONE dihapus : 20507
Seperti yang bisa kita lihat di atas, fitur Tanggal dan Waktu bukanlah tipe numerik. Untuk visualisasi dan pemahaman data yang lebih baik, kita bisa menambahkan beberapa fitur lagi ke DataFrame ini berdasarkan informasi dari dua fitur ini.
"""
# Year (ingat kembali penulisan function lambda)
df['Year'] = df['Date'].apply(lambda x: x.split("-")[0])
# Month
df['Month'] = df['Date'].apply(lambda x: x.split("-")[1])
# Day
df['Day'] = df['Date'].apply(lambda x: x.split("-")[2])
# cek kembali perubahan yang terjadi setelah nilai tahun, bulan dan hari ditampung di fitur baru (year, month, day)
print(df.info())
print(df.head())
"""## **4. Visualisasi dan Memahami Data**
Kita tahu bahwa dataset ini direkam dari 30/10/2016 hingga 09/04/2017. Sebelum kita masuk dalam pemodelan, kita harus mengeksplorasi dan memvisualisasikan penjualan dalam periode waktu ini. Barang apa yang paling banyak dibeli pelanggan? Bulan mana yang lebih sukses? Mari kita jawab ini secara visual.
"""
# Menghitung 20 data penjualan item terbanyak
top_items = df['Item'].value_counts().head(20)
# Mencetak 20 data penjualan item terbanyak
print("20 data penjualan item terbanyak:")
print(top_items)
transaction_count = df.groupby(by='Item')[['Transaction']].count().sort_values(by='Transaction', ascending=False)
def convert_to_percentage(x):
return 100 * x / float(x.sum())
transaction_percentage = transaction_count.apply(convert_to_percentage)
transaction_percentage.head()
# Visualisasikan data penjualan item terbanyak ke line chart dan bar chart
# Menghitung 20 data penjualan item terbanyak
top_items = df['Item'].value_counts().head(20)
# Menampilkan visualisasi data dalam bentuk line chart
plt.figure(figsize=(20,6))
plt.subplot(1,2,1)
plt.plot(top_items)
plt.title('Items Most Sold (Line Chart)')
# Menampilkan visualisasi data dalam bentuk bar chart
plt.subplot(1,2,2)
plt.barh(top_items.index, top_items.values)
plt.title('Items Most Sold (Bar Chart)')
plt.show()
"""Berdasarkan hasil visualisasi, sebutkan 3 barang yang paling banyak terjual !
=>
"""
#buat visualisasi data diagram batang dengan judul 'Monthly Sales' dengan sumbu x bulan dan sumbu y jumlah transaksi
monthly_sales = df['Month'].value_counts().sort_index()
plt.bar(monthly_sales.index, monthly_sales.values)
plt.xlabel('Month')
plt.ylabel('Number of Transactions')
plt.title('Monthly Sales')
plt.show()
"""Dari hasil visualisasi data penjualan perbulan, terlihat terjadi perbedaan penjualan yang drastis pada bulan 4 dan 10 ini disebut dengan outlier.
Untuk mengetahui lebih lanjut, kita bisa periksa untuk melihat apakah ada lebih sedikit transaksi harian yang dicatat untuk bulan-bulan ini dibandingkan dengan yang lain.
"""
print(df.groupby('Month')['Day'].nunique())
"""Pada Bulan 4 hanya tercatat 9 hari dan pada bulan 10 hanya tercatat 2 hari
## **5. Market Basket Analysis**
Pertama kita mengubah item list menjadi data transaksi dengan menggunakan TransactionEncoder.
Kita akan menggunakan frequent item-sets untuk menghasilkan aturan asosiasi dengan menggunakan algoritma Apriori.
"""
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import association_rules, apriori
"""kita membuat list transaction_list() yang unik sehingga kita dapat mengubah data kita ke dalam format yang benar"""
transaction_list = []
# For loop to create a list of the unique transactions throughout the dataset:
for i in df['Transaction'].unique():
tlist = list(set(df[df['Transaction']==i]['Item']))
if len(tlist)>0:
transaction_list.append(tlist)
print(len(transaction_list))
"""kita menggunakan TransactionEncoder untuk merubah bentuk transaction_list()"""
te = TransactionEncoder()
te_ary = te.fit(transaction_list).transform(transaction_list)
df2 = pd.DataFrame(te_ary, columns=te.columns_)
"""Sekarang kita terapkan Apriori. Kita akan menggunakan parameter min_threshold (nilai ambang batas yang ditentukan) dalam aturan asosiasi untuk metrik lift menjadi 1,0 karena jika kurang dari satu, maka kedua item tersebut kemungkinan tidak akan dibeli bersama. Kita akan mengurutkan nilai berdasarkan keyakinan untuk melihat kemungkinan suatu barang dibeli jika pendahulunya dibeli."""
frequent_itemsets = apriori(df2, min_support=0.01, use_colnames=True)
rules = association_rules(frequent_itemsets, metric="lift" , min_threshold=1.0)
metrix = pd.DataFrame(rules)
metrix[['antecedents','consequents', 'support', 'confidence', 'lift']].sort_values('lift', ascending=False)
"""# **Kesimpulan**
Penjelasan nilai-nilai metrik (support, confidence, dan lift)!
**Berdasarkan analisis dengan nilai min_support sebesar 0.01, adapun hasil beberapa aturan asosiasi yang menunjukkan item yang sering dibeli bersamaan antara lain:**
1. Coffee dan Bread.
2. Medialuna dan Coffee.
3. Pastry dan Coffee.
4. Tea dan Coffee.
**Kesimpulannya secara garis besar:**
Aturan-aturan ini menunjukkan bahwa kombinasi produk-produk tersebut memiliki tingkat kejadian yang tinggi, dan pelanggan cenderung membeli item tersebut bersamaan. Ini dapat memberikan wawasan berharga untuk strategi pemasaran, penempatan produk di toko, atau penawaran bundel yang dapat meningkatkan penjualan dan kepuasan pelanggan. Karena Algoritma Apriori membantu mengidentifikasi aturan asosiasi yang dapat memberikan wawasan tentang kecenderungan pelanggan membeli produk bersamaan.
Refrensi Serupa:
https://www.kaggle.com/code/xvivancos/market-basket-analysis
"""