Decision Tree
Decision tree merupakan metode non parametrik yang digunakan untuk klasifikasi dan regresi. Tujuan dari decision tree adalah membuat model yang memprediksi nilai variabel target dengan mengikuti aturan keputusan sederhana dari fitur data yang tersedia
- Decision Tree adalah jenis white box algoritma dalam machine learning yang menggunakan internal decision making logic. Hal ini tidak terdapat dapat pada jenis black box algoritma yaitu neural network. Waktu pengambilan data training decision tree lebih cepat dibandingkan Neural Network.
- Fungsi Kompleksitas Decision Tree adalah fungsi dari jumlah yang records serta atribut dalam data yang diberikan.
- memilih atribut terbaik menggunakan Attribution Selection Measures (ASM) untuk membagi records data
- membuat atribut menjadi decision node dan memecah dataset menjadi subsets yang lebih kecil.
- Mulai membangun pohon dengan mengulangi proses ini secara rekursif, untuk setiap cabang sampai salah satu dari kondisi tersebut akan cocok
- Attribute selection measure is a heuristik dalam pemilihan kriteria splitting bagian-bagian data menjadi aturan yang sesuai. Hal ini juga menjadikan acuan splitting karena membantu kita untuk mengetahui breakpoint pada tuples yang diberikan oleh node. ASM memberikan tingkatan pada setiap fitur dengan menjelaskan dataset yang diberikan. Nilai terbaik dari fitur akan dipilih sebagai fitur splitting. Contoh attribute selection measures adalah Informasi Gain, Rasio Gain, Indeks Gini.
- Mudah dipahami dan diintrepetasikan
- Membutuhkan sedikit persiapan data. Teknik lain sering membutuhkan normalisasi data, variabel dummy perlu dibuat dan nilai- nilai kosong harus dihapus. Namun perlu dicatat bahwa modul ini tidak mendukung nilai yang hilang
- Dapat digunakan untuk validasi model menggunakan tes statistik. Itu memungkinkan untuk memperhitungkan keandalan model.
- Mampu menyelesaikan masalah multi-output.
- Learner Decision Tree dapat membuat bagan terlalu rumit yang tidak menggeneralisasikan data dengan baik. Ini disebut overfitting. Mekanisme seperti pemangkasan (saat ini tidak didukung), pengaturan jumlah sampel minimum yang diperlukan pada simpul daun atau pengaturan kedalaman maksimum pohon diperlukan untuk menghindari masalah ini.
- Decision tree menjadi tidak stabil karena variasi kecil dalam data yang menghasilkan pohon yang berbeda. Solusi masalah ini dengan menggunakan Decision tree dalam sebuah ensemble.
- Learner Decision tree keputusan membuat pohon bias jika beberapa kelas mendominasi. Oleh karena itu disarankan untuk menyeimbangkan dataset sebelum disesuaikan dengan pohon keputusan
import pandas as pd
from sklearn.datasets import load_breast_cancer
bc=load_breast_cancer()
df= pd.DataFrame(bc.data, columns=bc.feature_names)
df['diagnosis']=bc.target
df
import matplotlib.pyplot as plt
%matplotlib inline
df.iloc[:,:10].plot(kind='bar');
X=df.iloc[:,:10]
from sklearn.preprocessing import Normalizer
ss=Normalizer()
x=ss.fit_transform(X)
y=pd.DataFrame(x)
y
y.plot(kind='bar')
- Decision tree menggabungkan antara data numerik dengan voting data(yes/or no)
- Decision tree dimulai dari atas turun kebawah hingga tidak ada jawaban lagi, dari sini baru kita bisa mengklasifikasikan
- Bagian yang teratas sendiri disebut root dan cabangnya adalah node
Decision tree memiliki 2 jenis node
- setiap node internal merupakan pertanyaan yang terdapat dalam fitur. Hal ini merupakan hasil cabang yang berdasarkan jawaban
- internal node memiliki panah yang mengarah ke dia sendiri dan ke luar internal node
- Setiap node leaves merupakan label kelompok yang ditentukan oleh suara terbanyak dari training data yang mencapai leaves tersebut
- leaves memiliki panah yang mengarah ke leaves sendiri, tapi tidak memiliki panah yang keluar
- Dalam kedua kasus decision tree cost function mencoba untuk menemukan cabang yang paling homogen, atau cabang yang memiliki kelompok dengan respons yang sama. Hal ini lebih meyakinkan bahwa input data uji akan mengikuti jalur tertentu.
Regression : sum(y — prediction)²
- Sebagai contoh akan memprediksi harga rumah. Decision tree akan memulai splitting dengan merekam setiap fitur yang ada di training data. Nilai mean merupakan respon dari input training data bagian dari grup, Hal ini digunakan sebagai nilai prediksi Persamaan diatas diapplikasikan pada semua poin data and cost pada semua bagian splitting. Split dengan nilai cost paling kecil yang dipilih
Classification : G = sum(pk * (1 — pk))
- Nilai Gini memberikan informasi mengenai bagaimana kualitas dari splitdengan melihat seberapa acak respon kelas yang berada dalam kelompok splitting. Pk adalah proporsi dari input kelas yang sama dan ditunjukkan dalam bagian grup. Kelas yang baik terbentuk kemurnian ketika suatu grup terdiri dari semua input dari kelas yang sama. Hal ini nilai Pk adalah 1 atau 0 sedangkan G=0.
DecisionTreeClassifier adalah metode yang mampu melakukan klasifikasi multi-kelas pada dataset.
Parameters:
- criterion : string, optional (default=”gini”) Fungsi untuk mengukur kualitas split. Kriteria yang didukung adalah "gini" untuk ketidakmurnian Gini dan "entropi" untuk perolehan informasi
- splitter : string, optional (default=”best”) Strategi yang digunakan untuk memilih split di setiap node. Strategi yang didukung adalah "terbaik" untuk memilih split terbaik dan "acak" untuk memilih split acak terbaik.
- max_depth : int or None, optional (default=None) Kedalaman maksimum pohon. Jika tidak ada, maka node diperluas sampai semua daun murni atau sampai semua daun mengandung kurang dari sampel min_samples_split
- min_samples_split : int, float, optional (default=2) Jumlah sampel minimum yang diperlukan untuk membelah node internal: Jika int, maka pertimbangkan min_samples_split sebagai angka minimum.Jika float, maka min_samples_split adalah sebagian kecil dan ceil (min_samples_split * n_samples) adalah jumlah sampel minimum untuk setiap pemisahan
- min_samples_leaf : int, float, optional (default=1) Jumlah minimum sampel yang diperlukan berada pada leaf node. Titik perpecahan pada kedalaman apa pun hanya akan dipertimbangkan jika meninggalkan training sampel pelatihan min_samples_leaf di masing-masing cabang kiri dan kanan. Ini mungkin memiliki efek model yang rapi, terutama dalam regresi. Jika int, maka pertimbangkan min_samples_leaf sebagai angka minimum. Jika float, maka min_samples_leaf adalah pecahan dan ceil (min_samples_leaf * n_samples) adalah jumlah sampel minimum untuk setiap node.
min_weight_fraction_leaf : float, optional (default=0.) Fraksi total minimum dari jumlah total bobot (dari semua sampel input) yang diperlukan berada pada simpul daun. Sampel memiliki bobot yang sama ketika sample_weight tidak disediakan.
- max_features : int, float, string or None, optional (default=None) Jumlah fitur yang perlu dipertimbangkan saat mencari pemisahan terbaik:
If int, then consider max_features features at each split. If float, then max_features is a fraction and int(max_features * n_features) features are considered at each split. If “auto”, then max_features=sqrt(n_features). If “sqrt”, then max_features=sqrt(n_features). If “log2”, then max_features=log2(n_features). If None, then max_features=n_features.
- random_state : int, RandomState instance or None, optional (default=None) Jika int, random_state adalah seed yang digunakan oleh generator angka acak; Jika instance RandomState, random_state adalah pembuat angka acak; Jika tidak ada, generator angka acak adalah turunan RandomState yang digunakan oleh np.random.
- max_leaf_nodes : int or None, optional (default=None) Tumbuhkan pohon dengan max_leaf_nodes dengan mode best-first. Node terbaik didefinisikan sebagai pengurangan relatif dalam data pencilan. Jika tidak ada maka jumlah node daun yang tidak terbatas.
- classes_ : array of shape = [n_classes] Label kelas (masalah output tunggal), atau daftar array label kelas (masalah multi-output).
featureimportances : array of shape = [n_features] Kembalikan kepentingan fitur.
- maxfeatures : int, Nilai yang disimpulkan dari max_features.
- nclasses : int or list Jumlah kelas (untuk masalah output tunggal), atau daftar yang berisi jumlah kelas untuk setiap output (untuk masalah multi-output).
- nfeatures : int Jumlah fitur saat fit dilakukan.
- noutputs: int Jumlah output saat fit dilakukan.
- tree_ : Tree object Objek Tree yang mendasarinya. Silakan merujuk ke bantuan (sklearn.tree._tree.Tree) untuk atribut objek tree dan Memahami struktur decision tree untuk penggunaan dasar atribut ini.
Seperti pengklasifikasi lain, DecisionTreeClassifier mengambil input dua array: array X, jarang atau padat, dengan ukuran [n_samples, n_fatures] memegang data training, dan array Y dari nilai integer, ukuran [n_samples], memegang label kelas untuk data training:
from sklearn import tree
from sklearn.datasets import load_iris
iris=load_iris()
X=iris.data
Y=iris.target
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X, Y)
Setelah dipasang, model kemudian dapat digunakan untuk memprediksi kelas sampel:
Y
clf.predict([X[60,:]])
Probabilitas masing-masing kelas dapat diprediksi, yang merupakan sebagian kecil dari data training dari kelas yang sama dalam leaves:
DecisionTreeClassifier mampu klasifikasi biner (di mana labelnya [-1, 1]) dan klasifikasi multiclass (di mana labelnya adalah klasifikasi [0,…, K-1])
from sklearn.datasets import load_iris
from sklearn import tree
iris = load_iris()
clf = tree.DecisionTreeClassifier()
clf = clf.fit(iris.data, iris.target)
Plot tree dengan fungsi plot_tree:
plt.figure(figsize=(18,9))
tree.plot_tree(clf.fit(iris.data, iris.target));
Eksportir export_graphviz juga mendukung berbagai opsi estetika, termasuk pewarnaan node berdasarkan kelas mereka (atau nilai untuk regresi) dan menggunakan variabel eksplisit dan nama kelas jika diinginkan. Notebook Jupyter juga membuat plot ini sebaris secara otomatis:
import graphviz
dot_data = tree.export_graphviz(clf, out_file=None, feature_names=iris.feature_names,
class_names=iris.target_names,filled=True, rounded=True,
special_characters=True)
graph = graphviz.Source(dot_data)
graph
Klasifikasi Decision Tree langkah-perlangkah dapat dilihat di video berikut:
Decision Tree juga dapat diterapkan untuk masalah regresi, menggunakan kelas DecisionTreeRegressor. Seperti dalam pengaturan klasifikasi, metode fit akan dianggap sebagai array argumen X dan y, hanya saja dalam hal ini y diharapkan memiliki nilai floating point juga nilai integer:
from sklearn import tree
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
clf = tree.DecisionTreeRegressor()
clf = clf.fit(X, y)
clf.predict([[1, 1]])
- Decision Tree Classifier targetnya adalah untuk mengklasifikasikan sesuai dengan kategori atau kelompok tertentu, contoh penumpang yang selamat atau mati.
- Decision Tree Reggresion direpresentasikan dengan cara yang sama, hanya saja mereka memprediksi nilai terus menerus seperti harga rumah.
- Devi. R. A, Nirmala. K. Prediction of Decision Tree :Attribute selection measure, 2013
- J.R. Quinlan. C4. 5: programs for machine learning. Morgan Kaufmann, 1993.
- L. Breiman, J. Friedman, R. Olshen, and C. Stone. Classification and Regression Trees. Wadsworth, Belmont, CA, 1984.
- T. Hastie, R. Tibshirani and J. Friedman. Elements of Statistical Learning, Springer, 2009.