Terkadang sebuah perusahaan besar bingung bagaimana caranya untuk menemukan insight dari data history yang dipunya dan terkadang hanya jadi pemenuh memory saja.
Bingung untuk memulai dari mana agar data history tersebut dapat memberikan suatu informasi berharga mungkin salah satu penyebabnya.
Pernah mendengar istilah CRISP-DM ?
CRISP-DM
CRISP-DM merupakan singkatan dari Cross-Industry Standard Process Model for Data Mining. Secara umum menjelaskan tentang proses data mining dalam enam tahap.
Proses ini salah satu tujuannya untuk menemukan pola yang menarik dan bermakna dalam data. Serta melibatkan beberapa disiplin ilmu, seperti Statistika, Machine Learning, Artificial Intelligence, Pattern Recognition, dan Data Mining.
Salah satu keuntungan dari menggunakan proses ini adalah menjelaskan langkah paling umum dalam proses - prosesnya.
Proses ini juga melibatkan manajer dan praktisi secara bersamaan. Dimana manajer secara garis besar memberikan arahan tujuan utama proyek yang akan dikerjakan, ketersediaan data dan model - model yang akan digunakan. Sedangkan praktisi akan bekerja sesuai dengan bidangnya dalam setiap proses yang ada, praktisi disinipun bisa terdiri dari berbagai disiplin ilmu, bisa dari matematika, statistika, ataupun teknik informatika.
1. Business Understanding
Secara garis besar untuk mendefinisikan proyek.
Ini adalah tahap pertama dalam CRISP-DM dan termasuk bagian yang cukup vital dalam proyek dan selama pengerjaan pada proses selanjutnya. Pada tahap ini membutuhkan pengetahuan dari objek bisnis, bagaimana membangun atau mendapatkan data, dan bagaimana untuk mencocokan tujuan pemodelan untuk tujuan bisnis sehingga model terbaik dapat dibangun.
2. Data Understanding
Secara garis besar untuk memeriksa data, sehingga dapat mengidentifikasi masalah dalam data.
Tahap ini memberikan fondasi analitik untuk sebuah proyek dengan membuat ringkasaan (summary) dan mengidentifikasi potensi masalah dalam data. Tahap ini juga harus dilakukan secara cermat dan tidak terburu - buru, seperti pada visualisasi data, yang terkadang insightnya sangat sulit didapat dika dihubungkan dengan summary datanya. Jika ada masalah pada tahap ini yang belum terjawab, maka akan menggangu pada tahap modeling.
Ringkasan atau summary dari data dapat berguna untuk mengkonfirmasi apakah data terdistribusi seperti yang diharapkan, atau mengungkapkan penyimpangan tak terduga yang perlu ditangani pada tahap selanjutnya, yaitu Data Preperation
Masalah dalam data biasanya seperti nilai-nilai yang hilang, outlier, berdistribusi spike, berdistribusi bimodal harus diidentifikasi dan diukur sehingga dapat diperbaiki dalam Data Preperation.
3. Data Preperation
Secara garis besar untuk memperbaiki masalah dalam data, kemudian membuat variabel derived.
Tahap ini jelas membutuhkan pemikiran yang cukup matang dan usaha yang cukup tinggi untuk memastikan data tepat untuk algoritma yang digunakan.
Bukan berarti saat Data Preperation pertama kali dimana masalah-masalah pada data sudah diselesaikan, data sudah dapat digunakan hingga tahap terakhir. Tahap ini merupakan tahap yang sering ditinjau kembali saat menemukan masalah pada saat pembangunan model. Sehingga dilakukan iterasi sampai menemukan hal yang cocok dengan data.
Tahap sampling dapat dilakukan disini dan data secara umum dibagi menjadi dua, data training dan data testing.
4. Modeling
Secara garis besar untuk membuat model prediktif atau deskriptif.
Pada tahap ini akhirnya kita dapat menggunakan Statistika dan Machine Learning untuk mendapatkan insight yang berguna dari data untuk mencapai tujuan proyek.
Beberapa modeling yang biasa dilakukan adalah classification, scoring, ranking, clustering, finding relation, characterization.
5. Evaluation
Secara garis besar untuk menilai model agar dapat melaporkan efek yang diharapkan dari model
Setelah mempunyai model, kita harus menentukan apakah sesuai dengan tujuan kita. Beberapa pertanyaan di bawah ini bisa membantu apakah model kita sudah sesuai dengan tujuan atau belum :
- Apakah cukup akurat untuk kebutuhan kita ? Apakah mengeneralisasi dengan baik ?
- Apakah model itu melakukan lebih baik daripada "tebakan beneran"? Lebih baik dari perkiraan apapun yang saat ini Anda gunakan ?
- Apakah hasil dari model (koefisien, cluster, rule) masuk akal dalam konteks masalah domain ?
6. Deployment
Secara garis besar untuk rencana penggunaan model
Tahap ini adalah tahap yang paling dihargai dari proses CRISP-DM. Perencanaan untuk Deployment dimulai selama Business Understanding dan harus menggabungkan tidak hanya bagaimana untuk menghasilkan nilai model, tetapi juga bagaimana mengkonversi skor keputusan, dan bagaimana untuk menggabungkan keputusan dalam sistem operasional.
Pada akhirnya, rencana sistem Deployment mengakui bahwa tidak ada model yang statis. Model tersebut dibangun dari data yang diwakili data pada waktu tertentu, sehingga perubahan waktu dapat menyebabkan berubahnya karakteristik data. Modelpun harus dipantau dan mungkin diganti dengan model yang sudah diperbaiki.
Bisa saya bilang, hal diatas baru kulitnya, namun belum bisa menjelaskan secara mendalam. Namun setidaknya kita sudah mendapat gambaran bagaimana membuat data yang kita punya memiliki value untuk membuat suatu hal, entah itu keputusan ataupun sebuah produk yang akan dijual.
Semoga bermanfaat :)
Sumber:
1. Applied Predictive Analytics (Dean Abbott)
2. Practical Data Science with R (Nina Zumel dan John Mount)
Secara garis besar untuk mendefinisikan proyek.
Ini adalah tahap pertama dalam CRISP-DM dan termasuk bagian yang cukup vital dalam proyek dan selama pengerjaan pada proses selanjutnya. Pada tahap ini membutuhkan pengetahuan dari objek bisnis, bagaimana membangun atau mendapatkan data, dan bagaimana untuk mencocokan tujuan pemodelan untuk tujuan bisnis sehingga model terbaik dapat dibangun.
2. Data Understanding
Secara garis besar untuk memeriksa data, sehingga dapat mengidentifikasi masalah dalam data.
Tahap ini memberikan fondasi analitik untuk sebuah proyek dengan membuat ringkasaan (summary) dan mengidentifikasi potensi masalah dalam data. Tahap ini juga harus dilakukan secara cermat dan tidak terburu - buru, seperti pada visualisasi data, yang terkadang insightnya sangat sulit didapat dika dihubungkan dengan summary datanya. Jika ada masalah pada tahap ini yang belum terjawab, maka akan menggangu pada tahap modeling.
Ringkasan atau summary dari data dapat berguna untuk mengkonfirmasi apakah data terdistribusi seperti yang diharapkan, atau mengungkapkan penyimpangan tak terduga yang perlu ditangani pada tahap selanjutnya, yaitu Data Preperation
Masalah dalam data biasanya seperti nilai-nilai yang hilang, outlier, berdistribusi spike, berdistribusi bimodal harus diidentifikasi dan diukur sehingga dapat diperbaiki dalam Data Preperation.
3. Data Preperation
Secara garis besar untuk memperbaiki masalah dalam data, kemudian membuat variabel derived.
Tahap ini jelas membutuhkan pemikiran yang cukup matang dan usaha yang cukup tinggi untuk memastikan data tepat untuk algoritma yang digunakan.
Bukan berarti saat Data Preperation pertama kali dimana masalah-masalah pada data sudah diselesaikan, data sudah dapat digunakan hingga tahap terakhir. Tahap ini merupakan tahap yang sering ditinjau kembali saat menemukan masalah pada saat pembangunan model. Sehingga dilakukan iterasi sampai menemukan hal yang cocok dengan data.
Tahap sampling dapat dilakukan disini dan data secara umum dibagi menjadi dua, data training dan data testing.
4. Modeling
Secara garis besar untuk membuat model prediktif atau deskriptif.
Pada tahap ini akhirnya kita dapat menggunakan Statistika dan Machine Learning untuk mendapatkan insight yang berguna dari data untuk mencapai tujuan proyek.
Beberapa modeling yang biasa dilakukan adalah classification, scoring, ranking, clustering, finding relation, characterization.
5. Evaluation
Secara garis besar untuk menilai model agar dapat melaporkan efek yang diharapkan dari model
Setelah mempunyai model, kita harus menentukan apakah sesuai dengan tujuan kita. Beberapa pertanyaan di bawah ini bisa membantu apakah model kita sudah sesuai dengan tujuan atau belum :
- Apakah cukup akurat untuk kebutuhan kita ? Apakah mengeneralisasi dengan baik ?
- Apakah model itu melakukan lebih baik daripada "tebakan beneran"? Lebih baik dari perkiraan apapun yang saat ini Anda gunakan ?
- Apakah hasil dari model (koefisien, cluster, rule) masuk akal dalam konteks masalah domain ?
6. Deployment
Secara garis besar untuk rencana penggunaan model
Tahap ini adalah tahap yang paling dihargai dari proses CRISP-DM. Perencanaan untuk Deployment dimulai selama Business Understanding dan harus menggabungkan tidak hanya bagaimana untuk menghasilkan nilai model, tetapi juga bagaimana mengkonversi skor keputusan, dan bagaimana untuk menggabungkan keputusan dalam sistem operasional.
Pada akhirnya, rencana sistem Deployment mengakui bahwa tidak ada model yang statis. Model tersebut dibangun dari data yang diwakili data pada waktu tertentu, sehingga perubahan waktu dapat menyebabkan berubahnya karakteristik data. Modelpun harus dipantau dan mungkin diganti dengan model yang sudah diperbaiki.
Bisa saya bilang, hal diatas baru kulitnya, namun belum bisa menjelaskan secara mendalam. Namun setidaknya kita sudah mendapat gambaran bagaimana membuat data yang kita punya memiliki value untuk membuat suatu hal, entah itu keputusan ataupun sebuah produk yang akan dijual.
Semoga bermanfaat :)
Sumber:
1. Applied Predictive Analytics (Dean Abbott)
2. Practical Data Science with R (Nina Zumel dan John Mount)
Kalau menulis tuh sebutkan sumber anda menulis, jangan asal seperti ini. Bisa menyesatkan
ReplyDeletesiap kak, sudah ditambahakn untuk referensinya.
Deletehatur nuhun