Tahap
Reproresing Text Maining
Pengertian Text
Maining yaitu,penerapan konsep dan tehnik data mining untuk
mencari pola dalam texs, proses penganalisaan teks guna menemukan informasi
yang bermanfaat untuk tujuan tertentu. sedangkan Text Preprocesing merupakan
tahapan dari proses awal terhadap text untuk mempersiapkan teks menjadi data
yang akan diolah lebih lanjut.
berikut ini proses
penjelasan tahapan Text Preprocessing:
1. 1. Tokenisasi
Tokenisasi adalah proses
pemotongan sebuah dokumen menjadi bagian-bagian, yang disebut dengan token.
Pada saat bersamaan token juga membuang beberapa karakter tertentu yang
dianggap sebagai tanda baca.
1. 2. Case-folding
Case-folding adalah
proses penyamaan case dalam sebuah dokumen. Ini dilakukan untuk mempermudah
pencarian.
Tidak semua dokumen teks
konsisten dalam penggunaan huruf capital. Oleh kerena itu peran case-folding
dibutuhkan dalam mengkonversi keseluruhan teks dalam dokumen menjadi suatu
bentuk standar (biasanya huruf kecil).
1. 3. Filtering
Filtering berguna untuk
menghilangkan karakter-karakter yang dianggap tidak valid (karakter angka dan
symbol)
1. 4. Stop-word
removal
Stopping atau stoplist
removal adalah proses penghilangan kata-kata yang tidak berkontribusi banyak
pada isi dokumen (Yates dan Nito, 1999).
Kata-kata yang termasuk
stopword dihilangkan karena memberikan pengaruh tidak baik dalam pencarian
dokumen yang dikehendaki user, seperti kata-kata “dan, dari, kemudian, yang,
di, ke, aku, kamu, dia dan lain-lain.
1. 5. Stemming
Stemming adalah suatu
proses pengembalian suatu kata berimbuhan kebentuk dasarnya. Stemming adalah
alat pemprosesan teks dasar yang sering digunakan untuk mendapat kinerja dan
efektif dan efisien pada teks retrieval dan teks classification. Namun pada
halnya stopping, kinerja stemming juga bervariasi dan sering bergantung
pada domain bahasa yang digunakan.
Contoh penerapan Text Maining dalam kehidupan sehari-hari
- Information retrieval: pencarian dokumen
- Klasifikasi dokumen: membagi dokumen ke dalam kelas-kelas yang telah ditentukan sebelumnya. Misalnya secara otomatis dapat menentukan apakah dokumen ini masuk ke dalam kategori politik, ekonomi, militer dan lain sebagainya.
- Document Clustering: mirip dengan klasifikasi dokumen, hanya saja kelas dokumen tidak ditentukan sebelumnya. Misalnya berita tentang lalulintas dapat menjadi satu kelas dengan berita tentang kriminal karena didalamnya banyak memuat tentang orang yang tewas, cedera, rumah sakit dsb.
- Peringkasan teks. Menghasilkan ringkasan suatu dokumen secara otomatis.
- Ekstraksi informasi. Mengekstrak informasi yang dianggap penting dari suatu dokumen. Misalnya pada dokumen lowongan, walaupun memiliki format beragam dapat diekstrak secara otomatis job title, tingkat pendidikan, penguasaan bahasa dsb.
