Wizard Book


Programming Python, Web, Android

Python: Tokenisasi Kata dan Mencari Kata Unik

Tokenisasi memotong kalimat menjadi kata dan mencari kata unik dari suatu tulisan dengan Python

d1 = "Saya sedang berkebun di halaman rumah"
d2 = "Saya berkebun di belakang rumah"
d3 = "Kamu berkebun buah-buahan"

D = [d1,d2, d3]

token_kata = []
for i in D: 
    lower = i.lower()
    token = lower.split()
    token_kata.append(token)
    print(token)
print (token_kata)

seen = set()
result_unik = []
for token in token_kata:
    for item in token:
        if item not in seen:
            seen.add(item)
            result_unik.append(item)
        
print(result_unik)

email : contohprogram.com@gmail.com
WA : +6289671400363