KekikNLP: NLP Eğitimi İçin Bir Başlangıç

Bu proje, dil işleme (NLP) konusunda temel bilgisi olmayan kişilere yönelik bir eğitim aracı olarak tasarlanmıştır.

Projenin Amacı

KekikNLP, dil işleme görevlerinde kullanılabilecek bir araçtır. Özellikle metin sınıflandırma konusunda temel bilgileri pratiğe dökmek isteyenler için ideal bir başlangıçtır.

Projenin Yapısı

├── Dil/
│   ├── etkisiz_kelimeler.txt
│   └── __init__.py
├── Veriler/
│   └── islenmemis_veri.csv
├── model_egit.py
├── model_kullan.py
└── requirements.txt

Kullanılan Teknolojiler ve Kütüphaneler

Bu projede temel Python programlama dili kullanılmıştır. Ayrıca, dil işleme ve makine öğrenimi görevleri için aşağıdaki kütüphanelerden yararlanılmıştır:

pandas: Veri analizi ve manipülasyonu için.
imbalanced-learn: Dengesiz veri kümelerini dengelemek için.
scikit-learn: Makine öğrenimi modeli eğitimi ve değerlendirmesi için.
joblib: Eğitilmiş modelleri disk üzerinde saklamak için.

Veri Seti Yapısı

Projenizde kullanılan ana veri seti islenmemis_veri.csv dosyasıdır. Bu dosya, metin yorumlarını ve bu yorumların etiketlerini içerir.

Not: Bu eğitimde veri seti örnek olarak sunulmuştur. Kendi verilerinizle veya ihtiyaçlarınıza göre bu yapıyı değiştirebilirsiniz. Ancak, kodların sorunsuz çalışabilmesi için sütun adlarını korumanız önerilir.

Başlangıç

Gereksinimler

pip install -Ur requirements.txt

Modeli Eğitme

python model_egit.py

Akış Şeması

Veri Hazırlama

Bu aşamada, veri seti diskten okunur ve makine öğrenimi modelinin eğitimi için uygun bir formata getirilir.

Önişleme

Verinin kalitesini artırmak ve modelin daha iyi sonuçlar elde etmesini sağlamak için gerçekleştirilen adımlardır. Örneğin; küçük harfe dönüştürme, gereksiz kelimeleri çıkarma, noktalama işaretlerini temizleme gibi işlemler bu aşamada yapılır.

Etiket Dengeleme

Veri setinde bazı sınıfların diğerlerine göre daha fazla örnek içermesi durumunda, bu sınıfların dengeye getirilmesi gerekmektedir. Bu, modelin bütün sınıfları eşit şekilde tanıması için önemlidir.

Eğitim ve Test Kümelerinin Ayrılması

Veri seti, modelin eğitimi için kullanılacak bir eğitim kümesi ve modelin performansının değerlendirilmesi için kullanılacak bir test kümesine ayrılır.

Sayma Vektörü (Count Vectorizer)

Metin verisini, her kelimenin kaç kere geçtiğini temsil eden bir vektöre dönüştürür.

TF-IDF Vektörü

Terim Frekansı - Ters Belge Frekansı (TF-IDF) olarak bilinir. Metin içerisindeki kelimelerin ne kadar önemli olduğunu belirlemek için kullanılır.

MultinomialNB (Çok Terimli Naive Bayes)

Metin sınıflandırma gibi görevlerde sıkça kullanılan bir istatistiksel sınıflandırma algoritmasıdır.

LogisticRegression (Lojistik Regresyon)

Verinin ait olduğu sınıfın olasılığını tahmin etmek için kullanılan bir sınıflandırma algoritmasıdır.

LinearSVC (Doğrusal Destek Vektör Makinesi)

Veri noktalarını iki sınıfa ayıran en iyi doğruyu (veya hiper düzlemi) bulmaya çalışan bir sınıflandırma algoritmasıdır.

RandomForestClassifier (Rastgele Orman Sınıflandırıcısı)

Birden fazla karar ağacının kombinasyonunu kullanarak çalışan bir sınıflandırma algoritmasıdır.

Modeli Kullanma

python model_kullan.py

Öneriler ve Tavsiyeler

Eğer dil işleme konusunda daha derinlemesine bilgi sahibi olmak isterseniz, çeşitli online kaynaklardan ve kurslardan yararlanabilirsiniz. Ayrıca bu projeyi kendi ihtiyaçlarınıza göre özelleştirerek daha karmaşık NLP projeleri geliştirebilirsiniz.

💸 Bağış Yap

☕️ Kahve Ismarla

🌐 Telif Hakkı ve Lisans

GNU GENERAL PUBLIC LICENSE Version 3, 29 June 2007 Koşullarına göre lisanslanmıştır..

♻️ İletişim

Benimle iletişime geçmek isterseniz, Telegram'dan mesaj göndermekten çekinmeyin; @keyiflerolsun

@KekikAkademi için yazılmıştır..

keyiflerolsun / NLP_Yenir_Mi