OnurArdaB/pytorch-cbow

from google.colab import drive
drive.mount("gdrive")

Drive already mounted at gdrive; to attempt to forcibly remount, call drive.mount("gdrive", force_remount=True).

import re
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import string
import nltk
nltk.download('punkt')
from nltk.tokenize import word_tokenize, sent_tokenize
nltk.download('stopwords')
from nltk.corpus import stopwords
stopwords = set(stopwords.words('turkish'))
from typing import List

import torch.nn

[nltk_data] Downloading package punkt to /root/nltk_data...
[nltk_data]   Package punkt is already up-to-date!
[nltk_data] Downloading package stopwords to /root/nltk_data...
[nltk_data]   Package stopwords is already up-to-date!

I am going to use a turkish news dataset.

train_df = pd.read_csv("/content/gdrive/MyDrive/CS-445/train.csv",index_col=[0])

WINDOW_SIZE = 3  # 3 words to the left, 3 to the right
CORPUS = train_df["text"].to_list()[1000:1010]

def prune(text="",punc=string.punctuation.replace(".",""),stopwords=stopwords,lower=True)->List[str]:
  ''' 
    This function initially prunes a text from punctuation and stopwords and finally tokenizes a text.
    Parameters:
      text: (str) This is the text that will be processed.
      
      punc: (str) This is a string of punctuation characters. 
      Default is string.punctuation.
      
      stopwords: (List[str]) This is a list of turkish stop word strings.
      Default is nltk.stopwords.

    Returns:
      tmp: (List[str]) This is a list of tokenized and pruned text as string.
  '''
  for p in punc:
    text = text.replace(p," ")
  text = text.lower() if(lower) else text
  tokenized = word_tokenize(text)
  tmp = []
  for token in tokenized:
    if(token not in stopwords):
      tmp.append(token)
  return tmp

First we should process corpus such that resulting output should be a list of tokens with order.

prune(text=CORPUS[0])

['suriye',
 'resmi',
 'haber',
 'ajansı',
 'sana',
 'amerika',
 'birleşik',
 'devletleri',
 'abd',
 'başkanı',
 'barack',
 'obama',
 'nın',
 'açıkladığı',
 'işi̇d',
 'stratejisini',
 'teröre',
 'destek',
 'olarak',
 'yorumladı',
 '.',
 'sana',
 'nın',
 'haberinde',
 'obama',
 'nın',
 'açıklamalarının',
 'suriye',
 'deki',
 'krizin',
 'siyasi',
 'çözümünün',
 'önünü',
 'tıkadığı',
 'savunuldu',
 '.',
 'haberde',
 'washington',
 'un',
 'bölgede',
 'özellikle',
 'suriye',
 'terörü',
 'destekleyen',
 'politikaları',
 'ülkedeki',
 'krize',
 'çözüm',
 'bulunması',
 'konusunda',
 'önemli',
 'engel',
 'teşkil',
 'ediyor',
 '.',
 'washington',
 'yönetimi',
 'bir',
 'yandan',
 'krizin',
 'çözülmesini',
 'istiyor',
 'bir',
 'yandan',
 'suriye',
 'mücadele',
 'eden',
 'teröristlere',
 'mal',
 'silah',
 'yardımı',
 'yapılması',
 'konusunda',
 'kararlar',
 'çıkartıyor',
 'denildi',
 '.',
 'haberde',
 'ayrıca',
 'washington',
 'çelişen',
 'politikaları',
 'konumuyla',
 'terörle',
 'mücadeleyi',
 'ciddiye',
 'almadığını',
 'gösteriyor',
 '.',
 'terör',
 'örgütlerinin',
 'bir',
 'kısmına',
 'savaş',
 'ilan',
 'edilirken',
 'abd',
 'kongresi',
 'nden',
 'işi̇d',
 'kadar',
 'suçlu',
 'olan',
 'suriyeli',
 'muhaliflerin',
 'silahlandırılması',
 'konusunda',
 'onay',
 'alınmaya',
 'çalışılıyor',
 'ifadeleri',
 'kullanıldı',
 '.',
 'suriye',
 'rejiminden',
 'dışişleri',
 'bakanlığından',
 'obama',
 'nın',
 'açıklamalarıyla',
 'ilgili',
 'resmi',
 'bir',
 'açıklama',
 'yapılmadı',
 '.',
 'obama',
 'işi̇d',
 'e',
 'karşı',
 'sistematik',
 'hava',
 'saldırıları',
 'düzenleyeceklerini',
 'belirtmiş',
 'kapsamda',
 'irak',
 'taki',
 'hava',
 'saldırılarını',
 'sadece',
 'amerikan',
 'personelini',
 'koruma',
 'insani',
 'yardım',
 'amaçlı',
 'olmanın',
 'ötesine',
 'taşıyacaklarını',
 'kaydetmişti',
 '.',
 'obama',
 'dolayısıyla',
 'irak',
 'güçleri',
 'hücumda',
 'olurken',
 'işi̇d',
 'hedeflerini',
 'vuracağız',
 '.',
 'dahası',
 'şuna',
 'açıklık',
 'getiriyorum',
 'ülkemizi',
 'tehdit',
 'eden',
 'teröristleri',
 'olurlarsa',
 'olsunlar',
 'ele',
 'geçireceğiz',
 '.',
 'suriye',
 'irak',
 'ta',
 'teröristlere',
 'karşı',
 'harekete',
 'geçmekte',
 'tereddüt',
 'etmeyeceğim',
 'anlamına',
 'geliyor',
 '.',
 'benim',
 'başkanlığımın',
 'ana',
 'ilkesi',
 'amerika',
 'yı',
 'tehdit',
 'ediyorsanız',
 'sığınacak',
 'güvenli',
 'bir',
 'yer',
 'bulamayacaksınız',
 'demişti',
 '.',
 'abd',
 'başkanı',
 'obama',
 'kongre',
 'ye',
 'suriyeli',
 'muhaliflere',
 'fazla',
 'ekipman',
 'sağlanması',
 'eğitim',
 'verilmesi',
 'kendisine',
 'ek',
 'yetki',
 'kaynak',
 'sağlaması',
 'çağrısında',
 'bulunmuştu',
 '.']

PROCESSED_CORPUS = []
for text in CORPUS:
  PROCESSED_CORPUS.extend(prune(text=text))

vocabulary = set(PROCESSED_CORPUS)
vocabulary_size = len(vocabulary)

list(vocabulary)[:20]

['umarım',
 'favori',
 'birleşik',
 'gösteriyor',
 'geldi',
 'bugüne',
 'futbolcuya',
 'görüntülendi',
 'dedi',
 'madridli',
 'takım',
 'luciano',
 'erdemit',
 'hatasına',
 'karşısına',
 'küçümsemeyin',
 'harcanacağına',
 'anları',
 'gurur',
 'haberinde']

word2index = {word: i for i, word in enumerate(vocabulary)}
data = [] # Will contain the focus and context words
for i in range(3, len(PROCESSED_CORPUS) - 3):
    context = [
               PROCESSED_CORPUS[i - 3], 
               PROCESSED_CORPUS[i - 2], 
               PROCESSED_CORPUS[i - 1],
               PROCESSED_CORPUS[i + 1], 
               PROCESSED_CORPUS[i + 2],
               PROCESSED_CORPUS[i + 3], 
               ]

    target = PROCESSED_CORPUS[i]
    data.append((context, target))

print("Context:" , data[0][0])
print("Target:" , data[0][1])

Context: ['suriye', 'resmi', 'haber', 'sana', 'amerika', 'birleşik']
Target: ajansı

We are trying to obtain a special format where there exists a focues no

def make_context_vector(context, word2index):
    idxs = [word2index[w] for w in context]
    return torch.tensor(idxs, dtype=torch.long)

make_context_vector(data[0][0],word2index)

tensor([1012,  891,  933, 1129,  868,    2])

data[0][0]

['suriye', 'resmi', 'haber', 'sana', 'amerika', 'birleşik']

class CBOW(torch.nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(CBOW, self).__init__()

        self.embeddings = torch.nn.Embedding(vocab_size, embedding_dim)
        self.linear1 = torch.nn.Linear(embedding_dim, 128)
        self.activation_function1 = torch.nn.ReLU()
        
        self.linear2 = torch.nn.Linear(128, vocab_size)
        self.activation_function2 = torch.nn.LogSoftmax(dim = -1)
        

    def forward(self, inputs):
        embeds = sum(self.embeddings(inputs)).view(1,-1)
        out = self.linear1(embeds)
        out = self.activation_function1(out)
        out = self.linear2(out)
        out = self.activation_function2(out)
        return out

    def word_emdedding(self, word):
        word = torch.tensor([word2index[word]])
        return self.embeddings(word).view(1,-1)

model = CBOW(vocabulary_size, 2)

loss_function = torch.nn.NLLLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)

for epoch in range(50):
    total_loss = 0

    for context, target in data:
        context_vector = make_context_vector(context, word2index)  
        log_probs = model(context_vector)        
        total_loss += loss_function(log_probs, torch.tensor([word2index[target]]))

    optimizer.zero_grad()
    total_loss.backward()
    optimizer.step()

plt.figure(figsize=(20, 20))
for word in list(word2index.keys())[:60]:
  coord = model.word_emdedding(word)
  plt.scatter(coord[0][0].item(), coord[0][1].item())
  plt.annotate(word, (coord[0][0].item(), coord[0][1].item()))

OnurArdaB / pytorch-cbow

About