tensorflow
Gert20 opened this issue · comments
Nachricht = 'utf-8' codec can't decode byte 0xf6 in position 640: invalid start byte
Quelle =
Stapelüberwachung:
import os
import numpy as np
import tensorflow as tf
from tensorflow.keras import layers, models
from sklearn.feature_extraction.text import CountVectorizer
Pfad zum Verzeichnis mit den Textdateien
text_directory = "D:\Alle Ordner\XML_Scripte"
Liste zum Speichern der Texte aus den Textdateien
text_texts = []
Liste zum Speichern der Kategorien der Textdateien
text_categories = []
Durchsuche das Verzeichnis und lies die Textdateien ein
for filename in os.listdir(text_directory):
with open(os.path.join(text_directory, filename), 'r', encoding='utf-8') as file:
text = file.read()
# Hier könntest du die Kategorie des Textes basierend auf dem Dateinamen oder dem Inhalt bestimmen
category = "Kategorie" # Hier die entsprechende Kategorie eintragen
text_texts.append(text)
text_categories.append(category)
Tokenisierung und Vektorisierung der Texte
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(text_texts)
Erstellen des neuronalen Netzwerks
model = models.Sequential([
layers.Dense(128, activation='relu', input_shape=(X.shape[1],)),
layers.Dense(64, activation='relu'),
layers.Dense(1, activation='sigmoid')
])
Kompilieren des Modells
model.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])
Training des Modells
model.fit(X, np.array(text_categories), epochs=5, batch_size=32)
Datei einlesen:
Hallo GitHub Team, ich bekomme immer den gleichen Fehler wenn ich die Text Dateien einlesen möchte ich verwende Visual Studio 2022 mit Python 3.9(64bit) ich habe mit einen anderen script ohne tensorflow die Text Dateien eingelesen und hat funktionier nur wenn ich mit dem eingereichten script teste bekomme ich immer den gleichen Fehler angezeigt:
Nachricht = 'utf-8' codec can't decode byte 0xf6 in position 640: invalid start byte
Quelle =
Stapelüberwachung:
Können sie mit bitte helfen ich weiß mir kein Rat mehr, Danke.
LG Gert
Getestet und die Text Dateien eingelesen mit diesem Skript:
KI_liest_txt_c#_2 - Kopie.zip
I think you've created an issue under the wrong project. Open an issue under https://github.com/tensorflow/tensorflow for tensorflow support.