llm-random / llm-random

Home Page:https://llm-random.github.io/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Integration test

sebastianjaszczur opened this issue · comments

W repozytorium brakuje unit-testów, i tego łatwo się nie naprawi. Ale to co możemy zrobić, to jakiś standardowy skrypt do testowania kilku modeli. Czyli:

  • mały model, mały batch
  • GPU lub brak, bez znaczenia
  • kilka podstawowych configów, najlepiej takie aktualne na którym nam zależy
  • może z 10 kroków treningowych i 2 evale.

Fajnie by było też coś jakoś zalogować, ale to dużo mniej ważne. Bardziej się przejmuję czy takie zmiany jak w #64 nie breakują reinita w jakiś subtelny sposób.

W repozytorium brakuje unit-testów, i tego łatwo się nie naprawi. Ale to co możemy zrobić, to jakiś standardowy skrypt do testowania kilku modeli. Czyli:

* mały model, mały batch

* GPU lub brak, bez znaczenia

* kilka podstawowych configów, najlepiej takie aktualne na którym nam zależy

* może z 10 kroków treningowych i 2 evale.

Fajnie by było też coś jakoś zalogować, ale to dużo mniej ważne. Bardziej się przejmuję czy takie zmiany jak w #64 nie breakują reinita w jakiś subtelny sposób.

Pomysł mi się podoba, #64 zmienia wyłącznie listę na ordereddict w sequentialach, ale in principle to brzmi jak dobry test

Old, closing.