llm-random / llm-random

https://llm-random.github.io/

llm-random/llm-random Issues

How to utilize the repo to replicate MoE-Mamba
Updated 4 months ago4
Integration test
Closed 5 months ago4
batch_size_heuristic doesn't work
Closed 5 months ago1
Keeping common code/respective project codes separate
Closed 5 months ago2
Git versioning tries pushing to the actual sparsity origin if it is set as https (should use cemetery) (needs confirmation)
Closed 7 months ago1
Check if retrainer works now
Closed 7 months ago
Hmm, tutaj bardzo zakładamy, że w layers mamy tylko FF, i w odpowiedniej kolejności. To jest pewnie prawda obecnie, i prawdopodobnie będzie zawsze; ale myślę czy da się coś z tym zrobić lepszego.
Closed 7 months ago
Tutaj sprawdzamy czy istnieje metoda `disable_neuron_diff`, ale 5 linii wyżej nie sprawdzamy czy istnieje `enable_neuron_diff`. Która opcja jest lepsza? Różnica jest taka, że wyżej zwrócimy wyjątek, a tutaj nie. Ale to bez sensu tu sprawdzać, skoro i tak wyjątek pójdzie w `enable_neuron_diff`
Closed 7 months ago
trochę myślę też, czy nie powinniśmy mieć innej inicjalizacji tutaj, tzn. takiej jakby to były dwa oddzielne Lineary. Z drugiej strony, inicjalizacja wtedy się różni zaledwie o factor sqrt(2), więc pewnie nie ma znaczenia... Któregoś dnia sam spróbuję to przetestować.
Closed 10 months ago
Analiza jakości oszacowania neuron quality
Closed 10 months ago
Check all magnitude usage/logging not to use magnitude squared
Closed 10 months ago