Skip to content

Commit 28af9ae

Browse files
committed
Added NanoGpt and update website
1 parent 1bdf43b commit 28af9ae

File tree

1 file changed

+45
-0
lines changed

1 file changed

+45
-0
lines changed

docs/docs/nanogpt.md

+45
Original file line numberDiff line numberDiff line change
@@ -34,6 +34,51 @@ poetry install
3434

3535
## Utilisation
3636

37+
Pour lancer un entrainement avec le corpus de Shakespeare il suffit de lancer, par exemple, avec une `block_size` de 512 et 10 000 itérations:
38+
39+
```bash
40+
poetry run python main.py --train --save_model my_new_model.pth --block_size 512 --eval_iters 10000
41+
```
42+
43+
Par la suite, une fois entrainé, pour tester votre modèle:
44+
45+
```bash
46+
poetry run python main.py --infer --load_model my_new_model.pth --block_size 512
47+
```
48+
49+
Veillez à bien sélectionner les mêmes paramètres lors de l'entrainement et de l'inférence (ici par exemple la `block_size`)
50+
51+
Toute une liste de paramètres supplémentaires sont configurables :
52+
53+
* `--train` : Mode entraînement
54+
55+
* `--infer` : Mode inférence
56+
57+
* `--save_model SAVE_MODEL` : Sauvegarde le modèle dans le fichier spécifié
58+
59+
* `--load_model LOAD_MODEL` : Charge le modèle depuis le fichier spécifié
60+
61+
* `--batch_size BATCH_SIZE` : Nombre d'I/O que le modèle doit apprendre par batch
62+
63+
* `--block_size BLOCK_SIZE` : Longueur des séquences que le transformer doit apprendre
64+
65+
* `--max_iters MAX_ITERS` : Nombre d'itérations d'apprentissage
66+
67+
* `--eval_interval EVAL_INTERVAL` : Intervalle d'évaluation pendant l'entraînement
68+
69+
* `--learning_rate LEARNING_RATE` : Taux d'apprentissage
70+
71+
* `--eval_iters EVAL_ITERS` : Nombre d'itérations d'évaluation
72+
73+
* `--n_embd N_EMBD` : Dimension de l'espace dans lequel on projette les caractères
74+
75+
* `--n_head N_HEAD` : Nombre de têtes d'attention
76+
77+
* `--n_layer N_LAYER` : Nombre de couches
78+
79+
* `--dropout DROPOUT` : Probabilité de dropout
80+
81+
3782
En résumé:
3883

3984
```

0 commit comments

Comments
 (0)