fix typo

Author: zhuhanqing

scripts/pretrain_c4/llama_130m_apollo.sh

@@ -22,6 +22,6 @@ torchrun --standalone --nproc_per_node 4 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test \
     --name apollo_test_apollo_130m \
-    --save_dir ./ckpts/Appollo_130m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_130m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
 
 

scripts/pretrain_c4/llama_130m_apollo_mini.sh

@@ -23,6 +23,6 @@ torchrun --standalone --nproc_per_node 4 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test \
     --name apollo_test_apollo_mini_130m \
-    --save_dir ./ckpts/Appollo_130m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_130m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
 
 

scripts/pretrain_c4/llama_13b_apollo_mini.sh

@@ -22,6 +22,6 @@ torchrun --standalone --nproc_per_node 4 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test \
     --name apollo_test_apollo_mini_13b \
-    --save_dir ./ckpts/Appollo_13b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_13b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
 
 

scripts/pretrain_c4/llama_1b_apollo.sh

@@ -22,6 +22,6 @@ torchrun --standalone --nproc_per_node 8 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test \
     --name apollo_test_apollo_1b \
-    --save_dir ./ckpts/Appollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
 
 

scripts/pretrain_c4/llama_1b_apollo_mini.sh

@@ -22,6 +22,6 @@ torchrun --standalone --nproc_per_node 8 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test \
     --name apollo_test_apollo_mini_1b \
-    --save_dir ./ckpts/Appollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
 
 

scripts/pretrain_c4/llama_350m_apollo.sh

@@ -22,4 +22,4 @@ torchrun --standalone --nproc_per_node 4 main_pretrain.py \
     --update_proj_gap 200 \
     --project apollo_test \
     --name apollo_test_apollo_350m \
-    --save_dir ./ckpts/Appollo_350m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_350m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}

scripts/pretrain_c4/llama_350m_apollo_mini.sh

@@ -23,4 +23,4 @@ torchrun --standalone --nproc_per_node 4 main_pretrain.py \
     --update_proj_gap 200 \
     --project apollo_test \
     --name apollo_test_apollo_mini_350m \
-    --save_dir ./ckpts/Appollo_350m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_350m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}

scripts/pretrain_c4/llama_60m_apollo.sh

@@ -22,4 +22,4 @@ torchrun --standalone --nproc_per_node 1 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test\
     --name apollo_test_apollo_60m \
-    --save_dir ./ckpts/Appollo_60m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_60m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}

scripts/pretrain_c4/llama_60m_apollo_mini.sh

@@ -25,4 +25,4 @@ torchrun --standalone --nproc_per_node 1 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test\
     --name apollo_test_apollo_mini_60m \
-    --save_dir ./ckpts/Appollo_60m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_60m_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}

scripts/pretrain_c4/llama_7b_adamw.sh

@@ -0,0 +1,18 @@
+# LLaMA-7B, Adamw, 8 A100, 1 Node
+
+torchrun --standalone --nproc_per_node 8 main_pretrain.py \
+    --model_config configs/llama_7b.json \
+    --eval_every 1000 \
+    --dtype bfloat16 \
+    --batch_size 4 \
+    --total_batch_size 512 \
+    --lr 0.01 \
+    --warmup_steps 15000 \
+    --num_training_steps 150000 \
+    --optimizer adamw \
+    --weight_decay 0 \
+    --project apollo_test \
+    --name adamw_test_apollo_7b \
+    --save_dir ./ckpts/Adamw_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+
+

scripts/pretrain_c4/llama_7b_apollo.sh

@@ -22,6 +22,6 @@ torchrun --standalone --nproc_per_node 8 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test \
     --name apollo_test_apollo_7b \
-    --save_dir ./ckpts/Appollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
 
 

scripts/pretrain_c4/llama_7b_apollo_mini.sh

@@ -21,6 +21,6 @@ torchrun --standalone --nproc_per_node 8 main_pretrain.py \
     --weight_decay 0 \
     --project apollo_test \
     --name apollo_test_apollo_mini_7b \
-    --save_dir ./ckpts/Appollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}
+    --save_dir ./ckpts/Apollo_7b_scale${apollo_scale}_rank${num_rank}_proj${proj_type}_type${scale_type}