Эхлэл Бүгдийг харах Тусламж
Бүртгүүлэх Нэвтрэх
david
/
flash-attention
-ын хуулбар https://github.com/Dao-AILab/flash-attention
1
0
Салаа 0
Файлууд Асуудлууд 0 Мэдлэгийн сан
Мод: 0dfb281743
Салаанууд Тагууд
flash-attention
/
training
/
configs
/
model
/
gpt2model
/
gpt2-medium.yaml

gpt2-medium.yaml 85 B
Түүх Анхны өгөгдөл

123456 
  1. # @package _global_
    2. 

  2. model:
    3. 

  3.   config:
    4. 

  4.     n_embd: 1024
    5. 

  5.     n_head: 16
    6. 

  6.     n_layer: 24
    7.