 Tri Dao
|
e45a46a5b7
[Rotary] Implement GPT-J style (interleaved) rotary
|
2 년 전 |
|
Tri Dao
|
85b8e3d334
[Docs] Mention that XPos's scale_base is recommended to be 512
|
2 년 전 |
|
Tri Dao
|
1e712ea8b0
Implement TensorParallel for MHA
|
2 년 전 |
|
Tri Dao
|
496e4f528c
Implement XPos (Sun et al.)
|
2 년 전 |
 Alexander Ploshkin
|
ee8984d2be
add asserts for sin shape
|
2 년 전 |
|
Alexander Ploshkin
|
c7c66976cc
fix slicing dimensions
|
2 년 전 |
|
Alexander Ploshkin
|
96656b9323
Remove redundant shape asserts in rotary embeddings
|
2 년 전 |
|
Tri Dao
|
71f674ae23
[Rotary] Customize base, support seqlen_offset
|
2 년 전 |
|
Tri Dao
|
d4b320b31f
Add MLP, MHA, Block, Embedding modules
|
2 년 전 |
