Historie revizí

Autor SHA1 Zpráva Datum
  Tri Dao abbc131173 [LayerNorm] Switch from CUDA to Triton implementation před 1 rokem
  Tri Dao f1a73d0740 Run isort and black on python files před 1 rokem
  Tri Dao 75e334d407 [MLP] Add ParallelMLP před 1 rokem
  Tri Dao b3177dfaf6 [GPT] Enable FlashAttention for GPT-J před 1 rokem
  Tri Dao 6fc1e07da2 [Block] Re-enable DropPath před 1 rokem
  Tri Dao 4f285b3547 FlashAttention-2 release před 1 rokem
  ljss 8e44c0eefb Fix a bug před 1 rokem
  Federico Berto 3889ba168b [BugFix] cannot unpack non-iterable NoneType object před 1 rokem
  Tri Dao ba2fe7f378 [Gen] Move allocate_inference_cache to within the model před 1 rokem
  Tri Dao 96d10f6545 Implement LLaMa před 1 rokem
  Tri Dao 393882bc08 [LayerNorm] Implement LN with parallel residual, support dim 8k před 1 rokem
  Tri Dao 4d87e4d875 Implement GPT-J před 1 rokem
  Tri Dao 88173a1aaf [FusedDense] Support relu, rename FusedDenseGeluDense -> FusedMLP před 2 roky
  Tri Dao 780e8eeabb [ViT] Support timm checkpoint, add tests před 2 roky
  Tri Dao ef085cfcda [ViT] Fix extra norm_0, use new LN order in Block před 2 roky
  Tri Dao ff34123bd4 Reorder LN in Block, support OPT před 2 roky
  Tri Dao 93383bd55b [TP] Implement TensorParallel without sequence parallel před 2 roky
  Tri Dao a8cfe51551 Implement Tensor Parallel for transformer Block před 2 roky
  Tri Dao 5fb6df0e04 Implement BERT před 2 roky
  Tri Dao d4b320b31f Add MLP, MHA, Block, Embedding modules před 2 roky