Causal Attention论文详解

还行! 目前共计 48 篇日志。 继续努力。

2023

10-17

Causal Attention论文详解

09-25

Megatron-LM源码系列(四)：重计算(recompute)

08-15

Pytorch LayerNorm源码详解

08-06

Grouped Query Attention论文阅读

07-29

LLaMA-2论文阅读

07-28

Megatron-LM源码系列(三)：详解Pipeline模型并行训练实现

07-23

Megatron-LM源码系列(二)：Tensor模型并行和Sequence模型并行训练

07-12

Transformer推理加速方法-KV缓存(KV Cache)

07-11

详解PyTorch FSDP数据并行(Fully Sharded Data Parallel)

07-10

详解MegatronLM序列模型并行训练(Sequence Parallel)