详解MegatronLM Tensor模型并行训练(Tensor Parallel)

还行! 目前共计 48 篇日志。 继续努力。

2023

07-09

详解MegatronLM Tensor模型并行训练(Tensor Parallel)

07-08

详解MegatronLM流水线模型并行训练(Pipeline Parallel)

07-01

Megatron-LM源码系列(一)：模型并行初始化

06-29

LLM大模型训练加速利器FlashAttention详解

06-27

详解大模型微调方法LoRA Adapter(内附实现代码)

06-26

pytorch模型网络可视化画图工具合集

06-24

详解大模型微调方法Prompt Tuning(内附实现代码)

06-23

python中符号'*'和'**'的最全用法

06-22

NVIDIA APEX安装完全指南及Megatron-LM/Pytorch运行问题解决(fused_layer_norm_cuda/packaging/amp_C/libc10.so)

06-20

python程序中命令行解析布尔(bool)类型参数的最全实现