分布式与混合精度训练-训练GPT

AI人工智能开发 \ LEVEL1

分布式与混合精度训练-训练GPT

通关要求

完成每日练习工作0/8

所有作业至少达成5个A0/5
通关倒计时

任务完成进度

关注创客学院学习助手，

随时随地掌握学习动态！

DAY1 00:00:00 |0人正在学习

大模型训练阶段介绍

学习进度

0/0

作业未提交

开始学习

DAY2 00:00:00 |0人正在学习

如何进行分布式训练

学习进度

0/0

作业未提交

开始学习

DAY3 00:00:00 |0人正在学习

数据并行DP

学习进度

0/0

作业未提交

开始学习

DAY4 00:00:00 |0人正在学习

分布式数据并行DDP

学习进度

0/0

作业未提交

开始学习

DAY5 00:00:00 |0人正在学习

Accelerate

学习进度

0/0

作业未提交

开始学习

DAY6 00:00:00 |0人正在学习

Deepspeed

学习进度

0/0

作业未提交

开始学习

DAY7 00:00:00 |0人正在学习

混合精度训练

学习进度

0/0

作业未提交

开始学习

DAY8 00:00:00 |0人正在学习

GPT的训练与优化训练

学习进度

0/0

作业未提交

开始学习

消息标记为已读

分布式与混合精度训练-训练GPT

通关要求

通关倒计时

DAY1

大模型训练阶段介绍

DAY2

如何进行分布式训练

DAY3

数据并行DP

DAY4

分布式数据并行DDP

DAY5

Accelerate

DAY6

Deepspeed

DAY7

混合精度训练

DAY8

GPT的训练与优化训练

Hi,

Hi, 欢迎你回来！

Hi,我是你的学习规划师