大模型https://www.bilibili.com/video/BV1n8411s7f3/?spm_id_from=autoNext&vd_source=3b73a21c3f8d922f85cb6d54ab274d2c模型和数据规模的增大能够突破现有精度的局限大模型训练挑战芯片数量越多，训练模型速度越快但是训练资源扩大到一定规模时，分布式并行会出现局限性，因为通讯的瓶颈会限制整个系统的性能大模型主要的挑战点：内存墙通讯墙性能墙调优墙
大模型主要的挑战点：
大模型主要的挑战点：