预训练技术（PTM）是一种通过大量未标记数据对模型进行训练的方法，以赋予模型先验知识和常识，从而提高其在各种任务上的表现。预训练主要解决数据稀缺性、先验知识需求、迁移学习问题以及模型可解释性等问题。预训练方法分为有监督预训练和自监督预训练两大类，前者常见于计算机视觉（CV）领域，后者则广泛应用于自然语言处理（NLP）中。在CV领域，从早期的AlexNet到最近的Swin Transformer等，预训练模型经历了从有监督向自监督的转变；而在NLP领域，自Word2Vec以来，GPT系列成为了当前最流行的预训练方式之一。此外，多模态预训练模型如DALL-E、CLIP等也展示了强大的跨模态理解能力。预训练不仅提高了模型性能，还促进了不同领域间的技术交流与融合。
Published on 2023-06-02
本文探讨了使用CPU和GPU进行模型训练的差异及优缺点。尽管CPU因计算单元少于GPU而不适合大规模并行运算，但依然可以用于模型训练。文章强调了GPU在深度学习中的优势，特别是在处理大规模数据集时。对于模型训练而言，适当的batch size至关重要，过小或过大都会影响训练效果。此外，介绍了单机多卡同步数据并行、模型并行以及流水线并行等技术来提高训练效率，并指出结合数据并行与模型并行能够实现更佳性能。最后，讨论了如何通过优化通信以实现模型并行、张量并行与数据并行的同时应用，从而达到最优训练效果。
Published on 2023-06-02
本文通过一个网站站长建立网站的例子，解释了IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）三种云计算服务模式之间的区别。如果使用IaaS，用户不需要购买物理服务器，但需要自己安装服务器软件；采用PaaS时，除了不需购买服务器外，也无需自行安装服务器软件，只需开发自己的应用程序；而选择SaaS，则连应用程序开发都可以省略，直接使用服务商提供的软件，并由服务商负责维护升级等工作，用户仅需专注于业务运营。
Published on 2023-05-23
该文章涵盖了多个技术主题。首先，介绍了训练并行的概念，这是一种通过同时使用多个处理器来加速机器学习模型训练的方法。接着讨论了训练加速的策略，包括硬件优化和软件算法改进。随后，文章解释了神经架构搜索（NAS）的基本原理，这是一种自动化设计神经网络结构的技术。此外，还探讨了flannel网络的工作机制，这是一种为容器提供网络支持的技术。最后，文章提到了GPU拉远相关的概念，如PCIe总线和RDMA技术，这些是实现高效远程GPU访问的关键技术。
Published on 2023-05-20
Published on 2023-05-12
Published on 2023-05-12
本文介绍了对数函数log、lg和ln的区别及数学常数e的相关知识。对数函数中，lg是以10为底的对数，ln是以自然对数的底数e（约等于2.71828）为底的对数，而log则可以表示以任意正数为底的对数，具体底数通常会在符号下方注明。e是一个重要的无理数，在微积分、概率论等多个领域都有广泛应用。它最初由瑞士数学家欧拉在研究复利计算时提出，并且被定义为当n趋近于无穷大时(1+1/n)^n的极限值。此外，e还与自然对数有着密切联系。
Published on 2023-05-12
Published on 2023-05-12
