预训练技术（PTM）是一种通过大量未标记数据对模型进行训练的方法，以赋予模型先验知识和常识，从而提高其在各种任务上的表现。预训练主要解决数据稀缺性、先验知识需求、迁移学习问题以及模型可解释性等问题。预训练方法分为有监督预训练和自监督预训练两大类，前者常见于计算机视觉（CV）领域，后者则广泛应用于自然语言处理（NLP）中。在CV领域，从早期的AlexNet到最近的Swin Transformer等，预训练模型经历了从有监督向自监督的转变；而在NLP领域，自Word2Vec以来，GPT系列成为了当前最流行的预训练方式之一。此外，多模态预训练模型如DALL-E、CLIP等也展示了强大的跨模态理解能力。预训练不仅提高了模型性能，还促进了不同领域间的技术交流与融合。
Published on 2023-06-02
https://www.bilibili.com/video/BV14Y4y1S7A2/?spm_id_from=333.337.search-card.all.click&vd_source=3b73a21c3f8d922f85cb6d54ab274d2c CPU 也可以训练模型 CPU计算单元小
Published on 2023-06-02
本文通过一个网站站长建立网站的例子，解释了IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）三种云计算服务模式之间的区别。如果使用IaaS，用户不需要购买物理服务器，但需要自己安装服务器软件；采用PaaS时，除了不需购买服务器外，也无需自行安装服务器软件，只需开发自己的应用程序；而选择SaaS，则连应用程序开发都可以省略，直接使用服务商提供的软件，并由服务商负责维护升级等工作，用户仅需专注于业务运营。
Published on 2023-05-23
训练并行 https://zhuanlan.zhihu.com/p/607905738 训练加速 NAS 原理 flannel 网络原理 GPU 拉远一些名词： PCIE 总线 RDMA
Published on 2023-05-20
Published on 2023-05-12
Published on 2023-05-12
本文介绍了对数函数log、lg和ln的区别及数学常数e的相关知识。对数函数中，lg是以10为底的对数，ln是以自然对数的底数e（约等于2.71828）为底的对数，而log则可以表示以任意正数为底的对数，具体底数通常会在符号下方注明。e是一个重要的无理数，在微积分、概率论等多个领域都有广泛应用。它最初由瑞士数学家欧拉在研究复利计算时提出，并且被定义为当n趋近于无穷大时(1+1/n)^n的极限值。此外，e还与自然对数有着密切联系。
Published on 2023-05-12
Published on 2023-05-12
