huangyedi2012

发表于 更新于 分类于

提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。

发表于 更新于 分类于

Megatron-LM 是一个基于 Megatron-Core 实现高效大模型训练的框架。

Megatron-core是一个GPU 优化的训练技术库，专注于提升大模型训练的性能和效率。

发表于 更新于 分类于

为了解决算力增速不足的问题，人们考虑用多节点集群进行分布式训练，以提升算力，分布式训练势在必行。

发表于 更新于 分类于

Deepspeed训练大模型细节

发表于 更新于 分类于

激活函数介绍。

发表于 更新于 分类于

熵通常用来评价随机变量的不确定性；交叉熵是评价两个概率分布之间的差异；KL散度是评价两个概率分布之间的相对熵差。

发表于 更新于 分类于

强化学习的终极目标是让一个智能体（Agent）通过与环境（Environment）的持续交互，学会一个最优策略（Policy），从而获得最大化的累积奖励（Cumulative Reward）。

发表于 更新于 分类于

GPT系列模型原理对比及技术演进。