Gemini Enterprise Agent Platform 上的生成式 AI 训练概览

生成式 AI 通常依赖于大规模机器学习 (ML) 模型,这些模型基于大量数据进行预训练。这些模型称为基础模型,可作为各种任务的基础。您可以通过多种方式使用 Gemini Enterprise Agent Platform 上的生成式 AI 自定义基础模型:

  • 调优:调优是指为模型提供与所选下游任务相关的特定示例的训练数据集。

    • 监督式调优:此技术使用有标签样本来微调模型。每个样本都展示了在推理期间针对给定输入的所选输出。对于预期输出并非过于复杂且可以清晰定义的任务,监督式调优非常有效,例如分类、情感分析、实体提取、不太复杂的内容的总结以及生成特定领域的查询。您可以使用监督学习对文本、图片、音频和文档数据类型进行调优。
    • 基于人类反馈的强化学习 (RLHF) 调优:如果所选模型输出较为复杂,则适合采用此方法。对于无法通过监督式调优轻松区分的目标,例如问答、复杂内容总结和创意内容生成,RLHF 调优效果很好。
  • 蒸馏:蒸馏通常涉及训练一个较小的“学生”模型来模仿功能更强大的“教师”模型的行为。

  • 适配器模型训练:这涉及训练较小的适配器模型(或层),这些模型与基础模型结合使用,可改善专用任务的性能。原始基础模型的参数通常保持冻结状态,并且在训练期间仅更新适配器的权重。

  • 接地:虽然接地不是一种训练方法,但它是确保生成式 AI 输出可靠性的关键方面。接地是指将模型的输出与可验证的信息源相关联,从而降低虚构内容的可能性。这通常需要在推理期间为模型提供对特定数据源的访问权限。

后续步骤