AI大模型全栈工程师实战训练营

培训时间

培训主题

培训大纲

第一天

预备知识第一节：大模型理论知识

1、初探大模型：起源与发展

2、GPT模型家族：从始至今

3、大模型_GPT_ChatGPT的对比介绍

4、大模型实战-大模型2种学习路线的讲解

5、 大模型最核心的三项技术:模型、微调和开发框架

6、 0penAl GPT系列在线大模型技术生态

7、0penAl文本模型A、B、C、D四大模型引擎简介

8、0penAl语音模型Whisper与图像型DALL·E模型介绍

9、最强Embedding大模型text-embedding-ada模型介绍

10、全球开源大模型性能评估榜单

11、中文大模型生态介绍与GLM 130B模型介绍

12、ChatGLM模型介绍与部署门槛

13、ChatGLM开源生态:微调、多模态，WebUI等项目简介

预备知识第二节：自注意力机制、Transformer模型、BERT模型

RNN-LSTM-GRU等基本概念

编码器、解码器

自注意力机制详解

Transformer

Mask Multi-Head Attention

位置编码

特定于任务的输入转换

无监督预训练、有监督 Fine-tuning

BERT思路的理解

BERT模型下游任务的网络层设计

BERT的训练

HuggingFace中BERT模型的推断

基于上下文的学习

代码和案例实践：

基本问答系统的代码实现

深入阅读理解的代码实现

段落相关性代码实现

第一节：

GPT1、GPT2、GPT3、chatGPT原理与实战

监督微调（SFT）模型、

指示学习和提示学习

简单提示、小样本提示、基于用户的提示

指令微调

RLLHF技术详解（从人类的反馈中学习）

聚合问答数据训练奖励模型（RM）

强化学习微调、PPO、

 InstructGPT遵循用户意图使用强化学习方案

Instruct Learning vs. Prompt Learning

ChatGPT增加增加了Chat属性

AI 系统的新范式

GPT1-GPT2-GPT3-InstructGPT的-chatGPT的技术关系

代码和案例实践：

使用chatGPT打造你的私人聊天助理

演示提示词技巧，翻译器润色器、JavaScript 控制台 、Excel Sheet

网站定制chatgpt-web

第二节：

Embedding模型实战

大模型技术浪潮下的Embedding技术定位

Embedding技术入门介绍

从Ono-hot到Embedding

Embedding文本衡量与相似度计算

OpenAl Embedding模型与开源Embedding框架

两代OpenAl Embedding模型介绍

text-embedding-ada-002模型调用方法详解

text-embedding-ada-002模型参数详解与优化策略

借助Embedding进行特征编码

Embedding结果的可视化展示与结果分析

【实战】借助Embedding特征编码完成有监督预测

【实战】借助Embedding进行推荐系统冷启动

【实战】借助Embedding进行零样本分类与文本搜索

Embedding模型结构微调优化

借助CNN进行Embedding结果优化

【企业级实战】海量文本的Embedding高效匹配

第三节：

LLM应用程序技术栈和提示词工程Prompt Enginerring

设计模式：上下文学习

数据预处理/嵌入

提示构建/检索

提示执行/推理

数据预处理/嵌入

Weaviate、Vespa 和 Qdrant等开源系统

Chroma 和 Faiss 等本地向量管理库

pgvector 等OLTP 扩展

提示构建/检索

提示执行/推理

新兴的大语言（LLM）技术栈

数据预处理管道（data preprocessing pipeline）

嵌入终端（embeddings endpoint ）+向量存储（vector store）

LLM 终端（LLM endpoints）

LLM 编程框架（LLM programming framework）

LangChain的主要功能及模块

Prompts: 这包括提示管理、提示优化和提示序列化。

LLMs: 这包括所有LLMs的通用接口，以及常用的LLMs工具。

Document Loaders: 这包括加载文档的标准接口，以及与各种文本数据源的集成。

Utils: 语言模型在与其他知识或计算源的交互

Python REPLs、嵌入、搜索引擎等

LangChain提供的常用工具

Indexes：语言模型结合自定义文本数据

Agents：动作执行、观测结果，

LangChain的代理标准接口、可供选择的代理、端到端代理示例

Chat：Chat模型处理消息

代码和案例实践：

LLM大模型的使用

Prompts的设计和使用

第二天

第四节：LangChain的使用

构建垂直领域大模型的通用思路和方法

(1) 大模型+知识库

(2) PEFT(参数高效的微调)

(3) 全量微调

(4) 从预训练开始定制

LangChain介绍

LangChain模块学习-LLMs 和 Prompts

LangChain之Chains模块

LangChain之Agents模块

LangChain之Callback模块

Embedding嵌入

自定义知识库

知识冲突的处理方式

向量化计算可采用的方式

文档加载器模块

向量数据库问答的设计

Lanchain竞品调研和分析

Dust.tt/Semantic-kernel/Fixie.ai/Cognosis/GPT-Index

LlamaIndex介绍

LlamaIndex索引

动手实现知识问答系统

代码和案例实践：

动手实现知识问答机器人

LangChain文本摘要

PDF文本阅读问答

第五节：

国产大模型ChatGLM

新一代GLM-4模型入门介绍

智谱Al Mass开放平台使用方法03GLM在线大模型生态介绍

CharGLM、CogView. Embedding模型介绍

GLM在线知识库使用及模型计费说明

GLM模型API一KEY获取与账户管理方法

GLM模型SDK调用与三种运行方法

GLM4调用函数全参数详解

GLM4 Message消息格式与身份设置方法

GLM4 tools外部工具调用方法

GLM4 Function calling函数封装12GLM4接入在线知识库retrieval流程

GLM4接入互联网web_search方法

【实战】基于GLM4打造自动数据分析Agent

【实战】基于GLM4的自然语言编程实战

【实战】基于GLM4 Function call的用户意图识别

【实战】基于GLM4的长文本读取与优化

第六节：

Sora大模型技术优势

什么是Sora

Sora视频生成能力

Sora技术独特之处

统一的视觉数据表示

视频压缩网络

扩散型变换器模型

视频压缩与潜在空间

第七节：

语言理解与字幕生成及其应用

使用图像和视频作为提示词

动画DALL·E图像

扩展生成的视频

视频到视频编辑

连接视频

字幕生成

重字幕技术

GPT技术应用

第三天

第八节：

图像生成和应用实操

新兴的仿真功能

长期连续性和物体持久性

角色和物体的一致性

视频内容的连贯性

与世界互动

简单影响行为模拟

模拟数字世界

第九节：

应用场景与潜力分析

电影与娱乐产业

游戏开发

教育与培训

广告与营销

科学研究与模拟

生成数据

毕业生职位分类案例研究

提示函数

FunctionCalling

提示工程在模型上的应用

AI聊天社交应用

CallAnnie

NewBing

AI辅助文章创作

迅捷AI写作

ChibiAI

AI办公智能助手

GrammaAI

AI艺术领域创作

第十节：

大模型企业商用项目实战讲解

使用大模型实现推荐系统（商用案例）

使用大模型实现汽车在线销售系统

企业自然语言sql生成（企业内部系统使用）