南开大学2026级本科新生二次选拔通知(附二次选拔项目一览表)
南开大学 2026年官方招生简章文字版,本站已归档 PDF 原件,正文摘自官方简章,可按招生区域、报名条件、选拔程序、录取规则快速检索。
阅读全文 →相关学校:上海交通大学
人工智能(拔尖英才试点班)是上海交通大学致远荣誉计划面向AI领域设立的拔尖人才培养方向,依托电子信息与电气工程学院、人工智能学院、吴文俊人工智能学院等强势平台,强调"厚基础、强工程、重前沿"的育人理念。该方向面向全校 TOP10% 新生二次选拔,旨在培养兼具扎实工程能力与世界级前沿视野的AI领军人才。
上海交大在人工智能领域拥有全国顶尖的科研生态:2024年正式成立人工智能学院,与上海人工智能实验室(浦江实验室)、清源研究院、图像处理与模式识别研究所(IPP)等深度协同。在CVPR、NeurIPS、ICML等国际顶会上,交大常年位居国内高校第一梯队;在大模型方向,上海人工智能实验室牵头研发的"书生"(InternLM)系列开源大模型即诞生于此生态。这些平台为本科生提供了从算法研究到工程落地、从算力支撑到产业转化的全链路培养环境。
该方向与理科班的核心区别在于:更强调工程实现、系统构建与前沿应用——学生需要不仅能理解模型原理,还要能动手复现、训练并部署真实系统(如视觉识别、对话机器人、多模态应用)。面试官会重点关注你的代码能力、项目经历、以及对最新AI进展的跟踪程度。
下表梳理该方向面试最常考察的知识模块,建议结合右侧权重分配复习精力。
| 知识模块 | 核心内容 | 面试权重 |
|---|---|---|
| 深度学习基础 | 全连接/卷积/循环网络、激活函数、损失函数、反向传播 | ★★★★★ |
| Transformer 与大模型 | Self-Attention、位置编码、预训练/微调、RLHF、涌现能力 | ★★★★★ |
| 计算机视觉 | CNN、目标检测、图像分割、视觉Transformer(ViT) | ★★★★ |
| 自然语言处理 | 词向量、Seq2Seq、BERT、GPT、指令微调 | ★★★★ |
| 强化学习 | 马尔可夫决策过程、策略梯度、PPO、价值函数 | ★★★ |
| 生成模型 | GAN、扩散模型(Diffusion)、自回归生成、VAE | ★★★ |
| 训练技巧 | 归一化(BN/LN)、正则化(Dropout/L2)、优化器(Adam/SGD) | ★★★★ |
| 多模态与Agent | CLIP、跨模态对齐、AI Agent、世界模型 | ★★★ |
LeNet / AlexNet / ResNet(CV)、RNN/LSTM/GRU(序列)、Transformer / BERT / GPT(NLP)、GAN / DDPM(生成)、DQN / PPO(强化学习)
反向传播、梯度下降、过拟合/泛化、注意力机制、Embedding、Tokenization、Zero-shot / Few-shot、幻觉(Hallucination)
大语言模型(LLM)、多模态大模型、AI Agent、世界模型(World Model)、具身智能(Embodied AI)、模型对齐(Alignment)
Python 熟练、PyTorch 基础、能在 Colab/服务器上跑通一个小型训练脚本、读懂 arXiv 论文并复现关键结果
面试通常以1-2分钟自我介绍开始,AI方向英文提问比例较高,建议同时准备中英文两版讲稿。以下是三个不同风格的模板,请结合自身真实经历修改。
各位老师好!我是XXX,来自XX省XX市,现被上海交通大学XX专业录取。非常荣幸能申请致远荣誉计划人工智能(拔尖英才试点班)方向。
我对人工智能的兴趣始于高中。当时我自学了Python,并参加了XX信息学奥赛/科创比赛,用机器学习完成了一个小项目——"基于XX数据的水果图像分类",第一次体会到让模型自己"学会"判断的神奇。为了理解背后的原理,我啃完了吴恩达的机器学习课程和《动手学深度学习》,亲手用PyTorch实现了CNN和Transformer,跑通了MNIST和CIFAR-10。
我深知AI不是调包那么简单。我看到ResNet用残差连接解决了深层网络退化问题,也读到AlphaGo和ChatGPT如何改变世界——这些突破背后是扎实的数学、工程与系统能力。这正是我渴望进入拔尖班的原因:我想在真正的研究环境里,从复现顶会论文走向提出自己的方法。
未来我希望深耕大模型或多模态方向,让AI更好地理解和服务于真实世界。感谢各位老师!
适用:有编程基础、竞赛或项目经历的同学。重点突出动手能力(具体项目、所用框架、跑通过什么模型)和明确的兴趣方向。
各位老师上午好!我是XXX,来自XX,被上海交通大学XX专业录取。能够站在这里参加致远荣誉计划的面试,我感到非常激动。
高中三年,我一直在学业和综合素养之间寻找平衡。我的数理成绩始终名列前茅——数学稳定在140+,物理也在90分以上;我特别享受拆解难题的过程,那种反复推敲后"想通了"的瞬间让我着迷。同时,我自学了C++和Python,做过一些数据分析和简单爬虫,对"用计算解决问题"产生了持续的热情。
我关注AI,不只是因为热门,更因为它正处在改变世界的关键节点。我读过关于ChatGPT和 AlphaFold 的报道,意识到 AI 已经能从语言走向科学发现。但我也清楚,真正推动这个领域的是那些既懂数学、又会写代码、还能提出好问题的人——这正是拔尖班要培养的能力。
我明白课程难度和竞争压力都不小,但我相信自己的学习能力和抗压能力。如果有幸入选,我会全力以赴,在AI这条路上扎实走下去。谢谢!
适用:无AI专项经历但数理优异、学习能力强且对AI有真诚兴趣的同学。突出可迁移能力(数学、编程自学)与成长型心态。
Good morning, professors. My name is XXX, and I am currently admitted to the School of XX at Shanghai Jiao Tong University. It is a great honor to be here for the interview of the Zhiyuan Honors Program, Artificial Intelligence (Elite Pilot Class).
Although my enrolled major is XX, my true passion lies in artificial intelligence. During high school, I taught myself Python and completed several online courses on machine learning. I was fascinated by the idea that a model can learn patterns from data without being explicitly programmed. I built a small image classifier and a simple chatbot, which gave me hands-on experience with neural networks and PyTorch.
I chose to apply for the AI Elite Class because SJTU offers a world-class research environment—the School of Artificial Intelligence, the Shanghai AI Laboratory, and the "InternLM" large model ecosystem. I want to grow from reproducing papers to conducting original research, especially in large language models or multimodal learning.
I understand this program is demanding, but I am prepared to work hard, learn the required mathematics, and contribute to real projects. Thank you for your time and consideration.
适用:原录取专业非AI、但已自主积累编程/ML基础、希望转入AI方向的同学。英文自我介绍展示语言与国际交流能力,面试中常被要求用英文简述研究兴趣。
这是AI方向的"试金石"问题,考察你是否真正理解深度学习的本质,而非只会调包。关键要讲清特征表达的差异。
我认为二者最核心的区别在于特征学习方式:
传统机器学习依赖人工特征工程(Feature Engineering)。以图像分类为例,用SVM或随机森林前,必须先用SIFT、HOG等手工设计的特征提取器把图像转成向量,再交给模型学习"特征→标签"的映射。模型本身不负责"看"像素,只负责在给定特征上做决策。特征是人设计的,模型的表达能力受限于特征质量。
深度学习则是端到端(End-to-End)的表示学习(Representation Learning)。以CNN为例,低层卷积自动学习边缘、纹理,中层组合成部件,高层形成语义概念——特征是由网络从数据中自己学出来的,无需人工设计。这种逐层抽象的能力让深度学习在图像、语音、自然语言等"原始信号"任务上远胜传统方法。
此外还有几点差异:①数据需求量——深度学习需要大量数据才能发挥优势,传统方法在小样本上更稳;②可解释性——SVM、决策树相对可解释,深度网络常被视为黑箱;③计算成本——深度学习依赖GPU大规模并行训练。需要强调的是,二者并非替代关系:在表格数据、小样本场景,梯度提升树(如XGBoost)往往仍优于深度学习。
CNN的核心由卷积层、池化层、全连接层构成,其灵魂是卷积操作:用一个可学习的滤波器(kernel)在输入图像上滑动,做局部加权和,得到特征图(feature map)。
三个关键设计思想:
① 局部连接(Local Connectivity):每个神经元只连接输入的一个局部区域(感受野),而非全连接。这大幅减少参数,也符合视觉"局部相关"的直觉——一个像素的意义主要来自邻居。
② 权值共享(Weight Sharing / Parameter Sharing):同一个滤波器在图像所有位置共用一套参数。这意味着无论猫出现在左上角还是右下角,网络都能用同一套"猫检测器"识别——这就是平移等变性(translation equivariance)。参数量因此从全连接的百万级降到千级。
③ 层次化特征(Hierarchical Features):浅层学边缘/角点,中层学纹理/部件,深层学语义物体。池化层(Max Pooling)提供平移不变性并降维。
为什么有效?本质上CNN把"图像的先验结构"(局部性、平稳性、层次性)硬编码进网络架构,让模型用极少的参数学到强泛化的视觉表示。ResNet(残差网络,2015)进一步用跳跃连接解决深层退化问题,使网络能堆到上百层,奠定了现代视觉基础。
RNN(循环神经网络)是为序列数据设计的:它在时间步之间共享参数,并用隐藏状态h_t传递历史信息,公式化即 h_t = tanh(W·x_t + U·h_{t-1} + b)。理论上它能处理任意长度序列(如句子、时间序列)。
核心缺陷——长程依赖与梯度问题:训练RNN依赖随时间反向传播(BPTT)。梯度在展开的时间步上连乘,当序列较长时,会出现梯度消失(vanishing)或梯度爆炸(exploding),导致网络无法学到远距离的依赖关系(比如句首的词影响句尾的预测)。梯度爆炸可用梯度裁剪(Gradient Clipping)缓解,但梯度消失更难处理。
LSTM(长短期记忆网络)通过引入门控机制(Gating)解决这一问题。它用三个门——遗忘门(forget gate)、输入门(input gate)、输出门(output gate)——以及一个细胞状态(cell state)c_t构成"信息高速公路"。细胞状态以近似恒等映射的方式贯穿时间,梯度可沿它直接回传而不易消失,使模型能记住长期信息。GRU是LSTM的简化版,合并了部分门,参数更少、训练更快。
补充视角:尽管LSTM缓解了长程依赖,但它仍是串行计算、难以并行,训练和推理都慢。这也是Transformer后来取代RNN做序列建模的根本原因——用注意力一次性建立全局依赖,且高度可并行。
Self-Attention是Transformer的基石,它让序列中每个位置都能直接关注(attend to)所有其他位置,从而一次性捕捉任意距离的依赖,无需像RNN那样逐步传递。
对输入序列,先通过三个可学习矩阵投影出Query(Q)、Key(K)、Value(V)三个表示:
Q = X·W_Q, K = X·W_K, V = X·W_V
注意力输出为:
Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V
直觉理解:Q·Kᵀ 计算"每个Query和每个Key的相关度"(相似度打分),除以√d_k 是为了防止点积过大导致softmax梯度消失(这是缩放点积注意力的关键技巧),softmax 将其归一化为权重,再对V做加权求和——相当于"根据相关性,从全局信息中聚合出该位置的新表示"。
多头注意力(Multi-Head Attention):并行做h组不同的Q/K/V投影(不同子空间),拼接结果再线性变换,让模型同时关注不同类型的关系(句法、语义、指代等)。
为什么重要?① 任意两位置的直接路径长度为O(1),彻底解决长程依赖;② 高度可并行,充分利用GPU;③ 可解释性较好(注意力权重可视化能看到"模型在看哪里")。这正是Transformer在NLP、CV、多模态全面胜出的原因。
Transformer(2017, "Attention Is All You Need")完全抛弃了循环和卷积,仅靠注意力机制建模序列。一个编码器-解码器结构包含:
编码器:多层(如6层),每层含多头自注意力 + 前馈网络(FFN),二者都配残差连接 + Layer Normalization。自注意力让每个词看到全句,FFN做逐位置非线性变换。
解码器:在编码器基础上多一个掩码自注意力(Masked Self-Attention)——用因果掩码(causal mask)保证预测第t个词时只能看到1..t-1,符合自回归生成逻辑;再用交叉注意力(Cross-Attention)去关注编码器输出。
位置编码(Positional Encoding):因注意力本身是无序的,需显式注入位置信息。原始论文用正弦/余弦函数编码,现代大模型多用可学习的位置嵌入(RoPE旋转位置编码等)。
为何取代RNN?①并行性:RNN必须按时间步串行,Transformer可整句并行计算,训练速度快几个数量级;②长程依赖:注意力任意位置直连,无梯度消失;③可扩展性:堆叠深度、加宽头数都便于在海量数据上scale up,为后来的大语言模型奠定基础。GPT、BERT、ViT 都是 Transformer 的变体。
预训练-微调是一种迁移学习(Transfer Learning)范式,分两阶段:
① 预训练(Pre-training):在海量无标注/弱标注数据上,用自监督任务训练一个通用基础模型。例如BERT用"掩码语言建模(MLM)"预测被遮盖的词,GPT用"下一个词预测(CLM)"做自回归生成。模型在此过程中学到了通用的语言/视觉表示。
② 微调(Fine-tuning):用特定下游任务的小规模标注数据,继续训练(通常只调最后几层或全部参数)使模型适配具体任务,如情感分类、机器翻译、医疗问答。
为什么成为主流?
这一范式催生了"基础模型(Foundation Model)"时代:一个GPT/InternLM可经微调服务于客服、编程、教育等无数场景。它的延伸形态还包括参数高效微调(PEFT,如LoRA)——只训练少量适配器参数,既省钱又避免灾难性遗忘。
These are the three main paradigms of machine learning, distinguished by the type of data and feedback they use.
Supervised learning learns a mapping from input X to output Y using labeled data (x_i, y_i). The goal is to minimize a loss such as cross-entropy or MSE. Examples: image classification, spam detection. Its limitation is the need for large amounts of labeled data, which is often expensive.
Unsupervised learning finds structure in unlabeled data. There is no target y; the model learns the underlying distribution or clusters. Examples: K-means clustering, PCA for dimensionality reduction, and self-supervised pre-training (e.g., predicting a masked word). It is useful for exploratory analysis and representation learning.
Reinforcement learning (RL) is different: an agent interacts with an environment, takes actions, and receives rewards. It learns a policy to maximize cumulative reward, not from fixed labeled pairs. Examples: AlphaGo, robot control, and RLHF for aligning LLMs. Its challenge is sparse and delayed reward signals.
In practice, modern AI often combines them—for instance, LLMs are first pre-trained with unsupervised/self-supervised objectives, then fine-tuned with supervised data, and finally aligned with RL (RLHF).
中文注:回答点明了三者按"是否有标签/反馈类型"区分,并举例,最后用LLM训练流程串联三者,体现体系化理解。
二者都旨在让模型更好地完成用户意图,但作用层面和改动对象完全不同:
提示工程(Prompt Engineering)是在推理阶段、不改变模型参数的前提下,通过精心设计输入文本(如"请逐步思考""你是一个资深医生"、Few-shot示例、思维链CoT)来引导模型输出。模型权重完全不变,成本极低,灵活即时,但效果上限受基座模型能力约束,且对提示措辞敏感(提示脆弱性)。
指令微调(Instruction Tuning)是在训练阶段,用"指令-回答"配对数据(如"把这段话翻译成英文:…→…")继续更新模型参数,使模型学会"遵循指令"这一通用能力。ChatGPT的训练流程中,指令微调让GPT-3.5从"续写机器"变成"对话助手"。它改的是模型本身,泛化到未见过的指令也有效,但需要训练数据和算力。
一句话对比:提示工程是"怎么问",指令微调是"教模型学会按指令答"。二者常结合使用——先用指令微调让模型具备通用遵循能力,再用提示工程在具体任务上激发最佳表现。
RLHF(Reinforcement Learning from Human Feedback)是让大语言模型(LLM)对齐(align)人类价值观与偏好的关键技术,是ChatGPT"好用"的核心秘密。它分三步:
第一步:监督微调(SFT)。用人工撰写的"高质量问答"数据微调基座模型,让它先学会基本的指令遵循和对话格式。
第二步:训练奖励模型(Reward Model, RM)。对同一提示,让模型生成多个回答,由人类标注员排序( preference ranking),如"回答A优于B优于C"。用这些数据训练一个奖励模型,其打分 R(x, y) 预测人类偏好——相当于把"人类判断"压缩进一个可微函数。
第三步:强化学习优化。以SFT模型为策略初始值,用PPO(Proximal Policy Optimization)算法最大化奖励模型给出的分数,同时用KL散度约束策略不要偏离SFT模型太远(防止"奖励黑客"、语言崩坏)。目标函数大致为:max E[ R(x,y) ] − β·KL( π_θ ‖ π_SFT )。
为什么有效?人类对"好回答"的判断是整体、模糊、难以写成规则的(有用、诚实、无害);RLHF把这种模糊偏好转化为可优化的标量奖励,使模型在不重写代码的情况下"学会讨人喜欢"。它解决的正是"预训练只学语言统计、不懂人类意图"的鸿沟。局限是奖励模型可能被人骗(reward hacking)、标注成本高、可能削弱模型多样性。
"涌现能力"指:当模型规模(参数量、数据量、算力)超过某个临界阈值后,会突然表现出小规模模型完全不具备的能力,而这一能力并非被显式训练过。Wei等人(2022)将其形式化:对小规模模型,某任务的性能接近随机;超过阈值后性能陡然跃升到可用水平。
经典例子:
我的理解(含争议):涌现现象有两类解释。① 真实能力跃迁:规模带来表示的质的改变;② 度量假象(metric artifact):有研究指出,许多"涌现"只是因为用了非线性、不连续的评价指标(如精确匹配EM),若换成平滑指标(如Token级概率),性能其实是随规模连续增长的。无论哪种,规模化(scaling)确实是当前AI进步的主引擎之一(Scaling Law:损失随规模幂律下降)。
我认为涌现能力的讨论提醒我们:大模型的"智能"是统计与规模的产物,不等于真正的理解——这也是为什么它仍会一本正经地胡说(幻觉)。理解涌现,有助于我们既不过度神化、也不轻视大模型。
多模态的核心是让不同模态在同一语义空间中对齐(align)。以CLIP为例说明最经典的思路:
CLIP(对比语言-图像预训练):用4亿"图片-文本"对,分别用图像编码器(ViT/ResNet)和文本编码器(Transformer)各自编码,然后通过对比学习训练:让"匹配的图文对"的嵌入向量相似度高、不匹配的对相似度低。目标函数是在一批N个样本中做N×N的对比交叉熵(InfoNCE)。训练后,图像和文本被投影到同一向量空间——于是"猫的照片"和"a photo of a cat"在空间中靠近,实现零样本分类(zero-shot):用文本描述当分类器即可。
GPT-4V 类的视觉语言模型(VLM):通常先由视觉编码器(如ViT)把图像变成一组视觉token,再把这些视觉token拼接到文本token序列中,一起送入大语言模型做自回归生成。模型在训练中学会了"把视觉token当作特殊词"来理解图像内容并对话。
关键挑战:① 异构对齐——图像像素与离散文本语义鸿沟大;② 细粒度定位——早期模型只懂"图里有猫",现在要能指出"猫在左下角"(需 grounding / 视觉定位);③ 模态冲突——当图文不一致时模型易被骗(如图像说"停止"而文本说"前进")。当前前沿正走向任意模态(Any-to-Any)统一模型。
Overfitting happens when a model learns the training data too well—including its noise and accidental patterns—so it performs well on training data but poorly on unseen test data. The model has low bias but high variance.
Common signs: training loss keeps decreasing while validation loss starts increasing.
Mitigation with regularization:
In short, regularization trades a little training accuracy for much better generalization.
中文注:要点是高方差、训练集好而验证集差;缓解手段覆盖数据、L1/L2、Dropout、早停。AI工程岗常直接追问"Dropout在测试时怎么处理"(按保留概率缩放或关闭Dropout)。
策略梯度(Policy Gradient)直接对策略 π_θ(a|s) 的参数 θ 做梯度上升,最大化期望回报 J(θ)=E[∑γᵗ r_t]。梯度估计为 ∇J ≈ E[ ∇log π_θ(a|s) · A(s,a) ],其中 A 是优势函数(Advantage),表示"该动作比平均好多少"。直观上:让带来高回报的动作概率增大,低回报的动作概率减小。
朴素策略梯度的问题:① 高方差(采样噪声大);② 步长难控——一次更新可能让策略剧烈变化甚至崩溃。
PPO(Proximal Policy Optimization)是OpenAI在RLHF中实际采用的主流算法,核心思想是"限制每次更新的幅度,让训练平滑稳定"。它引入裁剪目标(clipped surrogate objective):计算新旧策略的概率比 r_t(θ)=π_θ/π_old,当 r_t 偏离1超过区间 [1-ε, 1+ε] 时,将目标裁剪,避免过大的策略更新。配合广义优势估计(GAE)降低优势估计的方差,PPO在稳定性和样本效率间取得平衡,成为训练对话大模型的事实标准。
补充:与PPO并列的还有 TRPO(信赖域策略优化,用KL约束代替裁剪)、以及更近的 DPO(直接偏好优化,绕开显式奖励模型与RL,用分类式损失直接拟合偏好)。
扩散模型(如DDPM,后发展为Stable Diffusion/DiT)用一个"先破坏、再学习修复"的优雅框架生成数据:
前向过程(加噪):按固定方差 schedule,逐步往真实数据 x_0 中添加高斯噪声,T步后 x_T 近似纯噪声。这是无参数的马尔可夫链。
反向过程(去噪):训练一个神经网络 ε_θ 预测每一步所加的噪声,训练目标是 min ‖ ε − ε_θ(x_t, t) ‖²。推理时从纯噪声 x_T 出发,反复"预测噪声并减去",逐步还原出清晰样本。
与GAN对比:
我的看法:二者本质范式不同——GAN是"对抗逼出真实",扩散是"逐步去噪逼近数据分布",扩散用更多计算换来了稳定性与质量,契合当前算力充裕的趋势。
二者都是归一化激活、加速训练、缓解内部协变量偏移(Internal Covariate Shift)的技术,但归一化的维度不同:
Batch Norm(BN):在一个batch内、沿batch维度对同一个特征通道做归一化。它依赖batch大小,需要存全局running mean/var。问题:① 依赖较大batch,batch太小(如在线训练、RNN)时估计不准;② 训练和推理行为不一致(推理用滑动平均);③ 对序列/变长输入不友好。
Layer Norm(LN):在单个样本内、沿特征维度做归一化,不依赖batch。每个样本独立计算均值方差,训练和推理一致,非常适合小batch、变长序列、自回归生成。
适用场景:BN 经典用于CNN(CV)——CNN各通道语义稳定、batch大,BN效果好;LN 是Transformer/RNN(NLP)的标准配置——序列长度可变、常在小batch甚至batch=1下运行,LN最稳。这也是为什么GPT/BERT全用Layer Norm(及其变体 RMS Norm)。
在深层网络的反向传播中,梯度需沿链式法则从输出层逐层乘回输入层。若每层梯度(局部导数)的模大多小于1,连乘后趋近于0——梯度消失,浅层参数几乎不更新;若大多大于1,连乘后爆炸到NaN——梯度爆炸。
常见成因:① 激活函数(如sigmoid/tanh)在饱和区导数极小,是消失主因;② 权重初始化不当、层数过深、学习率过大。
解决手段:
AI Agent 是能自主感知环境、规划、调用工具并行动以达成目标的智能体,而不仅是"给一个问题返回一个答案"的单个模型。
传统AI系统:输入→模型→输出,是被动、单轮、无状态的函数。如一个翻译模型,你给它句子它返回译文,不记得上下文,不会主动查证。
AI Agent具备几个新特征:
前沿关联:AutoGPT、LangChain、GPTs、以及具身智能(Embodied AI,让Agent在物理/仿真环境行动)是当前热点。我理解 Agent 的本质是把LLM从" predictor"升级为" actor"——用大模型做"大脑"做决策,外围接上感知与执行。挑战在于可靠性(多步易出错)、可控性、成本,尤其是"幻觉在长链路中被放大"。
The Transformer (Vaswani et al., 2017) is a sequence model built entirely on attention, without recurrence or convolution. It has an encoder and a decoder, each a stack of identical layers.
Each encoder layer contains: (1) Multi-Head Self-Attention, and (2) a position-wise Feed-Forward Network; both wrapped with residual connections and Layer Normalization. The decoder adds a Masked Self-Attention (so it cannot peek at future tokens) and a Cross-Attention over encoder outputs.
Because attention is order-agnostic, the model adds Positional Encoding to inject sequence order.
Why self-attention is effective:
This design is why Transformers power GPT, BERT, ViT and modern multimodal models.
中文注:答题覆盖了编码器/解码器结构、掩码注意力、位置编码,并从长程依赖/并行/可解释四方面解释自注意力有效性,是完整高分回答。
RLHF means Reinforcement Learning from Human Feedback. A pre-trained LLM is good at predicting text, but not necessarily at being helpful, honest, and harmless. RLHF aligns the model with human preferences.
It has three steps: (1) SFT—fine-tune on high-quality demonstrations; (2) train a Reward Model from human preference rankings of model outputs; (3) optimize the policy with PPO to maximize the reward, while a KL penalty keeps it close to the SFT model.
Why it matters: human judgments about "good answers" are subtle and cannot be written as explicit rules. RLHF turns this fuzzy preference into a trainable scalar signal, turning a "text completer" into a usable "assistant". It is the key reason ChatGPT feels conversational and follows instructions. Limitations include reward hacking and high annotation cost—recent methods like DPO simplify the pipeline.
中文注:回答点明"预训练只学语言统计,RLHF对齐人类意图",并提及DPO作为前沿简化方案,体现对对齐技术全貌的掌握。
我先谈局限,再谈医疗场景的安全设计。
大模型的主要局限:
医疗诊断AI的安全设计(我会这样考虑):
我的核心观点:越是高风险的领域,越要把AI当作"可信赖的协作者"而非"自主决策者",用工程与制度双重护栏兜住模型的不可靠性。
LeNet(1998)→AlexNet(2012, 深度学习引爆)→VGG/GoogLeNet→ResNet(2015, 残差)→DenseNet;序列:RNN→LSTM/GRU→Transformer(2017);生成:AE→VAE→GAN→Diffusion(2020+)
Seq2Seq(2014)→Attention(2015)→Transformer(2017)→BERT/GPT-1(2018)→GPT-3少样本(2020)→ChatGPT/RLHF(2022)→GPT-4多模态(2023)→开源潮(Llama/InternLM, 2023-2024)
注意力 Attention / 嵌入 Embedding / 微调 Fine-tuning / 提示 Prompt / 涌现 Emergence / 对齐 Alignment / 幻觉 Hallucination / .token 词元
线性代数(矩阵、特征值)、概率统计(贝叶斯、信息论)、微积分(链式法则、梯度)、最优化(梯度下降、凸优化初步)
| 类别 | 资源名称 | 用途 |
|---|---|---|
| 入门课程 | 吴恩达《Machine Learning Specialization》(Coursera) | 建立ML整体框架 |
| 深度学习 | 《深度学习专项课程》/ 李宏毅《机器学习》(B站) | 中文友好、覆盖Transformer与RL |
| 经典教材 | 《动手学深度学习》(D2L, 中文开源) | 理论+可运行代码,强烈推荐 |
| 理论补充 | Goodfellow《Deep Learning》(花书) | 数学推导与原理深入 |
| 必读论文 | Attention Is All You Need / ResNet / BERT / DDPM | 面试高频引用 |
| 实践框架 | PyTorch 官方教程 + Kaggle 入门赛 | 动手能力训练 |
| 前沿追踪 | arXiv(cs.CV/cs.CL/cs.LG)、机器之心、PaperWeekly | 了解最新进展 |
| 英文提升 | NeurIPS/CVPR 论文摘要 + 英文技术博客 | 适应英文面试 |
| 本地平台 | 上海人工智能实验室、"书生"InternLM 开源社区 | 了解交大系AI生态 |
本站为独立信息整理平台,并非学校招生官网,未获学校招生代理授权。招生要求与时间以学校官方最新通知为准。
同一栏目下的其他内容
二次选拔
南开大学 2026年官方招生简章文字版,本站已归档 PDF 原件,正文摘自官方简章,可按招生区域、报名条件、选拔程序、录取规则快速检索。
阅读全文 →
二次选拔
二次选拔
泰山 计算机科学取向 · 新生入学二次选拔 · 面试备考指南 面试形式与核心考察点 · 30 道专业面试真题(含参考回答) 专业背景知识 · 自我介绍模板 · 备考技巧 · 附录 基础学科拔尖学生培养试验计划(珠峰计划)
阅读全文 →