十二、人工智能(拔尖英才试点班) — 面试备考指南

相关学校:上海交通大学

十二、人工智能(拔尖英才试点班) — 面试备考指南

12.1 方向概况与 SJTU 特色

人工智能(拔尖英才试点班)是上海交通大学致远荣誉计划面向AI领域设立的拔尖人才培养方向,依托电子信息与电气工程学院、人工智能学院、吴文俊人工智能学院等强势平台,强调"厚基础、强工程、重前沿"的育人理念。该方向面向全校 TOP10% 新生二次选拔,旨在培养兼具扎实工程能力与世界级前沿视野的AI领军人才。

上海交大在人工智能领域拥有全国顶尖的科研生态:2024年正式成立人工智能学院,与上海人工智能实验室(浦江实验室)、清源研究院、图像处理与模式识别研究所(IPP)等深度协同。在CVPR、NeurIPS、ICML等国际顶会上,交大常年位居国内高校第一梯队;在大模型方向,上海人工智能实验室牵头研发的"书生"(InternLM)系列开源大模型即诞生于此生态。这些平台为本科生提供了从算法研究到工程落地、从算力支撑到产业转化的全链路培养环境。

该方向与理科班的核心区别在于:更强调工程实现、系统构建与前沿应用——学生需要不仅能理解模型原理,还要能动手复现、训练并部署真实系统(如视觉识别、对话机器人、多模态应用)。面试官会重点关注你的代码能力、项目经历、以及对最新AI进展的跟踪程度。

核心培养特色(拔尖英才试点班)

  • 本博贯通衔接:优秀学生可打通本科—博士培养通道,提前进入实验室开展系统性研究
  • 强工程训练:Python/C++ 编程、深度学习框架(PyTorch/TensorFlow)、分布式训练与GPU集群使用是基本功
  • 前沿导向:课程与课题覆盖大模型、多模态、AI Agent、计算机视觉、强化学习等热点方向
  • 校企协同:与上海人工智能实验室、头部科技企业联合培养,提供真实场景的科研项目
  • 国际化视野:英文面试占比高,要求能阅读顶会论文并做英文技术汇报

12.2 核心知识体系

下表梳理该方向面试最常考察的知识模块,建议结合右侧权重分配复习精力。

知识模块核心内容面试权重
深度学习基础全连接/卷积/循环网络、激活函数、损失函数、反向传播★★★★★
Transformer 与大模型Self-Attention、位置编码、预训练/微调、RLHF、涌现能力★★★★★
计算机视觉CNN、目标检测、图像分割、视觉Transformer(ViT)★★★★
自然语言处理词向量、Seq2Seq、BERT、GPT、指令微调★★★★
强化学习马尔可夫决策过程、策略梯度、PPO、价值函数★★★
生成模型GAN、扩散模型(Diffusion)、自回归生成、VAE★★★
训练技巧归一化(BN/LN)、正则化(Dropout/L2)、优化器(Adam/SGD)★★★★
多模态与AgentCLIP、跨模态对齐、AI Agent、世界模型★★★

必知经典模型

LeNet / AlexNet / ResNet(CV)、RNN/LSTM/GRU(序列)、Transformer / BERT / GPT(NLP)、GAN / DDPM(生成)、DQN / PPO(强化学习)

必知核心概念

反向传播、梯度下降、过拟合/泛化、注意力机制、Embedding、Tokenization、Zero-shot / Few-shot、幻觉(Hallucination)

必知前沿方向

大语言模型(LLM)、多模态大模型、AI Agent、世界模型(World Model)、具身智能(Embodied AI)、模型对齐(Alignment)

必会工程能力

Python 熟练、PyTorch 基础、能在 Colab/服务器上跑通一个小型训练脚本、读懂 arXiv 论文并复现关键结果

十二、人工智能(拔尖英才试点班)— 自我介绍模板

面试通常以1-2分钟自我介绍开始,AI方向英文提问比例较高,建议同时准备中英文两版讲稿。以下是三个不同风格的模板,请结合自身真实经历修改。

模板一:学术导向型(适合有编程/竞赛/项目经历的同学)

各位老师好!我是XXX,来自XX省XX市,现被上海交通大学XX专业录取。非常荣幸能申请致远荣誉计划人工智能(拔尖英才试点班)方向。

我对人工智能的兴趣始于高中。当时我自学了Python,并参加了XX信息学奥赛/科创比赛,用机器学习完成了一个小项目——"基于XX数据的水果图像分类",第一次体会到让模型自己"学会"判断的神奇。为了理解背后的原理,我啃完了吴恩达的机器学习课程和《动手学深度学习》,亲手用PyTorch实现了CNN和Transformer,跑通了MNIST和CIFAR-10。

我深知AI不是调包那么简单。我看到ResNet用残差连接解决了深层网络退化问题,也读到AlphaGo和ChatGPT如何改变世界——这些突破背后是扎实的数学、工程与系统能力。这正是我渴望进入拔尖班的原因:我想在真正的研究环境里,从复现顶会论文走向提出自己的方法。

未来我希望深耕大模型或多模态方向,让AI更好地理解和服务于真实世界。感谢各位老师!

适用:有编程基础、竞赛或项目经历的同学。重点突出动手能力(具体项目、所用框架、跑通过什么模型)和明确的兴趣方向。

模板二:综合素质型(适合数理强、全面发展的同学)

各位老师上午好!我是XXX,来自XX,被上海交通大学XX专业录取。能够站在这里参加致远荣誉计划的面试,我感到非常激动。

高中三年,我一直在学业和综合素养之间寻找平衡。我的数理成绩始终名列前茅——数学稳定在140+,物理也在90分以上;我特别享受拆解难题的过程,那种反复推敲后"想通了"的瞬间让我着迷。同时,我自学了C++和Python,做过一些数据分析和简单爬虫,对"用计算解决问题"产生了持续的热情。

我关注AI,不只是因为热门,更因为它正处在改变世界的关键节点。我读过关于ChatGPT和 AlphaFold 的报道,意识到 AI 已经能从语言走向科学发现。但我也清楚,真正推动这个领域的是那些既懂数学、又会写代码、还能提出好问题的人——这正是拔尖班要培养的能力。

我明白课程难度和竞争压力都不小,但我相信自己的学习能力和抗压能力。如果有幸入选,我会全力以赴,在AI这条路上扎实走下去。谢谢!

适用:无AI专项经历但数理优异、学习能力强且对AI有真诚兴趣的同学。突出可迁移能力(数学、编程自学)与成长型心态。

模板三:跨专业转方向型(英文版 / English Version)

Good morning, professors. My name is XXX, and I am currently admitted to the School of XX at Shanghai Jiao Tong University. It is a great honor to be here for the interview of the Zhiyuan Honors Program, Artificial Intelligence (Elite Pilot Class).

Although my enrolled major is XX, my true passion lies in artificial intelligence. During high school, I taught myself Python and completed several online courses on machine learning. I was fascinated by the idea that a model can learn patterns from data without being explicitly programmed. I built a small image classifier and a simple chatbot, which gave me hands-on experience with neural networks and PyTorch.

I chose to apply for the AI Elite Class because SJTU offers a world-class research environment—the School of Artificial Intelligence, the Shanghai AI Laboratory, and the "InternLM" large model ecosystem. I want to grow from reproducing papers to conducting original research, especially in large language models or multimodal learning.

I understand this program is demanding, but I am prepared to work hard, learn the required mathematics, and contribute to real projects. Thank you for your time and consideration.

适用:原录取专业非AI、但已自主积累编程/ML基础、希望转入AI方向的同学。英文自我介绍展示语言与国际交流能力,面试中常被要求用英文简述研究兴趣。

自我介绍要点总结

  • 时长严格控制在1.5-2分钟(中文约300-400字,英文约200-250词),切忌超时
  • 结构:我是谁 → 技术亮点(项目/竞赛/自学的框架与模型) → 为什么选AI拔尖班 → 未来规划 → 致谢
  • AI方向务必准备英文版,常会被追问"请用英文介绍你的项目"
  • 用具体技术名词体现专业度(如"用PyTorch实现了一个3层CNN"优于"我做过深度学习")
  • 提前练习至流畅自然,能脱稿回答追问
十二、面试真题 20 题(第 1–10 题)
1 深度学习和传统机器学习(如SVM、随机森林)的核心区别是什么?专业基础
【核心逻辑】

这是AI方向的"试金石"问题,考察你是否真正理解深度学习的本质,而非只会调包。关键要讲清特征表达的差异。

【参考回答】

我认为二者最核心的区别在于特征学习方式:

传统机器学习依赖人工特征工程(Feature Engineering)。以图像分类为例,用SVM或随机森林前,必须先用SIFT、HOG等手工设计的特征提取器把图像转成向量,再交给模型学习"特征→标签"的映射。模型本身不负责"看"像素,只负责在给定特征上做决策。特征是人设计的,模型的表达能力受限于特征质量。

深度学习则是端到端(End-to-End)的表示学习(Representation Learning)。以CNN为例,低层卷积自动学习边缘、纹理,中层组合成部件,高层形成语义概念——特征是由网络从数据中自己学出来的,无需人工设计。这种逐层抽象的能力让深度学习在图像、语音、自然语言等"原始信号"任务上远胜传统方法。

此外还有几点差异:①数据需求量——深度学习需要大量数据才能发挥优势,传统方法在小样本上更稳;②可解释性——SVM、决策树相对可解释,深度网络常被视为黑箱;③计算成本——深度学习依赖GPU大规模并行训练。需要强调的是,二者并非替代关系:在表格数据、小样本场景,梯度提升树(如XGBoost)往往仍优于深度学习。

备考提示:能举"ImageNet竞赛中AlexNet(2012)超越传统方法"这一转折点,会体现你对领域历史的了解。避免说"深度学习就是比传统方法好"这种绝对化表述。
2 请解释卷积神经网络(CNN)的工作原理,并说明它为什么在计算机视觉中如此有效。专业基础
【参考回答】

CNN的核心由卷积层、池化层、全连接层构成,其灵魂是卷积操作:用一个可学习的滤波器(kernel)在输入图像上滑动,做局部加权和,得到特征图(feature map)。

三个关键设计思想:

① 局部连接(Local Connectivity):每个神经元只连接输入的一个局部区域(感受野),而非全连接。这大幅减少参数,也符合视觉"局部相关"的直觉——一个像素的意义主要来自邻居。

② 权值共享(Weight Sharing / Parameter Sharing):同一个滤波器在图像所有位置共用一套参数。这意味着无论猫出现在左上角还是右下角,网络都能用同一套"猫检测器"识别——这就是平移等变性(translation equivariance)。参数量因此从全连接的百万级降到千级。

③ 层次化特征(Hierarchical Features):浅层学边缘/角点,中层学纹理/部件,深层学语义物体。池化层(Max Pooling)提供平移不变性并降维。

为什么有效?本质上CNN把"图像的先验结构"(局部性、平稳性、层次性)硬编码进网络架构,让模型用极少的参数学到强泛化的视觉表示。ResNet(残差网络,2015)进一步用跳跃连接解决深层退化问题,使网络能堆到上百层,奠定了现代视觉基础。

备考提示:能说出"平移等变/不变性""感受野""ResNet解决退化问题"等关键词即可拿高分。若被追问,可补充空洞卷积(Dilated Conv)与分组卷积(Group Conv)等工程细节。
3 什么是RNN?它有什么缺陷?LSTM是如何改进它的?专业基础
【参考回答】

RNN(循环神经网络)是为序列数据设计的:它在时间步之间共享参数,并用隐藏状态h_t传递历史信息,公式化即 h_t = tanh(W·x_t + U·h_{t-1} + b)。理论上它能处理任意长度序列(如句子、时间序列)。

核心缺陷——长程依赖与梯度问题:训练RNN依赖随时间反向传播(BPTT)。梯度在展开的时间步上连乘,当序列较长时,会出现梯度消失(vanishing)或梯度爆炸(exploding),导致网络无法学到远距离的依赖关系(比如句首的词影响句尾的预测)。梯度爆炸可用梯度裁剪(Gradient Clipping)缓解,但梯度消失更难处理。

LSTM(长短期记忆网络)通过引入门控机制(Gating)解决这一问题。它用三个门——遗忘门(forget gate)、输入门(input gate)、输出门(output gate)——以及一个细胞状态(cell state)c_t构成"信息高速公路"。细胞状态以近似恒等映射的方式贯穿时间,梯度可沿它直接回传而不易消失,使模型能记住长期信息。GRU是LSTM的简化版,合并了部分门,参数更少、训练更快。

补充视角:尽管LSTM缓解了长程依赖,但它仍是串行计算、难以并行,训练和推理都慢。这也是Transformer后来取代RNN做序列建模的根本原因——用注意力一次性建立全局依赖,且高度可并行。

备考提示:"LSTM用门控+细胞状态缓解梯度消失"是标准答案;能点出"RNN串行、不可并行,故被Transformer取代"会显示你对技术演进有整体理解。
4 请详细解释 Self-Attention(自注意力)机制,并写出其核心计算公式。专业基础
【参考回答】

Self-Attention是Transformer的基石,它让序列中每个位置都能直接关注(attend to)所有其他位置,从而一次性捕捉任意距离的依赖,无需像RNN那样逐步传递。

对输入序列,先通过三个可学习矩阵投影出Query(Q)、Key(K)、Value(V)三个表示:

Q = X·W_Q, K = X·W_K, V = X·W_V

注意力输出为:

Attention(Q, K, V) = softmax( Q·Kᵀ / √d_k ) · V

直觉理解:Q·Kᵀ 计算"每个Query和每个Key的相关度"(相似度打分),除以√d_k 是为了防止点积过大导致softmax梯度消失(这是缩放点积注意力的关键技巧),softmax 将其归一化为权重,再对V做加权求和——相当于"根据相关性,从全局信息中聚合出该位置的新表示"。

多头注意力(Multi-Head Attention):并行做h组不同的Q/K/V投影(不同子空间),拼接结果再线性变换,让模型同时关注不同类型的关系(句法、语义、指代等)。

为什么重要?① 任意两位置的直接路径长度为O(1),彻底解决长程依赖;② 高度可并行,充分利用GPU;③ 可解释性较好(注意力权重可视化能看到"模型在看哪里")。这正是Transformer在NLP、CV、多模态全面胜出的原因。

备考提示:公式必须写对(尤其是 √d_k 缩放因子及其作用)。能区分 Q/K/V 的物理含义("我想找什么/我能提供什么/我实际携带的信息")是加分项。
5 Transformer 架构是如何工作的?为什么它能取代 RNN 成为序列建模的主流?专业基础
【参考回答】

Transformer(2017, "Attention Is All You Need")完全抛弃了循环和卷积,仅靠注意力机制建模序列。一个编码器-解码器结构包含:

编码器:多层(如6层),每层含多头自注意力 + 前馈网络(FFN),二者都配残差连接 + Layer Normalization。自注意力让每个词看到全句,FFN做逐位置非线性变换。

解码器:在编码器基础上多一个掩码自注意力(Masked Self-Attention)——用因果掩码(causal mask)保证预测第t个词时只能看到1..t-1,符合自回归生成逻辑;再用交叉注意力(Cross-Attention)去关注编码器输出。

位置编码(Positional Encoding):因注意力本身是无序的,需显式注入位置信息。原始论文用正弦/余弦函数编码,现代大模型多用可学习的位置嵌入(RoPE旋转位置编码等)。

为何取代RNN?①并行性:RNN必须按时间步串行,Transformer可整句并行计算,训练速度快几个数量级;②长程依赖:注意力任意位置直连,无梯度消失;③可扩展性:堆叠深度、加宽头数都便于在海量数据上scale up,为后来的大语言模型奠定基础。GPT、BERT、ViT 都是 Transformer 的变体。

备考提示:务必讲清"Masked Self-Attention 保证解码只能看已生成部分"这一关键点,这是GPT能自回归生成的根本。能提一句"GPT只用解码器、BERT只用编码器"更显功力。
6 什么是"预训练 + 微调"(Pre-training & Fine-tuning)范式?它为什么成为现代AI的主流?专业基础
【参考回答】

预训练-微调是一种迁移学习(Transfer Learning)范式,分两阶段:

① 预训练(Pre-training):在海量无标注/弱标注数据上,用自监督任务训练一个通用基础模型。例如BERT用"掩码语言建模(MLM)"预测被遮盖的词,GPT用"下一个词预测(CLM)"做自回归生成。模型在此过程中学到了通用的语言/视觉表示。

② 微调(Fine-tuning):用特定下游任务的小规模标注数据,继续训练(通常只调最后几层或全部参数)使模型适配具体任务,如情感分类、机器翻译、医疗问答。

为什么成为主流?

  • 数据效率:下游任务标注贵且少,预训练已"借用"了海量无标注数据的知识,微调只需少量样本即可达到好效果。
  • 算力集约:从头训大模型成本极高,预训练一次、多次复用,社会总算力成本大幅下降。
  • 性能优势:基础模型学到的通用表示泛化性极强,往往在下游任务上显著超越从零训练。

这一范式催生了"基础模型(Foundation Model)"时代:一个GPT/InternLM可经微调服务于客服、编程、教育等无数场景。它的延伸形态还包括参数高效微调(PEFT,如LoRA)——只训练少量适配器参数,既省钱又避免灾难性遗忘。

备考提示:能区分"预训练学通用表示、微调学特定任务"并提及 LoRA / 自监督(MLM vs CLM)是高分要点。可联系交大参与的"书生"大模型说明该范式在中文场景的价值。
7 Explain the difference between supervised, unsupervised, and reinforcement learning.英文
【参考回答 / Reference Answer】

These are the three main paradigms of machine learning, distinguished by the type of data and feedback they use.

Supervised learning learns a mapping from input X to output Y using labeled data (x_i, y_i). The goal is to minimize a loss such as cross-entropy or MSE. Examples: image classification, spam detection. Its limitation is the need for large amounts of labeled data, which is often expensive.

Unsupervised learning finds structure in unlabeled data. There is no target y; the model learns the underlying distribution or clusters. Examples: K-means clustering, PCA for dimensionality reduction, and self-supervised pre-training (e.g., predicting a masked word). It is useful for exploratory analysis and representation learning.

Reinforcement learning (RL) is different: an agent interacts with an environment, takes actions, and receives rewards. It learns a policy to maximize cumulative reward, not from fixed labeled pairs. Examples: AlphaGo, robot control, and RLHF for aligning LLMs. Its challenge is sparse and delayed reward signals.

In practice, modern AI often combines them—for instance, LLMs are first pre-trained with unsupervised/self-supervised objectives, then fine-tuned with supervised data, and finally aligned with RL (RLHF).

中文注:回答点明了三者按"是否有标签/反馈类型"区分,并举例,最后用LLM训练流程串联三者,体现体系化理解。

备考提示:英文题要求问题+回答均为英文,可加简短中文注。关键词:labeled / unlabeled / agent / reward / policy。发音与流利度比用词华丽更重要。
8 指令微调(Instruction Tuning)和提示工程(Prompt Engineering)有何区别?专业基础
【参考回答】

二者都旨在让模型更好地完成用户意图,但作用层面和改动对象完全不同:

提示工程(Prompt Engineering)是在推理阶段、不改变模型参数的前提下,通过精心设计输入文本(如"请逐步思考""你是一个资深医生"、Few-shot示例、思维链CoT)来引导模型输出。模型权重完全不变,成本极低,灵活即时,但效果上限受基座模型能力约束,且对提示措辞敏感(提示脆弱性)。

指令微调(Instruction Tuning)是在训练阶段,用"指令-回答"配对数据(如"把这段话翻译成英文:…→…")继续更新模型参数,使模型学会"遵循指令"这一通用能力。ChatGPT的训练流程中,指令微调让GPT-3.5从"续写机器"变成"对话助手"。它改的是模型本身,泛化到未见过的指令也有效,但需要训练数据和算力。

一句话对比:提示工程是"怎么问",指令微调是"教模型学会按指令答"。二者常结合使用——先用指令微调让模型具备通用遵循能力,再用提示工程在具体任务上激发最佳表现。

备考提示:能关联 ChatGPT / InstructGPT 论文(欧阳龙等,2022)显示你读过原始工作。提一句"RLHF在指令微调之后进一步对齐人类偏好"可自然衔接下一题。
9 什么是 RLHF(基于人类反馈的强化学习)?它如何让大模型更符合人类偏好?学术思维
【参考回答】

RLHF(Reinforcement Learning from Human Feedback)是让大语言模型(LLM)对齐(align)人类价值观与偏好的关键技术,是ChatGPT"好用"的核心秘密。它分三步:

第一步:监督微调(SFT)。用人工撰写的"高质量问答"数据微调基座模型,让它先学会基本的指令遵循和对话格式。

第二步:训练奖励模型(Reward Model, RM)。对同一提示,让模型生成多个回答,由人类标注员排序( preference ranking),如"回答A优于B优于C"。用这些数据训练一个奖励模型,其打分 R(x, y) 预测人类偏好——相当于把"人类判断"压缩进一个可微函数。

第三步:强化学习优化。以SFT模型为策略初始值,用PPO(Proximal Policy Optimization)算法最大化奖励模型给出的分数,同时用KL散度约束策略不要偏离SFT模型太远(防止"奖励黑客"、语言崩坏)。目标函数大致为:max E[ R(x,y) ] − β·KL( π_θ ‖ π_SFT )。

为什么有效?人类对"好回答"的判断是整体、模糊、难以写成规则的(有用、诚实、无害);RLHF把这种模糊偏好转化为可优化的标量奖励,使模型在不重写代码的情况下"学会讨人喜欢"。它解决的正是"预训练只学语言统计、不懂人类意图"的鸿沟。局限是奖励模型可能被人骗(reward hacking)、标注成本高、可能削弱模型多样性。

备考提示:三步流程(SFT→RM→PPO)必须讲清,KL约束的作用(防崩坏)是常被追问的深入点。可提 DPO(Direct Preference Optimization)作为更近的简化替代方案。
10 什么是大模型的"涌现能力"(Emergent Abilities)?请举例并谈谈你的理解。学术思维
【参考回答】

"涌现能力"指:当模型规模(参数量、数据量、算力)超过某个临界阈值后,会突然表现出小规模模型完全不具备的能力,而这一能力并非被显式训练过。Wei等人(2022)将其形式化:对小规模模型,某任务的性能接近随机;超过阈值后性能陡然跃升到可用水平。

经典例子:

  • 少样本学习(Few-shot / In-context Learning):GPT-3 在足够大之后,无需梯度更新,仅给几个示例就能完成新任务——小模型完全没有此能力。
  • 链式思维推理(Chain-of-Thought):大模型能"一步步思考"解数学应用题,小规模模型只会乱猜。
  • 指令遵循、多步推理、代码生成等,都是大模型阶段才"冒出来"的。

我的理解(含争议):涌现现象有两类解释。① 真实能力跃迁:规模带来表示的质的改变;② 度量假象(metric artifact):有研究指出,许多"涌现"只是因为用了非线性、不连续的评价指标(如精确匹配EM),若换成平滑指标(如Token级概率),性能其实是随规模连续增长的。无论哪种,规模化(scaling)确实是当前AI进步的主引擎之一(Scaling Law:损失随规模幂律下降)。

我认为涌现能力的讨论提醒我们:大模型的"智能"是统计与规模的产物,不等于真正的理解——这也是为什么它仍会一本正经地胡说(幻觉)。理解涌现,有助于我们既不过度神化、也不轻视大模型。

备考提示:能说出"涌现可能部分源于度量不连续"这一较新观点(2023 Schaeffer等),会显著区别于普通考生。务必强调"规模/Scaling Law"背景。
十二、面试真题 20 题(第 11–20 题)
11 多模态模型(如CLIP、GPT-4V)是如何融合不同模态(图像/文本)信息的?学术思维
【参考回答】

多模态的核心是让不同模态在同一语义空间中对齐(align)。以CLIP为例说明最经典的思路:

CLIP(对比语言-图像预训练):用4亿"图片-文本"对,分别用图像编码器(ViT/ResNet)和文本编码器(Transformer)各自编码,然后通过对比学习训练:让"匹配的图文对"的嵌入向量相似度高、不匹配的对相似度低。目标函数是在一批N个样本中做N×N的对比交叉熵(InfoNCE)。训练后,图像和文本被投影到同一向量空间——于是"猫的照片"和"a photo of a cat"在空间中靠近,实现零样本分类(zero-shot):用文本描述当分类器即可。

GPT-4V 类的视觉语言模型(VLM):通常先由视觉编码器(如ViT)把图像变成一组视觉token,再把这些视觉token拼接到文本token序列中,一起送入大语言模型做自回归生成。模型在训练中学会了"把视觉token当作特殊词"来理解图像内容并对话。

关键挑战:① 异构对齐——图像像素与离散文本语义鸿沟大;② 细粒度定位——早期模型只懂"图里有猫",现在要能指出"猫在左下角"(需 grounding / 视觉定位);③ 模态冲突——当图文不一致时模型易被骗(如图像说"停止"而文本说"前进")。当前前沿正走向任意模态(Any-to-Any)统一模型。

备考提示:"对齐到同一空间 + 对比学习"是核心。能提到 InfoNCE、zero-shot、视觉token拼接进LLM,已属深度回答。
12 Explain overfitting and how you can mitigate it using regularization techniques.英文
【参考回答 / Reference Answer】

Overfitting happens when a model learns the training data too well—including its noise and accidental patterns—so it performs well on training data but poorly on unseen test data. The model has low bias but high variance.

Common signs: training loss keeps decreasing while validation loss starts increasing.

Mitigation with regularization:

  • More data / Data augmentation: the most fundamental fix—more diverse examples reduce variance.
  • L2 regularization (weight decay): add λ‖w‖² to the loss, pushing weights small and smooth, discouraging extreme coefficients.
  • L1 regularization: add λ‖w‖₁, which encourages sparsity (some weights become exactly zero), useful for feature selection.
  • Dropout: during training, randomly set a fraction of neurons to zero each step, forcing the network to not rely on any single neuron—an ensemble-like effect.
  • Early stopping: stop training when validation loss stops improving, before the model memorizes noise.
  • Batch/Layer Normalization and reduced model capacity also help.

In short, regularization trades a little training accuracy for much better generalization.

中文注:要点是高方差、训练集好而验证集差;缓解手段覆盖数据、L1/L2、Dropout、早停。AI工程岗常直接追问"Dropout在测试时怎么处理"(按保留概率缩放或关闭Dropout)。

备考提示:英文术语务必准确:bias / variance / weight decay / sparsity / ensemble。可提前准备"Dropout推理时如何缩放"这类follow-up。
13 强化学习中"策略梯度"与 PPO 算法的基本思想是什么?专业基础
【参考回答】

策略梯度(Policy Gradient)直接对策略 π_θ(a|s) 的参数 θ 做梯度上升,最大化期望回报 J(θ)=E[∑γᵗ r_t]。梯度估计为 ∇J ≈ E[ ∇log π_θ(a|s) · A(s,a) ],其中 A 是优势函数(Advantage),表示"该动作比平均好多少"。直观上:让带来高回报的动作概率增大,低回报的动作概率减小。

朴素策略梯度的问题:① 高方差(采样噪声大);② 步长难控——一次更新可能让策略剧烈变化甚至崩溃。

PPO(Proximal Policy Optimization)是OpenAI在RLHF中实际采用的主流算法,核心思想是"限制每次更新的幅度,让训练平滑稳定"。它引入裁剪目标(clipped surrogate objective):计算新旧策略的概率比 r_t(θ)=π_θ/π_old,当 r_t 偏离1超过区间 [1-ε, 1+ε] 时,将目标裁剪,避免过大的策略更新。配合广义优势估计(GAE)降低优势估计的方差,PPO在稳定性和样本效率间取得平衡,成为训练对话大模型的事实标准。

补充:与PPO并列的还有 TRPO(信赖域策略优化,用KL约束代替裁剪)、以及更近的 DPO(直接偏好优化,绕开显式奖励模型与RL,用分类式损失直接拟合偏好)。

备考提示:"PPO靠clip限制更新幅度"是必背点;能对比 TRPO/DPO 显示前沿跟踪。RLHF→PPO→DPO 这条线面试官极爱追问。
14 扩散模型(Diffusion Model)的原理是什么?与 GAN 相比有何优劣?学术思维
【参考回答】

扩散模型(如DDPM,后发展为Stable Diffusion/DiT)用一个"先破坏、再学习修复"的优雅框架生成数据:

前向过程(加噪):按固定方差 schedule,逐步往真实数据 x_0 中添加高斯噪声,T步后 x_T 近似纯噪声。这是无参数的马尔可夫链。

反向过程(去噪):训练一个神经网络 ε_θ 预测每一步所加的噪声,训练目标是 min ‖ ε − ε_θ(x_t, t) ‖²。推理时从纯噪声 x_T 出发,反复"预测噪声并减去",逐步还原出清晰样本。

与GAN对比:

  • 训练稳定性:GAN是生成器与判别器的极小极大博弈,训练极不稳定、易模式崩溃(mode collapse);扩散模型是简单的回归去噪,训练非常稳定。
  • 样本质量与多样性:扩散模型(尤其Latent Diffusion)在保真度和覆盖度上普遍优于GAN,是当前文生图(Midjourney、SD)的主流;GAN胜在推理快(一步生成)。
  • 速度:扩散需多步迭代(几十到上千步),慢;GAN一步出图。后续工作(如DDIM、_consistency model_)在提速。

我的看法:二者本质范式不同——GAN是"对抗逼出真实",扩散是"逐步去噪逼近数据分布",扩散用更多计算换来了稳定性与质量,契合当前算力充裕的趋势。

备考提示:说清"前向加噪固定、反向学去噪"即可。能提到 Latent Diffusion(在隐空间扩散,省算力)和 Stable Diffusion 是极佳加分项。
15 Batch Normalization 和 Layer Normalization 的区别是什么?分别适用于什么场景?专业基础
【参考回答】

二者都是归一化激活、加速训练、缓解内部协变量偏移(Internal Covariate Shift)的技术,但归一化的维度不同:

Batch Norm(BN):在一个batch内、沿batch维度对同一个特征通道做归一化。它依赖batch大小,需要存全局running mean/var。问题:① 依赖较大batch,batch太小(如在线训练、RNN)时估计不准;② 训练和推理行为不一致(推理用滑动平均);③ 对序列/变长输入不友好。

Layer Norm(LN):在单个样本内、沿特征维度做归一化,不依赖batch。每个样本独立计算均值方差,训练和推理一致,非常适合小batch、变长序列、自回归生成。

适用场景:BN 经典用于CNN(CV)——CNN各通道语义稳定、batch大,BN效果好;LN 是Transformer/RNN(NLP)的标准配置——序列长度可变、常在小batch甚至batch=1下运行,LN最稳。这也是为什么GPT/BERT全用Layer Norm(及其变体 RMS Norm)。

备考提示:"BN沿batch、LN沿特征(样本内)"是核心区分;能关联"Transformer用LN因为序列变长、batch小"即满分。可延伸至 Group Norm / Instance Norm。
16 梯度消失和梯度爆炸是什么?有哪些解决手段?专业基础
【参考回答】

在深层网络的反向传播中,梯度需沿链式法则从输出层逐层乘回输入层。若每层梯度(局部导数)的模大多小于1,连乘后趋近于0——梯度消失,浅层参数几乎不更新;若大多大于1,连乘后爆炸到NaN——梯度爆炸。

常见成因:① 激活函数(如sigmoid/tanh)在饱和区导数极小,是消失主因;② 权重初始化不当、层数过深、学习率过大。

解决手段:

  • 激活函数:用 ReLU 及其变体(LeakyReLU、GELU)替代sigmoid,缓解饱和消失;
  • 权重初始化:Xavier / Kaiming 初始化使每层输入输出方差一致;
  • 残差连接(ResNet):跳跃连接提供梯度直通路(H(x)=F(x)+x),使梯度可无损回传,是训练百层以上网络的关键;
  • 归一化:Batch/Layer Norm 稳定每层分布,间接稳定梯度;
  • 梯度裁剪(Gradient Clipping):对梯度范数设上限,专门对付爆炸(RNN训练常用);
  • LSTM门控:缓解RNN中的长程梯度问题(见Q3)。
备考提示:"残差连接=梯度直通路"是最常被追问的深入点。能把梯度问题与第3题(RNN/LSTM)、第15题(归一化)串联,体现知识网络完整。
17 你认为 AI Agent 是什么?它和传统 AI 系统(如单个模型)有什么区别?学术思维
【参考回答】

AI Agent 是能自主感知环境、规划、调用工具并行动以达成目标的智能体,而不仅是"给一个问题返回一个答案"的单个模型。

传统AI系统:输入→模型→输出,是被动、单轮、无状态的函数。如一个翻译模型,你给它句子它返回译文,不记得上下文,不会主动查证。

AI Agent具备几个新特征:

  • 规划与推理(Planning):把复杂任务拆成子目标,常用思维链/思维树(CoT/ToT)、ReAct(推理+行动交替)框架;
  • 工具使用(Tool Use):能调用搜索引擎、代码解释器、API、数据库,突破模型参数内知识的时空限制;
  • 记忆(Memory):短期(对话上下文)+ 长期(外部向量库RAG),跨会话积累经验;
  • 自主循环:观察→思考→行动→再观察,直到任务完成,而非一次性输出。

前沿关联:AutoGPT、LangChain、GPTs、以及具身智能(Embodied AI,让Agent在物理/仿真环境行动)是当前热点。我理解 Agent 的本质是把LLM从" predictor"升级为" actor"——用大模型做"大脑"做决策,外围接上感知与执行。挑战在于可靠性(多步易出错)、可控性、成本,尤其是"幻觉在长链路中被放大"。

备考提示:能讲清 ReAct、RAG、Tool Use 三个关键词即高分。可提一句"交大/上海AI实验室在多智能体(Multi-Agent)方向的工作"体现本地平台了解。
18 Explain the Transformer architecture and why self-attention is effective.英文
【参考回答 / Reference Answer】

The Transformer (Vaswani et al., 2017) is a sequence model built entirely on attention, without recurrence or convolution. It has an encoder and a decoder, each a stack of identical layers.

Each encoder layer contains: (1) Multi-Head Self-Attention, and (2) a position-wise Feed-Forward Network; both wrapped with residual connections and Layer Normalization. The decoder adds a Masked Self-Attention (so it cannot peek at future tokens) and a Cross-Attention over encoder outputs.

Because attention is order-agnostic, the model adds Positional Encoding to inject sequence order.

Why self-attention is effective:

  • Direct long-range connections: any two positions communicate in O(1) steps, avoiding the vanishing-gradient problem of RNNs over long sequences.
  • High parallelism: unlike RNNs that must process tokens one by one, attention computes all positions simultaneously—greatly speeding up training on GPUs.
  • Flexible relational modeling: multi-head attention learns different relationships (syntax, coreference, semantics) in different subspaces.
  • Interpretability: attention weights can be visualized to see what the model focuses on.

This design is why Transformers power GPT, BERT, ViT and modern multimodal models.

中文注:答题覆盖了编码器/解码器结构、掩码注意力、位置编码,并从长程依赖/并行/可解释四方面解释自注意力有效性,是完整高分回答。

备考提示:英文需流畅说出 Multi-Head / Masked / Cross-Attention / Positional Encoding。面试常让在白板画一个encoder层,建议提前练熟。
19 What is RLHF and why is it important for large language models?英文
【参考回答 / Reference Answer】

RLHF means Reinforcement Learning from Human Feedback. A pre-trained LLM is good at predicting text, but not necessarily at being helpful, honest, and harmless. RLHF aligns the model with human preferences.

It has three steps: (1) SFT—fine-tune on high-quality demonstrations; (2) train a Reward Model from human preference rankings of model outputs; (3) optimize the policy with PPO to maximize the reward, while a KL penalty keeps it close to the SFT model.

Why it matters: human judgments about "good answers" are subtle and cannot be written as explicit rules. RLHF turns this fuzzy preference into a trainable scalar signal, turning a "text completer" into a usable "assistant". It is the key reason ChatGPT feels conversational and follows instructions. Limitations include reward hacking and high annotation cost—recent methods like DPO simplify the pipeline.

中文注:回答点明"预训练只学语言统计,RLHF对齐人类意图",并提及DPO作为前沿简化方案,体现对对齐技术全貌的掌握。

备考提示:三步(SFT→Reward Model→PPO)+ KL约束是必讲;能补 DPO 显示对2023后进展的跟踪,是拉开差距的关键。
20 大模型现在有哪些主要局限(如幻觉、推理能力、可解释性)?如果让你设计一个面向医疗诊断的AI系统,你会如何保证其安全性与可靠性?(综合/压力)压力应变
【参考回答】

我先谈局限,再谈医疗场景的安全设计。

大模型的主要局限:

  • 幻觉(Hallucination):模型会生成看似合理但事实错误的内容,因为它本质是"预测下一个最可能 token",不保证真实性;
  • 推理与逻辑:在需要严格多步推理、数学证明、因果推断时仍易出错,涌现的CoT并不总可靠;
  • 可解释性差:千亿参数内部决策难以追溯,出现错误时难定位原因;
  • 知识时效与偏见:训练数据有截止日,且可能继承数据中的社会偏见;
  • 对齐与指令遵从:仍可能被"越狱"诱导输出有害内容。

医疗诊断AI的安全设计(我会这样考虑):

  1. 不让模型"单打独斗":采用 RAG(检索增强)把模型回答锚定在权威医学知识库/指南上,降低幻觉;关键结论必须给出引用来源。
  2. 人机协同而非替代:AI定位为"辅助决策",最终诊断权在医生;输出附带"置信度"与"不确定性提示",低置信时主动建议转人工。
  3. 可解释性前置:输出不仅给结论,还给出"依据哪几条症状/检查结果/指南条目",供医生复核。
  4. 严格验证与监管:在真实部署前做大规模临床验证、回溯测试,符合医疗器械监管(如NMPA/FDA)流程;设错误上报与熔断机制。
  5. 数据隐私:医疗数据脱敏、联邦学习,满足合规。

我的核心观点:越是高风险的领域,越要把AI当作"可信赖的协作者"而非"自主决策者",用工程与制度双重护栏兜住模型的不可靠性。

备考提示:压力题考察"是否盲目崇拜技术"。展现对局限的清醒认知 + 系统化的安全设计(RAG/人机协同/可解释/监管)最为稳妥,切忌说"AI能完全替代医生"。
十二、专业背景知识梳理

12.3 深度学习核心脉络速查

经典网络演进

LeNet(1998)→AlexNet(2012, 深度学习引爆)→VGG/GoogLeNet→ResNet(2015, 残差)→DenseNet;序列:RNN→LSTM/GRU→Transformer(2017);生成:AE→VAE→GAN→Diffusion(2020+)

大模型时间线

Seq2Seq(2014)→Attention(2015)→Transformer(2017)→BERT/GPT-1(2018)→GPT-3少样本(2020)→ChatGPT/RLHF(2022)→GPT-4多模态(2023)→开源潮(Llama/InternLM, 2023-2024)

关键术语中英对照

注意力 Attention / 嵌入 Embedding / 微调 Fine-tuning / 提示 Prompt / 涌现 Emergence / 对齐 Alignment / 幻觉 Hallucination / .token 词元

必备数学基础

线性代数(矩阵、特征值)、概率统计(贝叶斯、信息论)、微积分(链式法则、梯度)、最优化(梯度下降、凸优化初步)

12.4 前沿热点速览(面试谈资)

  • 大语言模型(LLM):Scaling Law、MoE(混合专家)、长上下文(RoPE/位置插值)、模型压缩(量化/蒸馏)
  • 多模态大模型:CLIP、BLIP、GPT-4V、Any-to-Any(图像/视频/音频统一生成)
  • AI Agent 与具身智能:ReAct、Tool Use、RAG、多智能体协作、机器人策略
  • 世界模型(World Model):让模型内部模拟环境动态,代表如Dreamer、Genie
  • 对齐与安全:RLHF/DPO、Constitutional AI、可解释性(Mechanistic Interpretability)、红队测试
十二、备考策略与资源

12.5 备考时间线

报名前(现在 — 7月31日)
核心:夯实基础 + 做小项目
· 完成吴恩达《机器学习》+ 《深度学习专项课程》(Coursera)
· 用 PyTorch 手写并实现 CNN、Transformer、一个训练脚本(MNIST/CIFAR-10)
· 精读1-2篇经典论文:Attention Is All You Need / ResNet
· 准备英文自我介绍与1页项目简历
8月1日 — 面试前
核心:真题精练 + 英文突击
· 熟读本章20题,能脱稿讲清原理与公式
· 每天跟读/背诵英文术语,练熟3道英文题的口语回答
· 准备2-3个自己的"项目故事"(做了什么、用了什么、遇到什么坑)
· 模拟面试:请他人用英文追问"介绍你的项目"
面试当天
核心:沉稳表达 + 诚实应变
· 遇到不会的:先说已知部分,再推理,最后坦诚"这部分我还需深入"
· 被问英文:放慢语速、重述关键词,不必追求华丽
· 带好项目截图/代码链接,主动展示工程能力

12.6 推荐学习资源

类别资源名称用途
入门课程吴恩达《Machine Learning Specialization》(Coursera)建立ML整体框架
深度学习《深度学习专项课程》/ 李宏毅《机器学习》(B站)中文友好、覆盖Transformer与RL
经典教材《动手学深度学习》(D2L, 中文开源)理论+可运行代码,强烈推荐
理论补充Goodfellow《Deep Learning》(花书)数学推导与原理深入
必读论文Attention Is All You Need / ResNet / BERT / DDPM面试高频引用
实践框架PyTorch 官方教程 + Kaggle 入门赛动手能力训练
前沿追踪arXiv(cs.CV/cs.CL/cs.LG)、机器之心、PaperWeekly了解最新进展
英文提升NeurIPS/CVPR 论文摘要 + 英文技术博客适应英文面试
本地平台上海人工智能实验室、"书生"InternLM 开源社区了解交大系AI生态

面试当天 Do's & Don'ts

  • Do:用具体技术名词体现专业度;被追问时展示推导而非背诵;英文题敢开口、重流畅
  • Don't:不懂装懂(专家一眼识破);只说"我用过ChatGPT"却不讲原理;把AI神化为"万能"而忽略局限与安全
返回二次选拔

本站为独立信息整理平台,并非学校招生官网,未获学校招生代理授权。招生要求与时间以学校官方最新通知为准。

RELATED

相关文章

同一栏目下的其他内容

山东大学 · 泰山学堂二次选拔

山东大学 · 泰山学堂

泰山 计算机科学取向 · 新生入学二次选拔 · 面试备考指南 面试形式与核心考察点 · 30 道专业面试真题(含参考回答) 专业背景知识 · 自我介绍模板 · 备考技巧 · 附录 基础学科拔尖学生培养试验计划(珠峰计划)

阅读全文 →