01_机器学习与深度学习基础

2026-07-27 · 备考资料 · 鸡蛋强基计划综合评价

方向 01 / DIRECTION 01

机器学习与深度学习基础

Foundations of Machine Learning & Deep Learning

A. 方向画像与考察重点

机器学习与深度学习基础是人工智能拔尖班二次选拔的核心方向之一，也是后续所有前沿研究（计算机视觉、自动驾驶、语言大模型、具身智能）的共同底座。同济大学依托电子与信息工程学院，与"自主智能无人系统前沿科学中心"紧密配合办学，该方向重点考察学生对数据驱动建模思想的理解深度，而非单纯调包能力。面试官通常通过概念辨析、简单数学推导与算法对比，判断考生是否具备扎实的数理基础与可塑性。

从学校战略看，同济以"工程智能"（AI for Engineering, AI4E）为突破口，并建设有专属大模型 ChatTJ，与上海人工智能实验室在语言大模型、多模态大模型、具身智能等方向深度合作。因此面试中常将基础问题与工程落地、大模型趋势结合，例如"梯度消失为何阻碍了深层网络训练""预训练范式为何成为主流"。导师库涵盖智能算法、机器人学、计算机视觉、自动驾驶等，跨方向关联性极强。

本方向常见的考察角度包括：监督/无监督学习的边界、过拟合与正则化、经典模型（线性回归、SVM、树模型集成）的原理与对比、梯度下降与反向传播的推导、神经网络基础（激活函数、CNN/RNN）、注意力机制、评估指标与偏差-方差权衡，以及前沿的迁移学习与预训练范式。建议考生在背诵核心公式的同时，能用一两个工程例子（如自动驾驶感知、医学影像）说明概念。

关键词机器学习与深度学习基础 · 面试常考维度

概念辨析：监督/无监督、生成/判别、过拟合/欠拟合
经典模型：线性模型、SVM、决策树、随机森林、GBDT、K-means
数学原理：梯度下降、反向传播、softmax、交叉熵梯度
网络基础：激活函数、梯度消失、CNN、RNN
现代架构：Transformer 自注意力机制
评估与权衡：指标、ROC/AUC、偏差-方差
特征工程：归一化、类别不平衡处理
前沿趋势：迁移学习、预训练+微调、大模型基础

B. 核心概念速查

速查表 8 条关键概念 / 公式 / 模型（一句话解释）

梯度下降（Gradient Descent）：沿损失函数负梯度方向迭代更新参数 θ ← θ − η·∇J(θ)，η 为学习率，是最优化的基础方法。
反向传播（Backpropagation）：利用链式法则从输出层向输入层逐层计算梯度，使深层网络可高效训练。
过拟合 / 正则化：模型在训练集表现好、泛化差称过拟合；L1/L2 正则、Dropout、早停等可抑制过拟合。
交叉熵（Cross-Entropy）：衡量预测分布与真实标签的差异，分类任务常用损失；配合 softmax 时梯度简洁。
Softmax：将实数向量映射为概率分布 σ(z)_i = e^{z_i}/Σ_j e^{z_j}，多分类输出层标配。
偏差-方差权衡（Bias-Variance Tradeoff）：模型误差 = 偏差² + 方差 + 噪声；复杂模型偏差低但方差高，需平衡。
注意力机制（Attention）：Attention(Q,K,V) = softmax(QKᵀ/√d_k)V，动态加权关键信息，是 Transformer 核心。
迁移学习（Transfer Learning）：将源域学到的知识迁移到目标域，预训练+微调是其主流范式，支撑大模型应用。

C. 面试真题（Q1–Q30）

Q1请说明监督学习、无监督学习与强化学习的核心区别，并各举一例。

EN: What are the core differences among supervised, unsupervised, and reinforcement learning? Give one example for each.

参考回答（中文）

三者区别在于"是否有标签"以及"学习的信号来源"。监督学习使用带标注的数据 (x, y) 学习输入到输出的映射，如用带类别标签的图像训练分类器。无监督学习面对的是无标注数据，目标是发现数据内在结构，如 K-means 聚类将客户分群。强化学习没有现成标签，智能体通过与环境交互、根据奖励信号不断试错来优化策略，如训练机器人行走或下棋。简单说：监督学习"有标准答案"，无监督学习"自己找规律"，强化学习"靠奖励反馈"。在同济的自动驾驶方向中，感知常用监督学习（目标检测），路径规划可借鉴强化学习思想。

Reference Answer (EN)

Supervised learning learns a mapping from labeled data (x,y), e.g. image classification. Unsupervised learning finds structure in unlabeled data, e.g. K-means clustering. Reinforcement learning learns a policy via reward signals from environment interaction, e.g. training a robot to walk. In short: supervised = labeled answers; unsupervised = discover patterns; RL = learn from rewards.

备考提示：面试常先问这道"开场题"，答清"有无标签、信号来源、目标"三点即可，无需展开公式，但要会举贴切例子。

Q2什么是过拟合与欠拟合？有哪些常用手段缓解过拟合？专业重点

EN: What are overfitting and underfitting? What are common ways to mitigate overfitting?

参考回答（中文）

过拟合指模型在训练集上误差很小、但在验证/测试集上泛化误差大，本质是学到了噪声与训练样本的特定巧合，模型复杂度过高。欠拟合则相反，模型连训练集规律都没学好，偏差大、复杂度不足。缓解过拟合的常用手段有：（1）增大数据量或数据增强；（2）正则化，L2 约束权重幅度、L1 促进稀疏；（3）Dropout 随机丢弃神经元，等效模型集成；（4）早停（Early Stopping），监控验证损失及时停止；（5）简化模型结构、减少参数；（6）集成方法如 Bagging 降低方差。判断方法：训练误差低而验证误差高 → 过拟合；两者都高 → 欠拟合。实际项目中通常先用验证集曲线定位问题，再对症处理。

Reference Answer (EN)

Overfitting: low training error but high generalization error (model too complex, memorizes noise). Underfitting: high error on both train and test (model too simple). Mitigations for overfitting: more/ augmented data; L1/L2 regularization; Dropout; early stopping; simpler architecture; ensemble/Bagging. Diagnose via train vs validation loss curves.

备考提示：必背题。务必能画出"训练/验证误差随复杂度变化"的 U 形或分化曲线并用语言描述，这是体现基本功的关键。

Q3解释偏差-方差权衡（Bias-Variance Tradeoff），它与模型复杂度有何关系？专业重点

EN: Explain the bias-variance tradeoff and its relation to model complexity.

参考回答（中文）

期望泛化误差可分解为：误差 = 偏差² + 方差 + 不可约噪声。偏差衡量模型平均预测与真实值的偏离，反映模型拟合能力的不足；方差衡量训练集微小变化导致模型输出的波动，反映对噪声的敏感。模型越简单（如线性模型），偏差高、方差低；模型越复杂（如深层网络、高阶多项式），偏差降低但方差升高，容易过拟合。因此存在权衡：增加复杂度能降低偏差但抬高方差。实践中通过验证集选择复杂度，或用正则化、集成在不过度增加方差的前提下降低偏差。在自动驾驶等安全敏感场景，往往优先控制方差以保证稳定性。

Reference Answer (EN)

Expected error = bias² + variance + irreducible noise. Bias = systematic error from model's limited capacity; variance = sensitivity to training-set fluctuations. Simple models: high bias, low variance. Complex models: low bias, high variance (overfit). We trade off by choosing complexity via validation, or use regularization/ensembles.

备考提示：能写出"误差 = 偏差² + 方差 + 噪声"这个等式并解释三项含义，是加分项；可结合 Q2 的过拟合一起记忆。

Q4线性回归的原理是什么？其常用损失函数与求解方式有哪些？

EN: What is linear regression? What loss function and solving methods are commonly used?

参考回答（中文）

线性回归假设输出 y 与输入 x 之间存在线性关系：y = wᵀx + b，目标是找到最优权重 w 使预测尽量接近真实值。最常用的损失函数是均方误差 MSE：J(w) = (1/2m)Σ(y_i − ŷ_i)²（加 1/2 便于求导）。求解有两种主流方式：（1）解析解——正规方程（Normal Equation）w = (XᵀX)⁻¹Xᵀy，适用于特征数不大时直接求解；（2）数值解——梯度下降迭代更新 w ← w − η·∇J(w)。线性回归是理解监督学习、损失函数与优化的起点，也是逻辑回归、神经网络的基础。需注意特征间多重共线时会令 XᵀX 接近奇异，此时应引入岭回归（L2）稳定求解。

Reference Answer (EN)

Linear regression models y = wᵀx + b. Loss: MSE J = 1/(2m) Σ(y−ŷ)². Solve by closed form (normal equation w=(XᵀX)⁻¹Xᵀy) or gradient descent. It is the basis for logistic regression and neural nets; use ridge (L2) when multicollinearity makes XᵀX singular.

备考提示：线性回归是"模型—损失—优化"三部曲的范本，面试会顺着它引出梯度下降（见 Q6），要能自然衔接。

Q5逻辑回归（Logistic Regression）到底是回归还是分类算法？它如何做分类？

EN: Is logistic regression a regression or classification algorithm? How does it classify?

参考回答（中文）

逻辑回归名字里有"回归"，但本质是二分类算法。它先像线性回归一样计算线性组合 z = wᵀx + b，再通过 Sigmoid 函数 σ(z) = 1/(1+e^{-z}) 把输出压缩到 (0,1) 区间，解释为样本属于正类的概率 p。设定阈值（通常 0.5），p ≥ 0.5 判为正类，否则判为负类，从而完成分类。其损失函数采用对数似然（交叉熵）而非 MSE，因为 MSE 在 Sigmoid 下会出现非凸、梯度平坦的问题。逻辑回归可经"一对多"或 Softmax 扩展为多分类。它虽简单，却是理解分类、概率建模与交叉熵损失的桥梁，也是神经网络输出层的雏形。

Reference Answer (EN)

Despite the name, logistic regression is a binary classification algorithm. It computes z = wᵀx+b then applies sigmoid σ(z)=1/(1+e^{-z}) to get probability p; classify as positive if p≥0.5. It uses log-likelihood/cross-entropy loss, not MSE, to avoid non-convexity. Extensible to multi-class via one-vs-rest or softmax.

备考提示：常考"为何不用 MSE"。记住：Sigmoid+MSE 会导致梯度消失式平坦，交叉熵梯度更友好（见 Q17）。

Q6请写出梯度下降的参数更新公式，并推导其在均方误差下的具体形式。专业重点

EN: Write the gradient descent update rule and derive its form under MSE loss.

参考回答（中文）

通用更新式为：θ ← θ − η·∇J(θ)，其中 η 是学习率，∇J(θ) 是损失对参数的梯度。以单样本的 MSE 损失 J = 1/2(y − ŷ)²、ŷ = wᵀx + b 为例推导：对权重 w 求偏导，∂J/∂w = (ŷ − y)·∂ŷ/∂w = (ŷ − y)·x = −(y − ŷ)x。于是权重更新为 w ← w − η·(−(y−ŷ)x) = w + η(y−ŷ)x；偏置更新为 b ← b + η(y−ŷ)。该式含义直观：预测误差越大、学习率越高，参数调整步幅越大；误差为 0 时停止更新。批量梯度下降用全量数据求平均梯度，随机梯度下降（SGD）用单样本，小批量（Mini-batch）折中兼顾稳定与效率。

Reference Answer (EN)

Update: θ ← θ − η∇J(θ). For single-sample MSE J=1/2(y−ŷ)², ŷ=wᵀx+b: ∂J/∂w = −(y−ŷ)x, so w ← w + η(y−ŷ)x; similarly b ← b + η(y−ŷ). Step size grows with error and learning rate. Batch/SGD/mini-batch are variants trading stability vs speed.

备考提示：推导题常要求现场写。务必熟练"链式法则 + 1/2 消平方"的技巧，并区分批量/SGD/Mini-batch 三者的梯度来源。

Q7请解释反向传播（Backpropagation）算法的基本思想与数学依据。专业重点

EN: Explain the idea and mathematical basis of backpropagation.

参考回答（中文）

反向传播是训练神经网络高效计算梯度的方法，其数学依据是微积分的链式法则。前向传播时，数据逐层计算激活值并得到损失 J；反向传播则从输出层开始，利用链式法则将损失对输出的梯度逐层往回传，计算出损失对每个参数 w、b 的偏导 ∂J/∂w、∂J/∂b。具体做法是：先算输出层误差 δ^L = ∇_a J ⊙ σ'(z^L)，再递推 δ^l = ((W^{l+1})ᵀδ^{l+1}) ⊙ σ'(z^l)，而 ∂J/∂W^l = δ^l (a^{l-1})ᵀ。这样只需一次前向、一次反向即可获得所有参数梯度，复杂度与网络规模线性相关，远比逐个参数数值微分高效。反向传播 + 梯度下降构成深度学习的训练基石。

Reference Answer (EN)

Backprop efficiently computes gradients via the chain rule. Forward pass computes activations and loss; backward pass propagates output error δ^L = ∇_aJ ⊙ σ'(z^L) layer by layer using δ^l = ((W^{l+1})ᵀδ^{l+1})⊙σ'(z^l), with ∂J/∂W^l = δ^l(a^{l-1})ᵀ. One forward + one backward yields all gradients—far cheaper than numerical differentiation. Together with SGD it trains deep nets.

备考提示：不必死背全部矩阵式，但必须说清"前向算值、反向用链式法则传误差、一次遍历得全部梯度"的脉络，并能解释为何比数值微分快。

Q8什么是梯度消失与梯度爆炸？它们对深层网络有何影响，如何缓解？专业重点

EN: What are vanishing and exploding gradients? Their impact on deep nets and remedies?

参考回答（中文）

在深层网络反向传播中，梯度需连乘多层的激活导数值与权重。若这些因子绝对值普遍小于 1，连乘后梯度指数级趋近于 0，称为梯度消失——浅层参数几乎不更新，网络难以训练。若因子绝对值普遍大于 1，梯度指数级放大直至溢出（NaN），称为梯度爆炸。两者都使深层网络难以收敛。缓解手段：梯度消失可用 ReLU 等非饱和激活函数、批归一化（BatchNorm）、残差连接（ResNet 的跳跃连接让梯度直连）、合理初始化（如 He/Kaiming）；梯度爆炸可用梯度裁剪（Gradient Clipping）、权重正则与同样合理的初始化。这些技术共同支撑了现代深度网络（含 Transformer）的可训练性。

Reference Answer (EN)

In backprop, gradients multiply many factors; if |factor|<1 they vanish (shallow layers stop updating); if |factor|>1 they explode (NaN). Both block deep-net training. Remedies: vanishing → ReLU, BatchNorm, residual connections, proper init (He); exploding → gradient clipping, regularization, proper init.

备考提示：此题容易结合"为什么需要残差网络/Transformer 中的 LayerNorm"追问，建议把缓解手段与具体架构挂钩记忆。

Q9比较 Sigmoid、Tanh 与 ReLU 三种激活函数的优缺点。

EN: Compare sigmoid, tanh, and ReLU activation functions.

参考回答（中文）

Sigmoid 输出 (0,1)，可表示概率，但两端饱和导致梯度消失、输出非零中心化，且计算含指数较慢，现已少用于隐藏层。Tanh 输出 (−1,1)，是零中心化的，收敛通常比 Sigmoid 快，但同样存在饱和梯度消失问题。ReLU 为 f(x)=max(0,x)，计算简单、在正区间梯度恒为 1，有效缓解梯度消失、加速收敛；缺点是"神经元死亡"——负区梯度为 0 使部分神经元永久不激活。其变体 Leaky ReLU、PReLU、ELU 通过给负区一个小的非零斜率来缓解死亡问题。实践中隐藏层常用 ReLU 族，输出层按任务选用 Sigmoid（二分类）或 Softmax（多分类）。

Reference Answer (EN)

Sigmoid (0,1): interpretable as probability but saturates → vanishing gradients, not zero-centered. Tanh (−1,1): zero-centered, faster convergence, still saturates. ReLU max(0,x): cheap, non-saturated positive side, relieves vanishing; downside is "dead neurons". Variants (Leaky/ELU) fix that. Use ReLU family in hidden layers, sigmoid/softmax at output per task.

备考提示："零中心化"与"饱和"是两个高频评价维度，用这两个词评价任何激活函数都能显得专业。

Q10L1 与 L2 正则化有什么区别？分别带来什么效果？

EN: What are the differences between L1 and L2 regularization and their effects?

参考回答（中文）

L2 正则（岭回归）在损失中加 λΣw_i²，对大权重惩罚重，使权重整体趋小且平滑，不稀疏，数值稳定，是默认选择。L1 正则（Lasso）加 λΣ|w_i|，其约束区域是菱形，角点处易使部分权重精确为 0，从而产生特征稀疏性，可用于特征选择。几何上：L2 的等高线与圆相切多在轴上，L1 与圆/菱形相切常在顶点，故 L1 更易产生零解。实践中若特征很多且希望筛选，用 L1；若只想抑制过拟合、保留全部特征，用 L2；也有 Elastic Net 同时结合二者。正则强度 λ 需通过验证集调优，过大反而会欠拟合。

Reference Answer (EN)

L2 (ridge) adds λΣw² → shrinks weights smoothly, no sparsity, stable. L1 (lasso) adds λΣ|w| → can force some weights to exactly 0, enabling feature selection, due to diamond constraint corners. Elastic Net combines both. Tune λ via validation; too large → underfitting.

备考提示：用"L1 产生稀疏、可做特征选择；L2 平滑权重"一句话概括，并准备用几何（圆 vs 菱形）解释 L1 稀疏原因。

Q11简述支持向量机（SVM）的核心思想，什么是核技巧（Kernel Trick）？专业重点

EN: Explain the core idea of SVM and what the kernel trick is.

参考回答（中文）

SVM 用于二分类，核心思想是寻找一个"最大间隔"超平面，使两类样本到平面的距离（间隔）最大，从而提升泛化能力。位于间隔边界上、决定平面的样本称为支持向量。为处理非线性可分数据，SVM 通过核技巧将样本映射到高维特征空间，使原本线性不可分的数据在高维线性可分，而无需显式计算高维坐标——只需用核函数 K(x_i,x_j)=φ(x_i)·φ(x_j) 直接计算内积。常用核有线性核、多项式核、高斯径向基核（RBF）。核技巧的巧妙在于"升维 + 内积替换"，既获得非线性能力又避免维数灾难。软间隔 SVM 还引入松弛变量与惩罚参数 C 容忍少量误分类。

Reference Answer (EN)

SVM finds the maximum-margin hyperplane; samples on margins are support vectors. For non-linear data, the kernel trick maps data to a high-dim space and computes inner products via K(x_i,x_j)=φ(x_i)·φ(x_j) without explicit mapping (e.g. RBF kernel), gaining non-linearity without curse of dimensionality. Soft-margin adds slack + penalty C.

备考提示："最大间隔 + 支持向量 + 核技巧升维"是 SVM 三要素，必背；追问时可提 RBF 是最常用的核。

Q12决策树是如何选择分裂特征的？信息增益与基尼系数分别是什么？

EN: How does a decision tree choose split features? What are information gain and Gini?

参考回答（中文）

决策树通过"让分裂后的子集更纯"来选择特征。ID3/C4.5 用信息增益：以熵 H(D)=−Σp_k log p_k 衡量混乱度，信息增益 = 父节点熵 − 各子节点熵的加权，选增益最大的特征分裂。C4.5 改进为信息增益比，缓解偏好多值特征的问题。CART 树用基尼系数 Gini(D)=1−Σp_k² 作为不纯度度量，选使加权基尼下降最多的分裂，且 CART 是二叉树、可用于回归（用方差最小化）。决策树易过拟合，故需剪枝（预剪枝限制深度/样本数，后剪枝用验证集评估）。它是随机森林与 GBDT 的基础组件。

Reference Answer (EN)

Trees split to maximize purity. ID3/C4.5 use information gain = H(parent) − weighted ΣH(child), with entropy H=−Σp log p (C4.5 uses gain ratio). CART uses Gini = 1−Σp_k² and builds binary trees (also for regression via variance). Prevent overfitting by pruning (pre/post). Trees are the building blocks of RF and GBDT.

备考提示：能区分"信息增益（熵）/增益比/CART 基尼"对应的算法即可，熵与基尼都衡量不纯度，基尼计算更省。

Q13随机森林的原理是什么？它为什么能降低方差？

EN: What is Random Forest and why does it reduce variance?

参考回答（中文）

随机森林是 Bagging（Bootstrap Aggregating）集成方法的代表：对训练集做有放回随机抽样（Bootstrap）生成多份子样本，分别训练多棵决策树，预测时分类取多数投票、回归取平均。它的关键创新是"双重随机性"——既对样本采样，又在每个节点分裂时随机候选特征子集，从而让各树充分去相关。根据集成理论，多个误差不相关的模型取平均，总方差约为单模型方差除以树的数量，而偏差基本不变，因此随机森林主要降低方差、缓解过拟合、提升稳定性。它鲁棒、易并行、对特征尺度不敏感，是经典的强基线模型。

Reference Answer (EN)

Random Forest is Bagging of decision trees: bootstrap samples + random feature subsets per split (double randomness). Predictions are averaged/voted. Averaging weakly-correlated models reduces variance ≈ single variance / N while keeping bias, thus fighting overfitting. Robust, parallelizable, scale-invariant.

备考提示："Bagging 降方差、Boosting 降偏差"是成对考点，见 Q14；随机森林的"双重随机"是区别于普通 Bagging 的要点。

Q14GBDT（梯度提升决策树）的基本思想是什么？它与随机森林有何本质区别？专业重点

EN: What is the idea of GBDT and how does it fundamentally differ from Random Forest?

参考回答（中文）

GBDT 属于 Boosting 族：它不是并行训练多棵树，而是串行地、逐步加法建模。每一轮拟合的是当前模型的负梯度（即残差近似），把新树加到模型中 F_m(x)=F_{m-1}(x)+η·h_m(x)，η 为学习率。思想是"前一辆车没走好的路，后一辆车补上"，通过不断修正误差降低偏差。与随机森林的本质区别：随机森林是 Bagging，各树独立、并行、降低方差；GBDT 是 Boosting，树间强相关、串行、降低偏差，对异常值更敏感、需更小心调参。工程上 XGBoost、LightGBM 在 GBDT 基础上引入二阶导、正则与工程优化，成为表格数据竞赛的主流。两者都是树集成，但集成策略南辕北辙。

Reference Answer (EN)

GBDT is Boosting: serial additive model where each new tree fits the negative gradient (residual) of current model, F_m=F_{m-1}+η·h_m, reducing bias. vs Random Forest (Bagging): trees independent, parallel, reduce variance. GBDT trees are correlated, serial, bias-reducing, sensitive to outliers. XGBoost/LightGBM extend it with 2nd-order info + regularization.

备考提示："Bagging 降方差（并行）、Boosting 降偏差（串行）"务必成对记忆，常被对比追问；可提 XGBoost 体现工程视野。

Q15请描述 K-means 聚类的算法步骤，并说明如何确定簇数 K。

EN: Describe K-means steps and how to choose K.

参考回答（中文）

K-means 是一种无监督的划分式聚类。步骤：（1）随机初始化 K 个簇中心；（2）分配：将每个样本归入距离最近的中心所属簇（常用欧氏距离）；（3）更新：重新计算每个簇的均值作为新中心；（4）重复分配与更新直至中心不再明显变化或达到迭代上限。目标函数是最小化簇内平方和（SSE/WCSS）。确定 K 的常用方法是"肘部法则"（Elbow）：绘制 SSE 随 K 的曲线，取拐点处；或用轮廓系数（Silhouette）评估聚类紧密度与分离度，选使系数最大的 K。K-means 对初始中心与异常值敏感，常多次随机初始化取最优，也可用 K-means++ 改进初始化。

Reference Answer (EN)

K-means: (1) init K centers; (2) assign each point to nearest center (Euclidean); (3) recompute centers as cluster means; (4) repeat until convergence. Objective: minimize within-cluster SSE. Choose K via Elbow method (SSE vs K inflection) or Silhouette score. Sensitive to init/outliers; use K-means++ and multiple restarts.

备考提示：K-means 是无监督代表题，能说清"分配—更新"迭代与"肘部法则"即可；可补一句"对球形簇效果好、对非凸簇差"体现理解。

Q16除了 K-means，你还了解哪些聚类方法？简述其特点。

EN: Besides K-means, what other clustering methods do you know? Briefly describe them.

参考回答（中文）

常见替代有：层次聚类（Hierarchical），无需预设 K，通过不断合并（自底向上）或分裂（自顶向下）构建树状图（Dendrogram），直观但复杂度 O(n³) 较高；DBSCAN 基于密度，能发现任意形状的簇并自动识别噪声点（离群点），需设定邻域半径 ε 与最小点数 MinPts，对密度不均敏感；高斯混合模型（GMM）用概率软分配（EM 算法求解），每个样本以概率属于各簇，比 K-means 更柔性。此外还有谱聚类，借助图拉普拉斯做非线性聚类。选择方法取决于数据形状、是否需软分配、能否容忍噪声等——例如异常检测场景常用 DBSCAN。

Reference Answer (EN)

Hierarchical: no preset K, builds dendrogram, O(n³). DBSCAN: density-based, finds arbitrary shapes and labels noise, needs ε & MinPts, struggles with varying density. GMM: soft probabilistic assignment via EM, more flexible than K-means. Spectral clustering uses graph Laplacian for non-linear cases. Choice depends on shape, soft assignment, noise tolerance.

备考提示：面试官用此题考察知识广度，准备 2–3 种即可，重点讲清 DBSCAN 的"密度+噪声"与层次聚类的"无需 K"。

Q17推导 softmax + 交叉熵组合对 logits 的梯度。专业重点

EN: Derive the gradient of softmax + cross-entropy with respect to the logits.

参考回答（中文）

设 logits 为 z，softmax 输出 p_i = e^{z_i}/Σ_j e^{z_j}，真实标签为 one-hot 的 y（仅正确类 c 为 1）。交叉熵 L = −Σ_i y_i log p_i = −z_c + log Σ_j e^{z_j}。对 z_k 求偏导：∂L/∂z_k = −δ_{kc} + p_k，其中 δ_{kc} 为克罗内克符号（k=c 时为 1）。合并写作 ∂L/∂z = p − y。这一结果非常优雅：梯度就是"预测概率分布与真实 one-hot 标签之差"，与类别数无关，计算高效，因此 softmax+交叉熵成为分类任务的标准配置。也正因梯度简洁，反向传播时输出层误差可直接用 (p−y) 表示（呼应 Q7）。

Reference Answer (EN)

With p=softmax(z) and one-hot y (class c), L=−z_c+log Σe^{z_j}. ∂L/∂z_k = −δ_{kc} + p_k ⇒ ∂L/∂z = p − y. The gradient is simply predicted minus true label—clean and class-count independent—which is why softmax+cross-entropy is the standard classification loss.

备考提示：这是最高频的推导题之一。记住结论"∂L/∂z = p − y"，并能从 L=−z_c+logΣe^{z_j} 现场写出一步求导，足以通过。

Q18Softmax 函数的定义是什么？它的导数有什么性质？

EN: Define softmax and state a property of its derivative.

参考回答（中文）

Softmax 将实向量 z 映射为概率分布：σ(z)_i = e^{z_i} / Σ_j e^{z_j}，输出各分量在 (0,1) 且和为 1，常用于多分类输出层。其雅可比矩阵的元素为：当 i=j 时，∂σ_i/∂z_j = σ_i(1−σ_i)；当 i≠j 时，∂σ_i/∂z_j = −σ_i σ_j。也就是说，softmax 的梯度可完全由其输出值表示，且输出间相互耦合——增大某一 logit 会同时压低其他类的概率。结合 Q17，这种"自包含"的梯度形式使 softmax 与交叉熵配合时推导极简。实现时还需注意数值稳定：先减去 max(z) 防止指数溢出。

Reference Answer (EN)

Softmax: σ(z)_i = e^{z_i}/Σ_j e^{z_j}, outputs a probability distribution. Jacobian: ∂σ_i/∂z_j = σ_i(1−σ_i) if i=j, else −σ_iσ_j. Thus gradients depend only on outputs and classes are coupled. For numerical stability, subtract max(z) before exp. Pairs cleanly with cross-entropy (Q17).

备考提示：导数"σ_i(1−σ_i)（对角）、−σ_iσ_j（非对角）"可现场由定义推出；顺便提"减最大值防溢出"展现工程细节。

Q19卷积神经网络（CNN）中卷积层与池化层分别起什么作用？

EN: What are the roles of convolution and pooling layers in a CNN?

参考回答（中文）

卷积层用一组可学习的卷积核（滤波器）在输入上滑动做局部加权和，提取边缘、纹理等局部特征；其核心特性是局部连接与权重共享——每个核在所有位置复用同一组参数，大幅减少参数量并赋予平移不变性。多个卷积核产生多个特征图（channel）。池化层（如最大池化、平均池化）对特征图做下采样，取局部区域的最大值或均值，作用是降低空间分辨率、减少计算与参数、提供一定的平移鲁棒性，并扩大后续层的感受野。典型 CNN 由"卷积+激活+池化"堆叠，最后展平接全连接层做分类。CNN 是计算机视觉的基石，同济在自动驾驶感知中大量使用。

Reference Answer (EN)

Convolution layers use learnable filters sliding over input to extract local features, with local connectivity + weight sharing → few parameters, translation invariance. Pooling (max/avg) downsamples feature maps, cutting computation, adding translation robustness, enlarging receptive field. Stacks of conv+activation+pool then FC form a CNN—the backbone of computer vision.

备考提示："局部连接 + 权重共享"是 CNN 区别于全连接的本质，必说；可联系同济自动驾驶感知场景举例。

Q20什么是感受野（Receptive Field）？CNN 中参数共享有何好处？

EN: What is a receptive field? Benefits of weight sharing in CNNs?

参考回答（中文）

感受野指输出特征图上某个神经元"看到"的输入区域大小。随着网络层数加深，高层神经元能汇聚越来越大的输入范围，从而捕捉更全局的语义；感受野大小由卷积核尺寸、步长与层数共同决定。参数共享指同一个卷积核在输入的所有空间位置使用相同权重，好处有三：一是参数量从全连接的 O(H·W·C) 降到 O(K²·C_in·C_out)，极大节省内存与计算；二是使模型具备平移等变性——同一特征无论出现在图像何处都能被同一核检测到；三是提升泛化、降低过拟合风险。这两点共同让 CNN 能高效处理高分辨率图像等高维数据。

Reference Answer (EN)

Receptive field = input region a feature-map neuron "sees"; deeper layers cover larger regions, capturing global semantics, governed by kernel size, stride, depth. Weight sharing: one kernel reuses weights across all positions → far fewer params, translation equivariance, better generalization. Both let CNNs handle high-res images efficiently.

备考提示：感受野与参数共享常一起考；若被追问，可补充"1×1 卷积用于通道维变换与降维（如 Inception/ResNet）"。

Q21RNN 为什么适合处理序列数据？它存在什么缺陷，后来如何改进？

EN: Why is RNN suited for sequences? What are its flaws and later improvements?

参考回答（中文）

RNN 通过隐藏状态 h_t = f(W_x x_t + W_h h_{t-1} + b) 在时间步间传递信息，使当前输出依赖历史，天然适合变长序列（文本、语音、时间序列）。但其缺陷明显：在长序列上反向传播时梯度需沿时间连乘，同样面临梯度消失/爆炸，导致难以捕捉长距离依赖；且串行计算难以并行。改进包括：LSTM 引入遗忘门、输入门、输出门与细胞状态，缓解梯度消失、选择性记忆；GRU 以更简结构达到类似效果；但二者仍串行。真正突破长距离与并行瓶颈的是 Transformer（见 Q22），它用自注意力一次性建立任意两位置的直接联系，并成为大模型的基础。

Reference Answer (EN)

RNN passes a hidden state across time steps, so output depends on history—ideal for variable-length sequences. Flaws: BPTT causes vanishing/exploding gradients over long sequences (poor long-range dependency) and serial compute. Improvements: LSTM/GRU add gating to ease vanishing; Transformer's self-attention finally solves long-range + parallelism, becoming the LLM backbone.

备考提示：RNN 常作为"引出 Transformer"的过渡题，答完缺陷后可主动提"因此有了注意力机制"，自然衔接 Q22。

Q22请解释 Transformer 中的自注意力（Self-Attention）机制及其公式。专业重点

EN: Explain self-attention in Transformer and its formula.

参考回答（中文）

自注意力让序列中每个位置直接关注其他所有位置，动态计算依赖权重。输入先线性投影为查询 Q、键 K、值 V 三个矩阵；注意力输出为 Attention(Q,K,V) = softmax(QKᵀ/√d_k) V。其中 QKᵀ 计算各位置间的相似度，除以 √d_k 是为了防止维度太大时点积数值过大、使 softmax 进入梯度极小的饱和区，softmax 后得到归一化权重，再对 V 加权求和。多头注意力（Multi-Head）并行多组 QKV 投影再拼接，捕捉不同子空间关系。自注意力相比 RNN 可并行计算且任意两位置路径长度为 1，擅长长距离依赖，是 BERT、GPT 及同济合作的大模型的基础架构。

Reference Answer (EN)

Self-attention lets each position attend to all others. With Q,K,V projections: Attention(Q,K,V)=softmax(QKᵀ/√d_k)V. QKᵀ measures similarity; scaling by √d_k avoids softmax saturation; softmax weights sum to 1, then weight V. Multi-head runs several heads in parallel. Versus RNN: parallelizable, O(1) path between any positions, excels at long-range dependency—basis of BERT/GPT and large models.

备考提示："Q K V 含义 + softmax(QKᵀ/√d_k)V + 为何除以 √d_k"是必背；可主动联系同济与上海 AI 实验室的大模型合作。

Q23自注意力中的 Query、Key、Value 分别扮演什么角色？请用类比说明。

EN: What roles do Query, Key, and Value play in self-attention? Use an analogy.

参考回答（中文）

可类比"查字典/检索"：Query 是你想查询的需求，Key 是每条候选信息的"标签/索引"，Value 是标签对应的"实际内容"。计算时，用 Query 与每个 Key 做匹配（点积相似度），得到该 Query 对各候选的关注程度（softmax 归一化），再按关注度从对应的 Value 中汇总出需要的信息。在自注意力中，Q、K、V 都来自同一输入的不同线性投影，因此每个词既能作为查询去"看"别人，也作为键/值被别人"看"。这种机制让模型根据内容动态决定"该关注谁、取什么信息"，而非依赖固定窗口，从而灵活建模复杂语义关系。

Reference Answer (EN)

Analogy: retrieval. Query = your search need; Key = each item's label/index; Value = the actual content. Match Query against Keys (dot product), softmax to get attention weights, then aggregate the corresponding Values. In self-attention, Q,K,V come from the same input's projections, so each token both queries and is queried—dynamically deciding what to attend and fetch.

备考提示："查字典"类比非常直观，面试中用来解释 QKV 几乎不会出错；注意强调 QKV 同源投影这一关键点。

Q24分类任务中准确率、精确率、召回率、F1 分别是什么？何时更关注召回率？

EN: Define accuracy, precision, recall, F1. When do we care more about recall?

参考回答（中文）

设 TP/TN/FP/FN 分别为真阳、真阴、假阳、假阴。准确率 = (TP+TN)/总数，整体正确比例；精确率 Precision = TP/(TP+FP)，预测为正的样本中有多少真为正；召回率 Recall = TP/(TP+FN)，真实正样本中有多少被找出；F1 = 2·P·R/(P+R)，是精确率与召回率的调和平均，综合衡量二者。当"漏检代价高"时应优先关注召回率，例如医疗诊断中漏掉肿瘤（FN）比误报（FP）更危险，或自动驾驶中漏检行人后果严重；而当"误报代价高"（如垃圾邮件误判重要邮件）时更关注精确率。单一准确率在不平衡数据上会误导，需用上述指标配合。

Reference Answer (EN)

TP/TN/FP/FN given. Accuracy=(TP+TN)/all. Precision=TP/(TP+FP). Recall=TP/(TP+FN). F1=2PR/(P+R). Prioritize recall when missed positives are costly (medical diagnosis, pedestrian detection in autonomous driving); prioritize precision when false alarms are costly (spam mislabeling). Accuracy misleads under class imbalance.

备考提示：四个指标公式要能脱口而出；"不平衡数据下准确率失效"是高频陷阱，务必点出，可联系同济自动驾驶安全场景。

Q25什么是 ROC 曲线与 AUC？它们有什么优点？专业重点

EN: What are ROC curve and AUC? What are their advantages?

参考回答（中文）

ROC 曲线以"假正率 FPR = FP/(FP+TN)"为横轴、"真正率 TPR = Recall = TP/(TP+FN)"为纵轴，通过改变分类阈值绘制出的一条曲线，刻画模型在不同阈值下权衡漏检与误报的能力。AUC 是 ROC 曲线下面积，取值 0.5–1，表示随机抽一个正样本和一个负样本、模型把正样本排在前的概率；AUC 越大模型区分能力越强。其优点：一是对类别不平衡不敏感（只看排序而非绝对比例），二是综合反映所有阈值下的整体表现，无需固定阈值。相比准确率，ROC/AUC 在不平衡或阈值需灵活调整的场景（如风控、异常检测）更可靠。

Reference Answer (EN)

ROC plots TPR (recall) vs FPR across thresholds; AUC is its area (0.5–1), equal to the probability a random positive ranks above a random negative. Advantages: insensitive to class imbalance (ranking-based), summarizes all thresholds holistically. More reliable than accuracy for imbalanced or threshold-flexible tasks (fraud, anomaly detection).

备考提示："AUC = 正样本排在负样本前的概率"这句定义极显专业；强调"对不平衡不敏感"是与准确率对比的关键优势。

Q26混淆矩阵是什么？PR 曲线与 ROC 曲线有何不同适用场景？

EN: What is a confusion matrix? When to use PR vs ROC curve?

参考回答（中文）

混淆矩阵是把预测类别与真实类别交叉统计的 2×2（或多类扩展）表格，里面直接给出 TP、TN、FP、FN，是所有分类指标的计算源头。PR 曲线以召回率（横轴）对精确率（纵轴）绘制，反映"在正类预测中的准确与覆盖权衡"；ROC 以 FPR 对 TPR 绘制。二者区别在于对负类的处理：当正类极度稀少（强不平衡）时，大量 TN 会撑大 ROC 使其过于乐观，而 PR 曲线聚焦正类、更能暴露问题，因此正类稀有场景（如疾病筛查、缺陷检测）首选 PR 曲线；类别较均衡时 ROC/AUC 即可。两者都依赖阈值扫描，是评估分类器稳健性的互补工具。

Reference Answer (EN)

Confusion matrix cross-tabulates predicted vs true classes, yielding TP/TN/FP/FN—the source of all metrics. PR curve: recall (x) vs precision (y), focuses on positive class. ROC: FPR vs TPR. Under severe imbalance, many TN inflate ROC optimistic; PR better exposes performance. Use PR for rare positives (screening, defect detection); ROC when balanced.

备考提示：混淆矩阵是所有指标之母，先答它再区分 PR/ROC；记住结论"稀有正类用 PR，平衡用 ROC"。

Q27特征工程中归一化（Normalization）与标准化（Standardization）有何区别？何时使用？

EN: Difference between normalization and standardization? When to use each?

参考回答（中文）

归一化（如 Min-Max）把特征缩放到固定区间 [0,1]：(x−min)/(max−min)，保留分布形状、对边界敏感、受异常值影响大。标准化（Z-score）把特征转为均值 0、方差 1：(x−μ)/σ，不改变分布形态、对异常值更稳健。使用原则：基于距离或梯度的模型（如 K-means、SVM、神经网络、逻辑回归）对尺度敏感，通常先做标准化；若模型假设特征 bounded（如某些激活需 [0,1]）或需保持物理量纲区间，可用归一化。树模型（决策树/随机森林/GBDT）不依赖特征尺度，通常无需处理。实践中用训练集的统计量（μ、σ、min、max）拟合，再作用于验证/测试集，防止信息泄漏。

Reference Answer (EN)

Normalization (Min-Max) scales to [0,1]: (x−min)/(max−min); shape-preserving, outlier-sensitive. Standardization (Z-score): (x−μ)/σ, zero-mean unit-var, outlier-robust. Use standardization for distance/gradient models (K-means, SVM, NN, LR); normalization when bounded range needed. Tree models need neither. Fit stats on train only to avoid leakage.

备考提示："树模型不需要特征缩放"是易漏点；强调"用训练集统计量、防泄漏"体现规范流程。

Q28面对类别不平衡问题，有哪些常用的处理策略？

EN: What strategies handle class imbalance?

参考回答（中文）

类别不平衡指正负样本比例悬殊，会导致模型偏向多数类、准确率虚高。常用策略有：（1）数据层面——过采样少数类（如 SMOTE 合成新样本）、欠采样多数类，或两者结合；（2）算法层面——对少数类误分施加更大惩罚（class weight / 代价敏感学习）；（3）评估层面——弃用准确率，改用 F1、AUC、PR 曲线；（4）阈值调整——根据代价把决策阈值从 0.5 移向少数类一侧；（5）集成方法——如 Balanced Random Forest、EasyEnsemble。选择需结合不平衡程度与误分类代价：医疗、安全等高风险场景往往以召回率为先，配合代价敏感与合适的评估指标综合决策。

Reference Answer (EN)

Imbalance makes models favor majority and inflates accuracy. Strategies: data-level (oversample minority e.g. SMOTE, undersample majority); algorithm-level (class weights / cost-sensitive); evaluation-level (use F1/AUC/PR, not accuracy); threshold tuning (shift from 0.5); ensembles (Balanced RF, EasyEnsemble). Pick by imbalance degree and misclassification cost—recall-first in high-risk scenes.

备考提示：该题呼应 Q24/Q26 的评估陷阱，答题结构用"数据—算法—评估—阈值"四层，逻辑清晰且显体系化。

Q29什么是迁移学习？预训练+微调范式为什么能取得成功？

EN: What is transfer learning? Why does pretrain + fine-tune succeed?

参考回答（中文）

迁移学习把在一个源任务/源域学到的知识迁移到目标任务/目标域，以弥补目标数据不足的短板。最主流的范式是"预训练 + 微调"：先在大规模数据上预训练一个通用模型（如用海量文本训练语言模型，或用 ImageNet 训练视觉骨干），让其学到可迁移的通用表示；再在下游小数据集上用较小学习率微调末层或全部参数。成功原因：底层特征（边缘、词法、语义结构）具有跨任务通用性，预训练提供了良好的初始化与归纳偏置，使小数据也能收敛到好解、并显著提升泛化与训练效率。这就是 BERT、GPT 及视觉大模型的共同根基，也与同济依托上海人工智能实验室开展的大模型研究高度契合。

Reference Answer (EN)

Transfer learning reuses knowledge from a source task/domain for a target with scarce data. Pretrain+finetune: pretrain a general model on massive data (language/image), then fine-tune on downstream data with small LR. Success: low-level features are task-agnostic; pretraining gives good init + inductive bias, enabling fast, generalizable learning from little data. Backbone of BERT/GPT and vision foundation models.

备考提示：迁移学习是连接"基础"与"前沿大模型"的桥梁，答题末尾点出"与同济/上海 AI 实验室大模型方向契合"很加分。

Q30请谈谈大模型（LLM）的基础训练范式，以及它与同济"AI for Engineering"战略的可能结合点。专业重点

EN: Discuss the basic training paradigm of LLMs and possible links to Tongji's "AI for Engineering" strategy.

参考回答（中文）

大模型通常遵循"预训练 → 监督微调（SFT） → 对齐（如 RLHF）"的三阶段范式：预训练在海量无标注语料上以自监督（如预测下一个 token）学习通用语言与知识表示；SFT 用指令-回答数据让模型学会遵循指令；对齐阶段通过人类反馈强化学习使输出更符合人类偏好与安全要求。其底层依赖 Transformer 自注意力与海量算力。结合同济战略：学校以"工程智能（AI4E）"为突破口，建设专属大模型 ChatTJ，并与上海人工智能实验室合作语言/多模态/具身智能，可将大模型用于工程文档理解、科学计算辅助、自动驾驶仿真与机器人决策等场景。作为拔尖班学生，应理解这些范式的原理，而非仅会调用 API，方能在导师制项目制培养中贡献价值。

Reference Answer (EN)

LLM paradigm: pretraining (self-supervised next-token on massive corpora) → SFT (instruction tuning) → alignment (e.g. RLHF). Built on Transformer + scale. For Tongji: the "AI for Engineering" strategy and ChatTJ, with Shanghai AI Laboratory collaboration, can apply LLMs to engineering document understanding, scientific computing, autonomous-driving simulation, and embodied robot decision-making. Students should grasp the principles, not just call APIs.

备考提示：压轴题，务必把"三阶段范式"说清，并自然嵌入同济特色（AI4E / ChatTJ / 上海 AI 实验室 / 项目制导师制），展示对学校方向的了解。

D. 本方向自我介绍定制建议

备考提示：在机器学习与深度学习方向凸显自己的 4 条建议：

锚定一个落地项目：用"数据→模型→指标"的结构讲清你做过的分类/回归/聚类小项目（如 Kaggle、课程作业），并说明你如何调参、缓解了过拟合，比空谈"我对 AI 感兴趣"有说服力。
亮出数理底子：主动提及你能推导梯度下降、softmax+交叉熵等关键公式，表明具备深度学习所需的数学素养，这正是导师看重的可塑性。
对齐同济特色方向：在结尾表达希望将 ML/DL 基础应用到"工程智能（AI4E）"、自动驾驶感知或具身智能等学校重点场景，体现你做过功课、目标明确。
展示学习路径与工具：简要说明你掌握 Python/PyTorch、读过哪些经典教材（如《西瓜书》《花书》），并表达希望在"项目制+导师制"中深入研究的意愿。

返回二次选拔