二次选拔南开大学2026级本科新生二次选拔通知(附二次选拔项目一览表)
南开大学 2026年官方招生简章文字版，本站已归档 PDF 原件，正文摘自官方简章，可按招生区域、报名条件、选拔程序、录取规则快速检索。
阅读全文 →04_多模态与生成式AI
方向 04 / DIRECTION 04
多模态与生成式人工智能
Multimodal & Generative AI
A. 方向画像与考察重点
多模态与生成式人工智能是研究"让机器同时理解与生成文本、图像、语音、视频等多种模态内容"的核心方向，是当前 AI 浪潮中最贴近应用、也最能体现大模型突破的领域。在同济大学人工智能（拔尖班）的培养体系里，该方向与"自主智能无人系统前沿科学中心"的视觉感知、具身交互任务天然衔接，也是学校"工程智能（AI4E）"战略在内容生成、设计辅助、仿真建模等垂直场景落地的关键抓手。面试官希望看到你既懂生成模型的数学原理，也能把多模态能力讲清楚"为工程要解决什么问题"。
从能力图谱看，本方向考察三点：其一，表示与对齐——如何用 CLIP 等对比学习把不同模态映射到统一语义空间；其二，生成范式演化——从 GAN、VAE 到扩散模型的动机、机制与优劣；其三，系统与应用——Stable Diffusion、Sora 类视频生成、GPT-4V/Qwen-VL/InternVL 等多模态大模型，以及 ControlNet、LoRA 等可控生成与个性化技术。同济与上海人工智能实验室在多模态大模型、语言大模型、具身智能上的深度合作，意味着你可能接触到真实的大模型研发链路，面试中适当体现对这一产业-科研协同的理解是加分项。
考察形式上，面试官常以"原理复述 + 对比辨析 + 场景设计"三层递进提问：先让你讲清扩散过程或 CLIP 损失，再追问与 GAN 的差异，最后落到"如何为某工程任务设计多模态生成方案"。因此本方向备考强调"会推导、能对比、懂落地"，而非死记名词。建议在自我介绍中明确你做过的生成/多模态相关项目（哪怕课程作业），并准备一段关于 AI4E 与多模态结合的表述。
备考提示：本方向名词密集、更新极快，但不必追新模型参数。把"扩散模型原理""CLIP 对比学习""可控生成"三块打牢，足可覆盖八成专业重点题；其余以"知道是什么、能说清差异"为底线。
B. 核心概念速查
关键词 以下 8 条为本方向最高频基础概念，须做到"一句话准确解释 + 能说出用途"。
- CLIP 对比学习：用图文配对的正负样本训练，把图像与文本编码到同一向量空间，实现零样本跨模态检索。
- GAN（生成对抗网络）：由生成器与判别器对抗博弈训练，以极小计算代价生成逼真样本，但易模式崩溃。
- VAE（变分自编码器）：在自编码器上引入潜变量先验与 KL 散度约束，使潜空间连续可采样，适合表示学习。
- 扩散模型（DDPM）：通过逐步加噪-去噪的马尔可夫过程建模数据分布，生成质量高且训练稳定。
- Stable Diffusion：在压缩后的潜空间做扩散（潜在扩散），配合文本编码器实现高效文生图，是开源生态基石。
- Sora 视频生成：把视频切成时空图块（patches）做扩散 Transformer 训练，实现长时序、高一致性的视频合成。
- 多模态对齐（Alignment）：让不同模态语义在表示或指令层面相互对应，是图文检索、视觉问答的前提。
- AIGC（AI Generated Content）：以生成式模型自动产出文本/图像/音视频等内容，伴随版权与伦理争议。
C. 面试真题（Q1–Q30）
Q1什么是多模态学习？为什么它比单模态学习更有价值？
EN: What is multimodal learning and why is it more valuable than unimodal learning?
参考回答（中文）
多模态学习指让模型同时处理并融合两种及以上模态（如文本、图像、语音、视频、传感器信号）的信息，目标是获得比单一模态更鲁棒、更全面的语义理解。其价值有三：第一，互补性——图像提供外观、文本提供语义，融合后可纠正单模态歧义；第二，对齐与迁移——如 CLIP 用海量图文对把视觉与语言映射到同一空间，赋能零样本识别；第三，贴近真实——人类本就多感官认知，机器人、医疗、自动驾驶等工程场景天然多模态。对同济"AI4E"而言，多模态是把 AI 接入 CAD 图纸、工况视频、声学信号的入口，是工程智能落地的前提。
Reference Answer (EN)
Multimodal learning processes and fuses two or more modalities (text, image, audio, video, sensors) for richer, more robust understanding. Value: (1) complementarity reduces ambiguity; (2) cross-modal alignment (e.g. CLIP) enables zero-shot transfer; (3) real-world tasks are inherently multimodal. It is the gateway for AI4E to ingest engineering signals like CAD, video and acoustics.
备考提示：回答务必落到"互补、对齐、落地"三点，并自然引出工程价值，体现同济 AI4E 视角。
Q2请解释 CLIP 的对比学习原理及其训练目标。专业重点
EN: Explain CLIP's contrastive learning and its training objective.
参考回答（中文）
CLIP 用图像编码器（Vision Transformer/CNN）与文本编码器（Transformer）分别提取特征，并把二者投影到同一向量空间。给定一个包含 N 个"真值图文对"的批次，它构造 N×N 的相似度矩阵：对角线是正确配对，其余 N²−N 个是负样本。训练目标是 InfoNCE 对比损失——最大化正样本对的余弦相似度、最小化负样本对的相似度，等价于在 N 个候选中为每张图选出正确文本（及反之）的对比分类。由此学到的联合嵌入具备零样本能力：推理时把类别名写成文本提示，与图像特征比对即可分类，无需重新训练。
Reference Answer (EN)
CLIP uses image and text encoders to embed pairs into one space. With a batch of N true pairs it builds an N×N similarity matrix; the diagonal are positives, off-diagonal negatives. The InfoNCE contrastive loss maximizes positive similarity and minimizes negative similarity, i.e. a dual contrastive classification. The learned joint embedding supports zero-shot classification via text prompts.
备考提示：必背"正负样本构造 + InfoNCE + 零样本"三要素；能口头写出损失直觉即可，不必背公式细节。
Q3图文生成（Text-to-Image）有哪些主要技术范式？
EN: What are the main paradigms for text-to-image generation?
参考回答（中文）
图文生成经历了三代范式：一是早期"检索式"，按文本从图库挑图，并不真正生成；二是 GAN 时代，如 StackGAN、AttnGAN，用文本编码条件驱动生成器，速度快但训练不稳定、分辨率受限；三是扩散时代，以 Stable Diffusion 为代表，在潜空间用文本编码器（如 CLIP）作条件逐步去噪，质量与可控性大幅提升。此外还有自回归范式（如 DALL·E 把图像离散化为 token 与文本联合生成）和掩码生成式（如 maskGIT）。当前主流是"扩散 + 文本条件 + 可控插件（ControlNet）"的组合，兼顾保真度与可编辑性。
Reference Answer (EN)
Three paradigms: (1) retrieval-based (picks existing images); (2) GAN-based (e.g. StackGAN) — fast but unstable; (3) diffusion-based (e.g. Stable Diffusion) — latent denoising conditioned on text embeddings, high quality and controllable. Autoregressive (DALL·E tokenization) and masked generative (maskGIT) also exist. Today's mainstream is diffusion + text condition + ControlNet.
备考提示：按"检索→GAN→扩散"的时间线讲最清晰，能点出每种范式的致命短板即可。
Q4生成模型从 GAN 到 VAE 再到扩散模型，是如何演化的？各自的动机是什么？专业重点
EN: How did generative models evolve from GAN to VAE to diffusion, and what motivated each?
参考回答（中文）
演化主线是"从对抗博弈走向概率建模、再走向渐进式去噪"。VAE 最早用变分下界显式建模数据分布，潜空间连续、训练稳定，但生成样本偏模糊，因为它优化的是似然上界。GAN 改用对抗博弈绕过显式似然，样本锐利逼真、推理极快，却面临模式崩溃与训练不稳定。扩散模型吸收了 VAE 的"概率框架"与 GAN 的"高保真"诉求：用前向加噪把数据逐步变成纯高斯，再训练网络学习反向去噪，以渐进方式拟合分布，兼顾训练稳定与生成质量。简言之，VAE 求稳、GAN 求锐、扩散求"又稳又真"，三者是互补而非简单替代。
Reference Answer (EN)
Evolution: from explicit probabilistic modeling (VAE) → adversarial (GAN) → progressive denoising (diffusion). VAE optimizes a variational bound, stable but blurry. GAN uses adversarial training, sharp but prone to mode collapse. Diffusion combines VAE's stable probabilistic framework with GAN's fidelity via forward-noising and reverse-denoising. VAE=stable, GAN=sharp, diffusion=stable+sharp.
备考提示：用"稳/锐/真"三字概括三者定位，是面试高频对比题的标准答法。
Q5简述 GAN 的基本原理，并说明它的主要优缺点。
EN: Briefly describe GAN's principle and its main pros and cons.
参考回答（中文）
GAN 由生成器 G 与判别器 D 组成，二者零和博弈：G 把随机噪声 z 映射为样本，D 判断输入是真实数据还是 G 的产物。目标是一个极小极大博弈——D 尽量分清真假，G 尽量骗过 D，理论上收敛到纳什均衡时 G 产出与真实分布不可区分的样本。优点：采样只需一次前向，推理极快；生成图像锐利、细节丰富。缺点：训练不稳定，需精细调参；易出现模式崩溃（mode collapse），即 G 只产出少数几种样本；缺乏显式似然，难以量化评估与做密度估计。这正是后续扩散模型兴起的动因之一。
Reference Answer (EN)
GAN has a generator G and discriminator D in a minimax game: D distinguishes real from fake, G fools D. Pros: one-step fast sampling, sharp images. Cons: unstable training, mode collapse, no explicit likelihood (hard to evaluate). These limitations motivated diffusion models.
备考提示："模式崩溃"和"无显式似然"是 GAN 的两大软肋，务必能脱口而出。
Q6VAE 与普通自编码器（AE）有何本质区别？
EN: What is the essential difference between a VAE and a plain autoencoder?
参考回答（中文）
普通自编码器把输入压缩到定长隐码再重建，优化的是重建误差，其隐空间不连续、不可直接采样，因此难以"凭空生成"。VAE 在编码器输出上引入概率化：不再输出单个隐码，而是输出均值与对数方差，从中按重参数化技巧采样，并用 KL 散度把后验拉向标准高斯先验。这样隐空间被规整成连续、可插值的概率流形，训练目标是"重建损失 + KL 正则"的变分下界（ELBO）。代价是 KL 约束会让生成样本略模糊，但换来可采样的生成能力与良好的表示学习。
Reference Answer (EN)
AE compresses to a fixed code and reconstructs; its latent is not continuous/sampleable. VAE makes the encoder output a Gaussian (mean, log-variance), samples via reparameterization, and adds a KL term to a standard-normal prior. This yields a continuous, interpolatable latent for generation, at the cost of slight blurriness (ELBO trade-off).
备考提示：抓住"确定性隐码 vs 概率分布 + KL 先验"这一根本差异即可。
Q7扩散模型的前向过程（加噪）是怎样的？请简要说明。专业重点
EN: What is the forward (noising) process of a diffusion model?
参考回答（中文）
前向过程是一个固定的、不含可学习参数的马尔可夫链：从真实样本 x₀ 出发，按预设的方差 schedule βₜ 逐步注入高斯噪声，每一步 xₜ = √(1−βₜ)·xₜ₋₁ + √βₜ·ε。关键在于，利用高斯叠加性质可直接由 x₀ 采样任意时刻 xₜ：xₜ = √(ᾱₜ)·x₀ + √(1−ᾱₜ)·ε，其中 ᾱₜ 是 (1−β) 的累积积。当步数 T 足够大（如 1000）时，x_T 近似为标准高斯噪声。这一闭式表达是扩散模型能高效训练的前提——我们无需逐步模拟，就能对任意噪声水平构造训练对 (xₜ, t)。
Reference Answer (EN)
The forward process is a fixed Markov chain adding Gaussian noise: xₜ=√(1−βₜ)xₜ₋₁+√βₜ·ε. By Gaussian composition, xₜ=√ᾱₜ·x₀+√(1−ᾱₜ)·ε (ᾱₜ cumulative). At large T, x_T≈N(0,I). This closed form lets us sample any noisy xₜ directly, enabling efficient training.
备考提示：能写出"xₜ 由 x₀ 一步采样"的闭式，并说明 ᾱₜ 含义，足以证明你真懂而非背概念。
Q8扩散模型的反向去噪过程如何训练与采样？它为什么能生成高质量样本？专业重点
EN: How is the reverse denoising process trained and sampled, and why does it yield high quality?
参考回答（中文）
反向过程训练一个神经网络 ε_θ(xₜ, t) 去预测所加噪声：损失为 ||ε − ε_θ(xₜ,t)||²，即"去噪匹配损失"，等价于优化变分下界。采样时从纯高斯 x_T 出发，按学到的均值反复减去预测噪声、加入适量随机扰动，逐步得到 x₀。其高质量源于三点：一是优化的是简单的 L2 去噪目标，训练极其稳定；二是多步迭代精修，比 GAN 单步生成更易刻画细节；三是噪声调度把复杂分布拆成一系列易学的近高斯条件分布。代价是采样需多步、速度慢，后续出现了 DDIM 等加速采样器。
Reference Answer (EN)
Train ε_θ(xₜ,t) to predict the added noise via L2 loss (denoising matching = VLB). Sample by starting from x_T∼N(0,I) and iteratively subtracting predicted noise. High quality because: stable L2 objective, multi-step refinement captures detail, and the schedule decomposes a hard distribution into easy near-Gaussian steps. Slow sampling is addressed by DDIM.
备考提示：把"训练=预测噪声的 L2 损失""采样=逐步去噪"这对关系说清楚，反向过程题就不丢分。
Q9什么是噪声调度（noise schedule）？它如何影响生成效果？
EN: What is a noise schedule and how does it affect generation?
参考回答（中文）
噪声调度是定义在每一步 βₜ（或对应的 ᾱₜ）上的序列，决定前向过程"每步加多少噪声、最终多快变成纯噪声"。线性、余弦等常见调度会影响信噪比随时间的分布。调度太激进（噪声增长过快）会让中间步信号过早消失，网络难学；太平缓则步数需求大、效率低。余弦调度（cosine schedule）因在大部分时间保持较高信噪比、末端快速饱和，常比线性调度获得更优样本。调度是扩散模型的超参数核心，也直接决定采样步数与速度的平衡。
Reference Answer (EN)
The noise schedule is the sequence βₜ (or ᾱₜ) controlling how much noise is added per step and how fast data becomes pure noise. Aggressive schedules destroy signal too early; too slow needs many steps. Cosine schedule generally outperforms linear by keeping higher SNR then saturating. It is key to the speed-quality trade-off.
备考提示：不需背具体公式，理解"调度控制信噪比曲线、影响质量与步数"即可。
Q10DDPM 的训练目标为何可以简化成简单的噪声预测损失？
EN: Why can DDPM's objective be simplified to a simple noise-prediction loss?
参考回答（中文）
DDPM 的原始目标是变分下界（ELBO），含多项 KL 与重建项，形式复杂。但研究发现，当各步后验方差设为固定常数时，ELBO 可解析化简：每一项都等价于"在已知 x₀ 与 t 的条件下，让网络预测所加高斯噪声 ε"。也就是说，所有复杂的 KL 散度最终都落到同一个 L2 去噪目标上。这带来两大好处：一是目标极其简单、易于优化；二是可用闭式 xₜ(x₀, ε) 直接构造训练样本，无需逐步模拟前向链。因此实践中几乎都用简化损失训练，再用反向采样还原。
Reference Answer (EN)
The ELBO is complex, but when step variances are fixed, each KL term simplifies to predicting the Gaussian noise ε added at step t (given x₀ and t). All terms collapse to one L2 denoising objective, easy to optimize and trainable via the closed-form xₜ(x₀,ε). That is why practice uses the simplified loss.
备考提示：能解释"ELBO → 噪声预测 L2"的化简逻辑，是体现深度理解的关键点。
Q11为什么扩散模型比 GAN 训练更稳定？还存在哪些不足？
EN: Why is diffusion more stable to train than GAN, and what are its drawbacks?
参考回答（中文）
稳定性来自训练目标的性质：扩散模型优化的是回归式 L2 去噪损失，是凸友好的单目标，不依赖对抗双方此消彼长的平衡，因此几乎不会模式崩溃，对学习率也不敏感。而 GAN 的极小极大博弈易失衡、梯度消失或震荡。扩散的不足也很明显：一是采样慢，需几百到上千步迭代，虽可用 DDIM/LCM 加速但仍不及 GAN 单步；二是训练数据需求大、算力高；三是可控性需额外插件（ControlNet、IP-Adapter）补足。所以工程上常按"要快用 GAN、要质用扩散"来选型。
Reference Answer (EN)
Diffusion optimizes a single regression (L2 denoising) loss, not an adversarial min-max game, so it avoids mode collapse and is robust to hyperparameters. Drawbacks: slow multi-step sampling (mitigated by DDIM/LCM), high compute, and weaker native controllability needing add-ons like ControlNet.
备考提示："稳定因单目标，慢因多步"这句对仗是标准答案骨架。
Q12Stable Diffusion 的"潜在扩散"（latent diffusion）思想是什么？为何重要？专业重点
EN: What is the latent diffusion idea behind Stable Diffusion and why does it matter?
参考回答（中文）
标准扩散在高分辨率像素空间运算，算力代价极高。潜在扩散的核心洞见是：先在像素空间训练一个自编码器（VAE），把图像压缩到低维潜空间（如 8 倍下采样），然后在潜空间里做扩散与去噪，最后用解码器还原图像。这样参与扩散的张量大幅缩小，训练与推理成本骤降，却几乎不损质量——因为语义与结构信息在潜空间依然保留。这正是 Stable Diffusion 能跑在消费级显卡上的根本原因，也催生了庞大的开源生态（ControlNet、LoRA、社区模型）。
Reference Answer (EN)
Latent diffusion first compresses images with a VAE into a low-dimensional latent space, runs diffusion/denoising there, then decodes back. Operating on small latents slashes compute while preserving semantics, enabling consumer-GPU deployment and the open-source ecosystem (ControlNet, LoRA).
备考提示："先压缩、后扩散、再解码"九个字，配合"省算力"讲清动机即可。
Q13Stable Diffusion 的三大核心组件分别起什么作用？
EN: What are the three core components of Stable Diffusion and their roles?
参考回答（中文）
Stable Diffusion 由三部分构成：第一，VAE（自编码器）——其编码器把图像压到潜空间、解码器把潜变量还原成图，是潜在扩散的"压缩-解压"桥梁；第二，U-Net——扩散的主体去噪网络，在潜空间里按时间步 t 与文本条件逐步预测并去除噪声，承担核心生成；第三，文本编码器（通常为 CLIP Text Encoder）——把提示词转成条件嵌入，引导 U-Net 朝语义方向去噪。三者协作：文本编码提供"画什么"的条件，U-Net 在潜空间"画出来"，VAE 解码成最终图像。
Reference Answer (EN)
Three parts: (1) VAE — encode/decode between pixel and latent space; (2) U-Net — the denoising network that iteratively removes noise in latent space given timestep and text condition; (3) CLIP Text Encoder — turns the prompt into conditioning embeddings. Text guides, U-Net generates in latent, VAE decodes.
备考提示：用"条件（CLIP）→生成（U-Net）→还原（VAE）"的流水线记忆最牢固。
Q14SDXL 相比初代 Stable Diffusion 做了哪些主要改进？
EN: What are the main improvements of SDXL over the original Stable Diffusion?
参考回答（中文）
SDXL 是 Stable Diffusion 2.x 之后的大幅升级，主要改进有：一是更大基座——U-Net 与文本编码器（双 CLIP，含 OpenCLIP ViT-bigG）参数量显著提升，语义对齐更强；二是两阶段上采样——先出基础分辨率图，再用 refiner 模型精修细节；三是尺寸/裁剪条件化——把图像尺寸与裁剪坐标作为额外条件，缓解固定分辨率带来的构图问题；四是更优训练数据与分辨率策略，使人手、文字等难例明显变好。总体在保真度、 Prompt 遵循度和小物体渲染上全面超越初代。
Reference Answer (EN)
SDXL upgrades: larger U-Net and dual CLIP (incl. OpenCLIP ViT-bigG); a two-stage base+refiner pipeline; conditioning on image size and crop coordinates to improve composition; better data/resolution, yielding stronger fidelity, prompt adherence and fewer artifacts (hands, text).
备考提示：不必背参数量，突出"更大、两阶段精修、尺寸条件化"三点即可。
Q15什么是 ControlNet？它解决了生成式模型的什么问题？专业重点
EN: What is ControlNet and what problem does it solve for generative models?
参考回答（中文）
ControlNet 是一种"可控生成"插件结构，解决文生图中"只靠文字难以精确约束构图"的痛点。它把预训练 U-Net 复制出一份可训练副本（locked 原权重保证不破坏已学能力），并通过零卷积旁路注入额外条件信号，如边缘图（Canny）、姿态骨架（OpenPose）、深度图、语义分割图等。训练时仅优化新增分支，因此能冻结主模型、用少量数据学会"按给定结构生成"。它让用户在保持内容创意的同时精确控制形状与布局，是工程落地（如工业设计、建筑效果图）的关键技术。
Reference Answer (EN)
ControlNet adds trainable copies of U-Net blocks with zero-convolution bypasses to inject spatial conditions (Canny, OpenPose, depth, segmentation) while locking the base weights. Only the added branch is trained, preserving pretrained ability and enabling precise structure control from sketches/poses — crucial for design and engineering use.
备考提示："锁定主干 + 零卷积旁路 + 空间条件"是 ControlNet 的三个技术关键词，必会。
Q16提示词工程（Prompt Engineering）在文生图中起到什么作用？有哪些技巧？
EN: What role does prompt engineering play in text-to-image, and what techniques help?
参考回答（中文）
提示词是用户向生成模型传递意图的主要接口，直接决定输出是否符合预期。技巧上：一是结构化描述，按"主体+环境+风格+质量词"组织，如"8K 摄影、电影光、广角"；二是权重与分隔，用括号或冒号强调关键词；三是负向提示（negative prompt）显式排除不想要的内容（畸变、水印）；四是风格锚定，引用艺术家或镜头语言以稳定画风；五是迭代法，先粗后精逐步逼近。本质上提示词是在"引导条件分布"，把模糊意图转成模型可对齐的条件信号，是低成本控制生成的有效手段。
Reference Answer (EN)
Prompts are the interface conveying intent and steer the conditional distribution. Techniques: structured description (subject+scene+style+quality), emphasis via parentheses/weights, negative prompts to exclude artifacts, style anchoring (artist/lens), and iterative refinement. It is low-cost control by aligning intent to conditioning.
备考提示：把提示词抽象为"对条件分布的导引"，比单纯罗列技巧更显专业。
Q17什么是 LoRA？它如何用于个性化的图像生成微调？
EN: What is LoRA and how is it used for personalized image generation fine-tuning?
参考回答（中文）
LoRA（低秩适配）是一种参数高效微调方法：它不改预训练权重 W，而是在其旁并联一对低秩矩阵 A、B（秩 r 很小），仅训练这少量新增参数来逼近任务所需的权重增量 ΔW=BA。在生成模型中，只需几十到几百张特定主体（如某个人、某风格）的图片，就能训练出一个几 MB 的 LoRA 权重，叠加到基础模型上即可稳定生成该主体，且可多 LoRA 叠加、随时插拔。相比全量微调，它省显存、防灾难性遗忘，是社区个性化创作（如角色、画风定制）的事实标准。
Reference Answer (EN)
LoRA freezes base weights W and adds low-rank adapters A,B (small r), training only ΔW=BA. For generation, tens–hundreds of images yield a few-MB LoRA that renders a specific subject/style on top of the base model, swappable and stackable. It is parameter-efficient, memory-light and avoids catastrophic forgetting.
备考提示：核心句"冻结主干 + 低秩旁路 + 小数据定制"，能讲出 rank 含义更佳。
Q18Sora 类视频生成模型的核心理念是什么？它如何处理时空一致性？专业重点
EN: What is the core idea of Sora-like video generation and how does it handle spatiotemporal consistency?
参考回答（中文）
Sora 的核心理念是把视频压缩到潜空间后，将视频拆解为一系列"时空图块（spacetime patches）"作为统一 token，再用扩散 Transformer（DiT）在这些图块上做去噪生成，从而把图像扩散的自然扩展到视频。时空图块让模型以统一粒度处理不同时长、分辨率，而 Transformer 的全局注意力天然建模长程依赖，是保持人物、物体跨帧一致性的关键。配合文本/图像条件与可变时长训练，它能生成分钟级、镜头连贯的视频。其难点仍在物理合理性、长视频一致性与算力成本。
Reference Answer (EN)
Sora compresses video to latent and tokenizes it into spacetime patches, then runs a diffusion Transformer (DiT) to denoise these tokens — extending image diffusion to video. Patches give a uniform representation across durations/resolutions; Transformer global attention models long-range dependence, key to cross-frame consistency. Challenges: physics, long-video coherence, compute.
备考提示："潜空间 + 时空 patch + DiT"是 Sora 题的铁三角，务必背熟。
Q19视频生成相比图像生成，难在哪里？
EN: Why is video generation harder than image generation?
参考回答（中文）
视频生成的额外难度来自"时间"维度。一是数据量与算力爆炸：视频是图像的时间序列，帧间冗余大但总量远超单图；二是时序一致性：必须保证人物、物体、光照跨帧稳定，否则出现闪烁、突变；三是运动建模：需理解物理合理运动（刚体、流体、遮挡），而图像无需；四是长程依赖：分钟级视频要求模型记住早期内容；五是评测难：除画质外还要评价流畅度与叙事连贯。当前方案多以"图像扩散 + 时序层（如 3D 卷积/光流/DiT 注意力）"补足，但仍落后于图像质量。
Reference Answer (EN)
Video adds the time dimension: (1) data/compute explode; (2) temporal consistency (no flicker/identity drift); (3) motion & physics modeling; (4) long-range memory for minute-long clips; (5) harder evaluation (fluency, narrative). Methods add temporal layers (3D conv, optical flow, DiT attention) atop image diffusion.
备考提示：从"一致性、运动、长程、算力"四个维度展开，条理分明。
Q20多模态大模型（MLLM）如何把图像"输入"给大语言模型？
EN: How do MLLMs feed images into a large language model?
参考回答（中文）
主流做法是"视觉编码器 + 投影对齐 + 语言模型"三段式。先用 ViT 之类视觉编码器把图像变成一串视觉 token（patch 特征）；再用一个轻量投影模块（如线性层、MLP 或 Q-Former）把视觉特征映射到语言模型的词嵌入空间，使视觉 token 与文本 token 在同一序列里可比；最后把这些视觉 token 拼在文本 token 之前/之中，送入 LLM 做自回归生成。训练通常分两阶段：先对齐视觉-语言表示，再做视觉指令微调（visual instruction tuning）让模型学会看图对话。这样 LLM 无需改结构即可"读懂"图像。
Reference Answer (EN)
Typical pipeline: a ViT encodes the image into visual tokens; a lightweight projector (linear/MLP/Q-Former) maps them into the LLM's embedding space; visual tokens are concatenated with text tokens and fed to the LLM autoregressively. Training: first align visual-language, then visual instruction tuning. The LLM structure stays unchanged.
备考提示："编码→投影对齐→拼接进 LLM"三步法，是所有 MLLM 的通用骨架。
Q21请比较 GPT-4V、Qwen-VL 与 InternVL 等多模态大模型的特点。专业重点
EN: Compare multimodal LLMs like GPT-4V, Qwen-VL and InternVL.
参考回答（中文）
三者代表不同定位。GPT-4V（闭源）以强泛化与推理著称，端到端对齐精细，但不可本地部署、细节不公开。Qwen-VL（阿里，开源）提供多尺寸版本，支持高分辨率与中英文双语、文档图表理解，社区生态活跃，适合国产化与二次开发。InternVL（上海 AI 实验室等，开源）强调大规模视觉编码器与语言模型的对齐训练，在多项 benchmarks 逼近闭源模型，且其"书生"体系与同济合作方上海人工智能实验室直接相关，工程可用性高。共同点都是"ViT+投影+LLM"架构，差异在规模、开放度与中文/文档场景优化。
Reference Answer (EN)
GPT-4V (closed) leads in generalization/reasoning but is not open or deployable. Qwen-VL (Alibaba, open) offers multilingual, high-res, document/chart understanding with active ecosystem. InternVL (Shanghai AI Lab et al., open) stresses large-scale vision-language alignment, nearing closed-source on benchmarks and ties to Tongji's collaborator. All use ViT+projector+LLM; differ in scale, openness, CN/doc optimization.
备考提示：点出 InternVL 与上海 AI 实验室的关联，最能体现你做了"同济特色"功课。
Q22多模态对齐（Alignment）有哪些常见方法？
EN: What are common methods for multimodal alignment?
参考回答（中文）
对齐可分为表示层与指令层两类。表示层对齐：用对比学习（CLIP）把图文嵌入拉进同一空间；或用跨模态翻译（如 image captioning、text-to-image）让一模态生成另一模态，间接对齐。指令层对齐：在表示对齐后，用视觉指令数据微调，使模型按人类指令完成看图问答、推理。还有更细的"区域-词语"级对齐（如 grounding、visual grounding 把短语绑定到图像区域），以及基于大模型的"对齐微调（RLHF/DPO）"使输出符合人类偏好。层次上从全局语义到局部实体，方法从对比、生成到偏好优化逐步递进。
Reference Answer (EN)
Two levels. Representation alignment: contrastive learning (CLIP) into a shared space, or cross-modal generation (captioning/T2I). Instruction alignment: visual instruction tuning after representation alignment. Finer: region-word grounding. Preference: RLHF/DPO on multimodal outputs. From global semantics to local entities, methods progress contrastive→generative→preference.
备考提示：用"表示对齐 vs 指令对齐"二分法，再补 grounding，层次清晰。
Q23什么是视觉指令微调（Visual Instruction Tuning）？
EN: What is visual instruction tuning?
参考回答（中文）
视觉指令微调是让 MLLM 学会"按指令理解并回答图像相关问题"的关键阶段。做法是先构造或收集大量"图像+指令+回答"三元组数据（常以 GPT-4 辅助生成，如 LLaVA 的思路），格式涵盖描述、问答、推理、对话等。在已对齐视觉-语言表示的基础上，用这些数据微调投影层乃至部分 LLM 参数，使模型从"能看图"升级为"能按人话指令交互"。它类似纯文本 LLM 的指令微调，但输入多了视觉 token，是 MLLM 具备对话与任务执行能力的关键一步。
Reference Answer (EN)
Visual instruction tuning teaches an MLLM to follow instructions about images. One collects (image, instruction, answer) triples (often GPT-4-augmented, e.g. LLaVA) spanning captioning, QA, reasoning, dialogue, then fine-tunes the projector/LLM on top of aligned representations. Analogous to text LLM instruction tuning but with visual tokens; key to interactive MLLM ability.
备考提示：可顺带提 LLaVA 作为典型例子，体现你对开源路线的了解。
Q24AIGC 在版权与伦理上面临哪些主要争议？应如何应对？
EN: What are the main copyright and ethics concerns of AIGC, and how to address them?
参考回答（中文）
争议集中在三点：一是训练数据版权——模型在未经授权作品上训练是否构成侵权，各国判例尚在形成；二是生成内容归属——AI 产出难界定作者，现有著作权多要求"人类创造性投入"；三是滥用风险——深度伪造、虚假信息、风格剽窃危害社会。应对上，技术侧可做数据溯源（水印、C2PA 元数据）、生成溯源检测与差分隐私训练；制度侧需明确授权与标注义务、建立补偿机制；使用者侧应透明标注"AI 生成"、避免冒用他人风格。作为研究者，遵循"可用不可滥"且关注合规，是负责任的底线。
Reference Answer (EN)
Three concerns: (1) training-data copyright (unauthorized use); (2) ownership of AI output (authorship needs human creativity); (3) misuse — deepfakes, disinformation, style theft. Responses: technical (watermarking, C2PA provenance, detection, DP training); regulatory (licensing, labeling, compensation); user practice (disclose AI-generated, avoid impersonation). Researchers must follow "usable but not abusive" and compliance.
备考提示：面试常从技术追问到责任，回答展现"技术+制度+使用"三层视角最稳。
Q25如何定量评估生成图像的质量？请解释 FID 与 IS。
EN: How to quantitatively evaluate generated images? Explain FID and IS.
参考回答（中文）
常用两类指标。IS（Inception Score）用 Inception-V3 提取生成图特征：高 IS 意味着单图类别置信度高（清晰）且整体分布多样（不单一），但无法衡量与真实数据的相似度，且对背景不敏感。FID（Fréchet Inception Distance）则分别计算真实图与生成图在 Inception 特征空间的均值与协方差，用弗雷歇距离刻画两分布差异；FID 越低表示生成分布越接近真实，既管质量也管多样性，是目前主流指标。二者都依赖 Inception 特征、各有偏差，实践中常配合人工评测与 CLIP-Score（文本-图像对齐）综合判断。
Reference Answer (EN)
IS (Inception Score) measures class confidence (clarity) and diversity of generated images, but ignores realism vs real data. FID (Fréchet Inception Distance) compares mean/covariance of real and generated Inception features via Fréchet distance; lower = closer to real, covering both quality and diversity — the standard metric. Both rely on Inception features and are complemented by human eval and CLIP-Score.
备考提示：区分"IS 只看生成集自身、FID 比生成与真实分布"这一根本差异，必考。
Q26什么是生成模型/多模态模型的"幻觉"？如何缓解？
EN: What is "hallucination" in generative/multimodal models and how to mitigate it?
参考回答（中文）
幻觉指模型产出与输入事实或图像内容不符、看似合理却错误的信息，如 MLLM 描述图中不存在的物体、编造细节。成因包括：训练数据噪声与偏见、自回归生成的错误累积、视觉特征与语言对齐不充分、以及"讨好式"概率采样。缓解手段：一是数据侧提升图文配对质量与指令数据准确性；二是对齐侧强化视觉 grounding，让回答绑定可定位区域；三是推理侧引入检索增强（RAG）、置信度校准与自我验证/重看；四是偏好优化（RLHF/DPO）惩罚幻觉输出。工程上还需人工复核关键场景。
Reference Answer (EN)
Hallucination = plausible-but-false output (e.g. describing nonexistent objects). Causes: noisy data, error accumulation in autoregressive decoding, weak visual-language alignment, sycophancy. Mitigation: cleaner paired/instruction data, stronger visual grounding, retrieval augmentation (RAG), confidence calibration, self-verification, and preference optimization (RLHF/DPO). Human review for critical use.
备考提示：把"幻觉"与"对齐不足、解码累积"挂钩，再给分层缓解方案，显出系统性。
Q27生成式 AI 面临哪些安全性问题？同济工程场景需特别关注什么？
EN: What safety issues does generative AI face, and what matters for Tongji's engineering scenarios?
参考回答（中文）
安全性问题主要有：深度伪造与身份冒用、违规内容生成（暴力、偏见）、提示词注入与越狱、训练数据隐私泄露，以及自动化攻击（钓鱼、恶意代码）放大。对同济"AI4E"的工科场景，还需关注两点：一是生成内容用于设计/仿真时的"可信性"——错误图纸或工况视频可能造成实际工程风险；二是具身智能中多模态生成的"物理安全"，如错误动作规划。应对含内容过滤、红队评测、模型水印、权限隔离与可审计日志，把安全嵌入研发而非事后补救。
Reference Answer (EN)
Safety issues: deepfakes, harmful/bias content, prompt injection/jailbreak, data privacy leakage, scaled automated attacks. For Tongji AI4E engineering: trustworthiness of generated designs/simulations (wrong drawings risk real harm) and physical safety in embodied multimodal generation. Mitigations: content filters, red-teaming, watermarking, access control, audit logs — security by design.
备考提示：把通用安全与"工程可信、具身物理安全"结合，正对同济特色。
Q28结合同济"AI4E（工程智能）"战略，多模态生成能解决哪些工程问题？
EN: With Tongji's AI4E strategy, what engineering problems can multimodal generation solve?
参考回答（中文）
AI4E 强调以 AI 赋能传统工科垂直场景，多模态生成正是天然接口。举例：一是智能设计与仿真——用文生图/生 3D 快速生成建筑、机械概念方案，配合 ControlNet 约束工程草图；二是工况理解与报告——把传感器、监控视频与文本自动生成巡检报告与异常预警；三是具身智能——上海 AI 实验室的具身方向可用多模态生成做机器人行为规划与仿真训练数据；四是科学可视化——把仿真结果生成可解释的图像/动画。核心是把"生成"当作工程创意与决策的加速器，而非纯娱乐工具。
Reference Answer (EN)
AI4E uses AI for vertical engineering. Multimodal generation helps: (1) smart design — text-to-image/3D concept generation with ControlNet from sketches; (2) condition understanding — auto inspection reports from sensors/video+text; (3) embodied AI (Shanghai AI Lab) — behavior planning and sim data; (4) scientific visualization. It accelerates engineering creativity and decision-making.
备考提示：此题是展现"我懂同济"的黄金机会，准备 2 个具体工程例子。
Q29你认为多模态与生成式 AI 下一步最关键的挑战是什么？
EN: What do you think is the most critical next challenge for multimodal/generative AI?
参考回答（中文）
我认为最关键的挑战是"可信可控的生成"，它包含三层：一是事实与物理一致性——尤其视频与具身场景，模型需理解真实世界规则而非表面逼真；二是精细可控——当前对布局、属性、长程结构的精确约束仍弱，需更强条件机制；三是评估与对齐——缺乏统一可信的自动评测，且需与人类价值观稳定对齐。此外，算力与数据边界、版权合规也是产业化瓶颈。对科研而言，把"生成质量"推进到"生成可信"是下一个十年核心命题，也契合同济 AI4E 对工程可靠性的要求。
Reference Answer (EN)
The key challenge is trustworthy, controllable generation: (1) factual/physical consistency, especially video and embodied scenes; (2) fine-grained control of layout/attributes/long structure; (3) reliable automatic evaluation and stable value alignment. Compute/data limits and copyright compliance also block industrialization. Moving from "realistic" to "trustworthy" is the core next-decade problem, matching AI4E's reliability needs.
备考提示：开放题没有标准答案，但"可信可控"框架既有深度又稳妥，强烈推荐。
Q30开放题：请为"桥梁病害巡检"设计一个多模态生成式 AI 应用方案。
EN: Design a multimodal generative AI application for "bridge defect inspection".
参考回答（中文）
方案分四层：感知层用无人机采集桥梁表观图像与红外/声学信号，构成多模态输入；理解层用 MLLM（如 InternVL）做视觉问答，定位裂缝、剥落并输出病害类型与等级；生成层用扩散模型把病害草图或文字描述渲染成"病害示意图/维修效果图"，并用 ControlNet 约束结构准确；报告层由 LLM 汇总多模态证据，自动生成带图的中文巡检报告与维修建议。安全上加水印与人工复核。该方案把多模态理解、可控生成与工程报告串联，正体现 AI4E"以生成加速工程决策"的思路，也是同济土木/交通优势方向的结合点。
Reference Answer (EN)
Four layers: (1) sensing — drone images + infrared/acoustic as multimodal input; (2) understanding — MLLM (e.g. InternVL) for VQA to locate cracks/spalling and grade severity; (3) generation — diffusion + ControlNet renders defect diagrams/repair previews from sketches/text; (4) reporting — LLM summarizes multimodal evidence into a Chinese report with images. Add watermarking and human review. Embodies AI4E and Tongji's civil/transport strengths.
备考提示：开放题用"感知→理解→生成→报告"四层结构，体现系统思维，并点出同济土木/交通优势。
D. 本方向自我介绍定制建议
1. 锚定一个项目载体：无论课程作业还是竞赛，准备一个你真正做过的生成/多模态相关项目（如用 Stable Diffusion 做海报、用 CLIP 做检索、用 MLLM 做看图问答），能讲清"用了什么模型、解决了什么问题、遇到什么坑"，远比泛泛而谈更有说服力。
2. 主动连接 AI4E 与同济资源：在自我介绍末段点一句"我希望借助同济与上海人工智能实验室的多模态大模型平台，把生成式能力用于工程智能场景"，直接呼应办学特色，让面试官感到你"做了功课、目标清晰"。
3. 用"原理 + 应用"双层表达自己：若你偏理论，强调对扩散模型/CLIP 的推导能力；若偏工程，强调部署、微调（LoRA/ControlNet）与落地经验。让导师制/项目制双轨培养看到你的可塑性。
4. 准备一段"责任与边界"表态：生成式 AI 必谈伦理与安全。提前备好对版权、幻觉、深度伪造的立场（参见 Q24/Q26/Q27），展现成熟的研究者素养，这是拔尖班看重的软素质。
5. 控制时长、留钩子：自我介绍压缩在 1.5 分钟内，末尾抛一个你感兴趣的具体子方向（如"视频生成的物理一致性"），引导面试官追问你准备好的专业重点题，化被动为主动。
本站为独立信息整理平台，并非学校招生官网，未获学校招生代理授权。招生要求与时间以学校官方最新通知为准。
二次选拔
二次选拔