03_自然语言处理与大语言模型

2026-07-27 · 备考资料 · 鸡蛋强基计划综合评价

方向 03 / DIRECTION 03

自然语言处理与大语言模型

Natural Language Processing & Large Language Models

A. 方向画像与考察重点

自然语言处理（NLP）是大模型时代人工智能最活跃的方向之一，也是同济大学人工智能（拔尖班）"工程智能（AI for Engineering, AI4E）"战略中语言智能板块的核心支撑。依托电子与信息工程学院与"自主智能无人系统前沿科学中心"，该方向聚焦语言大模型、多模态理解与生成，并与上海人工智能实验室在语言大模型、多模态大模型、具身智能等前沿领域深度合作，承担从基础研究到行业落地的全链条任务。

对拔尖班的同学而言，本方向的考察重点并不止于"会调 API"，而是希望看到候选人对语言模型从词表示、序列建模到 Transformer 架构、预训练—微调范式、对齐与安全这一完整技术脉络的清晰理解。面试常从经典概念（如词嵌入、注意力）切入，逐步深入到 BERT/GPT 对比、RLHF 对齐、提示工程与推理优化等大模型核心议题。

此外，同济已上线基于大模型的生涯规划助手 ChatTJ，结合上海人工智能实验室的"书生"（Intern）系列语言大模型，形成了"教学—科研—产业"贯通的本地化生态。面试中若能结合 ChatTJ 的对话助手定位、开源模型（Qwen/GLM/DeepSeek）与国产大模型自主可控趋势谈应用前景，极易展现对方向价值与同济特色的真实认知。

B. 核心概念速查

关键词下列 8 条为本方向必须脱口而出的基础概念，建议背诵英文原名与一句话定义。

词嵌入（Word2Vec）：将词语映射为低维稠密向量，使语义相近的词在向量空间中距离更近。
Transformer 自注意力（Self-Attention）：通过 Query/Key/Value 计算词间相关性权重，并行捕捉长距离依赖。
BERT：基于 Transformer 编码器的双向预训练模型，使用掩码语言模型（MLM）理解上下文。
GPT：基于 Transformer 解码器的自回归生成模型，从左到右逐词预测下一个 token。
指令微调（SFT）：用"指令—回答"数据对预训练模型做有监督微调，使其遵循人类指令。
人类反馈强化学习（RLHF）：用人类偏好训练奖励模型，再以强化学习对齐模型输出与人类价值观。
检索增强生成（RAG）：在生成前从外部知识库检索相关文档，缓解幻觉并引入最新知识。
上下文学习（ICL）：大模型仅凭 prompt 中的少量示例即可完成新任务，无需更新参数。

C. 面试真题（Q1–Q30）

Q1请解释什么是词嵌入（Word2Vec），它解决了什么问题？

EN: What is word embedding (Word2Vec) and what problem does it solve?

参考回答（中文）

词嵌入是将离散词语映射为连续低维稠密向量的表示学习方法。传统 one-hot 编码维度高、稀疏且无法表达语义关系。Word2Vec 通过 Skip-gram 或 CBOW 在大规模语料上训练，使语义相近的词在向量空间中距离更近，从而让"国王−男人+女人≈女王"这类类比运算成立。它把语言符号转化为可计算、可泛化的数值表示，是现代 NLP 与词表示的基石。

Reference Answer (EN)

Word embedding maps words to dense low-dimensional vectors. Unlike sparse one-hot vectors, it captures semantic similarity so related words lie close in space (e.g., king−man+woman≈queen). Trained via Skip-gram or CBOW, it is the foundation of modern NLP representations.

备考提示：能对比 one-hot 与分布式表示的优劣，并举例词类比，是基本功体现。

Q2one-hot 编码有什么缺陷？为什么需要分布式表示？

EN: What are the drawbacks of one-hot encoding and why do we need distributed representations?

参考回答（中文）

one-hot 编码为每个词分配一个唯一维度，维度等于词表大小，导致向量极高维、极度稀疏，且任意两词内积为 0，完全无法体现语义或语法关系，也浪费存储与计算。分布式表示（如词嵌入）用固定低维稠密向量刻画词义，向量各维度共同编码多种语义特征，既压缩维度又让语义相似词在空间中邻近，从而支持相似度计算、类比推理与模型泛化。

Reference Answer (EN)

One-hot vectors are high-dimensional, sparse, and orthogonal—any two words have zero similarity and no semantic relation is encoded. Distributed representations use low-dimensional dense vectors where meaning is spread across dimensions, enabling similarity, analogy, and generalization.

备考提示："稀疏、高维、无语义"三个词要能脱口而出。

Q3RNN 为什么难以处理长序列？LSTM 如何缓解梯度消失？专业重点

EN: Why do RNNs struggle with long sequences, and how does LSTM mitigate vanishing gradients?

参考回答（中文）

RNN 通过时间步循环传递隐藏状态，反向传播需沿时间链连乘权重矩阵，导致梯度呈指数级衰减或爆炸，难以学到远距离依赖；且其串行结构无法并行，训练缓慢。LSTM 引入遗忘门、输入门、输出门与细胞状态（cell state）这条"信息高速公路"，门控机制以加法为主、梯度可不衰减地跨时间步流动，从而有效缓解梯度消失、更好地记忆长期信息。但它仍未解决并行与极长依赖问题，最终被 Transformer 取代。

Reference Answer (EN)

RNNs suffer vanishing/exploding gradients over long time steps and cannot be parallelized. LSTM adds gating (forget/input/output) and a cell state that acts as a gradient highway, preserving long-term memory. However, it remains sequential, so Transformers later replaced it.

备考提示：能画出"门控+细胞状态"的直觉，并指出"仍未并行"这一局限，体现批判性。

Q4LSTM 中的三个门分别起什么作用？

EN: What are the roles of the three gates in an LSTM?

参考回答（中文）

LSTM 包含遗忘门、输入门与输出门。遗忘门决定上一时刻细胞状态中哪些信息应被丢弃；输入门控制当前候选信息有多少写入细胞状态；输出门决定当前细胞状态有多少暴露为隐藏状态输出。三者通过 sigmoid 门控（0~1）与 tanh 激活配合，使网络能动态、有选择地记忆与遗忘，从而建模复杂的时间依赖。这种精细的门控是 LSTM 优于普通 RNN 的关键。

Reference Answer (EN)

The forget gate discards old cell-state information; the input gate controls new information written into the cell state; the output gate decides how much cell state is exposed as the hidden output. Sigmoid gates (0–1) enable selective memory.

备考提示：用"丢、写、露"三字记忆三个门，简洁不易错。

Q5Seq2Seq 模型有什么瓶颈？注意力机制因何被提出？

EN: What is the bottleneck of Seq2Seq, and why was attention introduced?

参考回答（中文）

经典 Seq2Seq 用编码器把整句压缩为一个固定长度的上下文向量，再交由解码器生成。句子越长，单一向量越难承载全部信息，造成信息瓶颈与长序列性能下降；且解码每一步都依赖同一向量，难以聚焦源句不同部分。注意力机制让解码器在生成每个词时，动态计算对编码器各隐藏状态的加权关注，使每一步都能"回头看"最相关的源词，显著提升翻译等长序列任务的准确性与可解释性。

Reference Answer (EN)

Seq2Seq compresses the whole source into one fixed vector, creating an information bottleneck for long sentences. Attention lets the decoder dynamically weight encoder hidden states per step, focusing on relevant source words and improving accuracy and interpretability.

备考提示："固定向量瓶颈"是注意力提出的经典动机，务必讲清。

Q6简述加性（Bahdanau）注意力与缩放点积（Luong/Transformer）注意力的区别。

EN: Compare additive (Bahdanau) and scaled dot-product (Luong/Transformer) attention.

参考回答（中文）

Bahdanau 注意力用前馈网络计算 Query 与 Key 的兼容性分数，称为加性注意力，对小维度较稳但计算慢、难并行。Transformer 采用缩放点积注意力：score=QKᵀ/√d_k，直接做点积并除以维度平方根以稳定梯度，再 softmax 得权重后加权 Value。点积形式可用高度优化的矩阵运算实现，并行高效，成为大模型标配。二者本质都是"按相关性对 Value 加权求和"。

Reference Answer (EN)

Additive attention uses a feed-forward network for compatibility scores (slow, less parallel). Scaled dot-product attention computes QKᵀ/√d_k, is matrix-friendly and highly parallel, and is the standard in Transformers. Both weight Value by relevance.

备考提示：强调"√d_k 缩放"是为防止点积过大导致 softmax 梯度消失。

Q7请写出 Transformer 自注意力的计算公式，并解释 Q、K、V 的作用。专业重点

EN: Write the self-attention formula of Transformer and explain Q, K, V.

参考回答（中文）

自注意力公式为：Attention(Q,K,V)=softmax(QKᵀ/√d_k)·V。其中 Q（Query）、K（Key）、V（Value）均由输入经不同线性变换得到。Q 与 K 做点积衡量"查询"与每个"键"的相关性，除以 √d_k 稳定梯度，softmax 归一化为注意力权重，再对 V 加权求和，得到融合了全序列上下文的新表示。在自注意力中，Q/K/V 来自同一序列，使每个词都能直接关注序列中任意位置，突破了 RNN 的距离限制，且可完全并行计算。

Reference Answer (EN)

Attention(Q,K,V)=softmax(QKᵀ/√d_k)V. Q,K,V are linear projections of the input. Q·Kᵀ measures relevance, scaled by √d_k, softmax gives weights, applied to V. In self-attention Q,K,V come from the same sequence, enabling direct global context and full parallelism.

备考提示：公式必须能默写；能解释"为何除以√d_k"是加分项。

Q8多头注意力（Multi-Head Attention）有什么好处？

EN: What is the benefit of Multi-Head Attention?

参考回答（中文）

单头注意力只能学到一种关注模式，而多头注意力将 Q/K/V 投影到 h 个不同子空间，并行计算 h 次注意力，使模型能同时从语义、句法、位置等多种角度捕捉不同类型的关系（如主谓搭配、指代、长距离依赖）。各头输出拼接后再线性变换，丰富了表示的表达能力。它几乎不增加序列长度维度的计算复杂度，却显著提升了模型对复杂语言结构的建模能力，是 Transformer 的核心组件。

Reference Answer (EN)

Multi-head attention runs attention in several subspaces in parallel, letting the model capture diverse relations (syntax, coreference, long-range) simultaneously. Heads are concatenated and projected, boosting expressiveness with little extra cost—a core Transformer component.

备考提示："多个子空间、多种关系"是多头的核心直觉。

Q9Transformer 为什么需要位置编码？它是如何加入位置信息的？专业重点

EN: Why does Transformer need positional encoding and how is position injected?

参考回答（中文）

自注意力对输入顺序具有置换不变性——打乱词序不会改变注意力计算结果，因此模型本身无法感知词的位置。位置编码正是为此引入，将位置信息注入表示。原始 Transformer 使用不同频率的正弦/余弦函数生成绝对位置向量，与词嵌入逐元素相加；现代大模型多采用可学习的位置嵌入或旋转位置编码（RoPE），后者通过旋转矩阵在注意力点积中隐式编码相对位置，更利于长上下文与外推。位置信息是序列建模不可或缺的一环。

Reference Answer (EN)

Self-attention is permutation-invariant, so order is lost without position info. The original Transformer adds sinusoidal absolute encodings to embeddings; modern models use learned embeddings or RoPE, which encodes relative position via rotation in the attention dot product, aiding long context.

备考提示：能提到 RoPE 与"置换不变性"会明显超出一般考生水平。

Q10BERT 和 GPT 的核心区别是什么？各自适合什么任务？专业重点

EN: What are the core differences between BERT and GPT, and their suitable tasks?

参考回答（中文）

二者架构目标不同：BERT 基于 Transformer 编码器，采用掩码语言模型（MLM）做双向上下文建模，能同时看左右文，擅长理解类任务（分类、NER、问答、句对匹配）。GPT 基于解码器，做自回归从左到右生成，仅看左侧上下文，擅长生成类任务（写作、对话、代码）。简言之"BERT 理解、GPT 生成"。预训练目标差异也决定了微调方式：BERT 多接分类头，GPT 直接续写。如今主流对话大模型多为 decoder-only 架构。

Reference Answer (EN)

BERT (encoder, MLM) is bidirectional—great for understanding (classification, NER, QA). GPT (decoder, autoregressive) is left-to-right—great for generation (dialogue, coding). Rule: "BERT understands, GPT generates." Most chat LLMs are decoder-only.

备考提示："encoder 理解 vs decoder 生成"一句话总结，面试官最爱听。

Q11什么是"预训练—微调"范式？它相比从头训练有什么优势？

EN: What is the pre-train then fine-tune paradigm and its advantages?

参考回答（中文）

预训练—微调先在海量无标注文本上以语言建模等自监督目标训练出通用语言模型，习得词法、句法与世界知识；再用小规模有标注数据在下游任务上微调，适配具体目标。相比从头训练，它大幅降低对标注数据的依赖与算力成本，泛化更强，是小样本场景下的主流方案。该范式催生了 BERT、GPT 等模型，也是当今大模型的基石。其延伸"预训练—指令微调—对齐"进一步提升了可用性。

Reference Answer (EN)

Pre-train learns general representations from massive unlabeled text via self-supervision; fine-tune adapts to a task with little labeled data. It cuts annotation/compute needs and boosts generalization—the foundation of BERT/GPT and modern LLMs.

备考提示：强调"自监督+迁移"是范式本质。

Q12什么是掩码语言模型（MLM）？它为什么是双向的？

EN: What is Masked Language Modeling (MLM) and why is it bidirectional?

参考回答（中文）

MLM 是 BERT 的预训练目标：随机遮盖输入中约 15% 的 token（用 [MASK] 或替换），让模型根据未被遮盖的左右上下文预测被遮词。由于模型能同时看到目标词前后内容，因此学到的是双向上下文表示，比单向语言模型信息更充分。代价是预训练（有 [MASK]）与微调（无 [MASK]）存在分布差异。MLM 让 BERT 在理解类任务上表现优异，是"预训练—微调"的代表性设计。

Reference Answer (EN)

MLM randomly masks ~15% of tokens and predicts them from both left and right context, yielding bidirectional representations. It outperforms unidirectional LMs on understanding tasks, though it introduces a pre-train/fine-tune mismatch due to [MASK].

备考提示：能指出"[MASK] 分布差异"这一缺陷，体现深度。

Q13指令微调（SFT）是什么？它和预训练有何不同？

EN: What is Supervised Fine-Tuning (SFT) and how does it differ from pre-training?

参考回答（中文）

预训练让模型从海量文本中学语言与知识，目标是预测下一个 token；SFT 则在预训练模型之上，用精心收集的"指令—回答"配对数据做有监督微调，教会模型理解并遵循人类指令格式。二者差异在于：数据规模上预训练达 TB 级、SFT 仅万至百万级；目标上前者学语言、后者学"听话"；SFT 数据质量与多样性远比数量重要，直接决定模型指令遵循与任务泛化能力，是 ChatGPT 类助手成型的关键一步。

Reference Answer (EN)

Pre-training learns language/knowledge from web-scale text (next-token). SFT fine-tunes on instruction–response pairs to follow human commands. SFT uses far less, higher-quality data and shifts the goal from "predict text" to "obey instructions"—key to usable assistants.

备考提示："预训练学语言、SFT 学听话"对比记忆。

Q14什么是 RLHF？为什么大模型需要对齐（alignment）？专业重点

EN: What is RLHF and why do LLMs need alignment?

参考回答（中文）

RLHF（基于人类反馈的强化学习）通常分三步：先用 SFT 得到初始模型；再收集人类对模型输出的优劣排序，训练奖励模型（RM）拟合人类偏好；最后以奖励为信号、用 PPO 等强化学习优化策略模型，使其输出更符合人类期望。对齐之所以必要，是因为"会说话"不等于"说得好"——模型可能产生有害、偏颇或不符指令的内容。RLHF 把主观的人类价值观注入模型，提升有用性、真实性与无害性（3H），是大模型可用、可信的关键。

Reference Answer (EN)

RLHF: (1) SFT base model; (2) train a Reward Model from human preference rankings; (3) optimize the policy with RL (e.g., PPO) using the reward. Alignment is needed because fluent text isn't necessarily helpful/harmless; RLHF injects human values (helpful, honest, harmless).

备考提示："3H（有用、真实、无害）"与"三步法"是高频考点。

Q15奖励模型（Reward Model）是如何训练的？它有什么局限？

EN: How is the Reward Model trained and what are its limitations?

参考回答（中文）

奖励模型用一个 pair-wise 排序目标训练：对同一 prompt 的多个回答，人类标注其优劣顺序，模型学习给更优回答打更高分，损失函数为排序（Bradley-Terry）损失。训练后 RM 可为任意生成结果打分，作为 RL 阶段的奖励信号。局限在于：人类偏好标注成本高且存在主观分歧；RM 可能被"奖励黑客"利用而给出虚高但不实的分数；且 RM 能力上限决定了策略优化的天花板，容易产生分布外偏差。

Reference Answer (EN)

The RM is trained on human preference rankings of responses with a pairwise (Bradley-Terry) ranking loss. Limitations: costly/subjective labels, reward hacking, and a capability ceiling that bounds policy quality.

备考提示："reward hacking（奖励黑客）"是体现前沿认知的好词。

Q16什么是提示工程（Prompt Engineering）？请举几种常见策略。

EN: What is Prompt Engineering? Give common strategies.

参考回答（中文）

提示工程是在不更新模型参数的前提下，通过精心设计输入文本来引导大模型行为的技术。常见策略包括：明确角色与指令（"你是一名…"）；少样本示例（few-shot）；思维链（CoT）引导逐步推理；指定输出格式（JSON、表格）；分解复杂任务为子步骤；以及约束条件与负面指令。好的 prompt 能显著提升准确率与稳定性。它成本低、易迭代，是应用层最常用的"调优"手段，也是同济 ChatTJ 这类助手提升体验的关键。

Reference Answer (EN)

Prompt engineering crafts inputs to steer LLMs without training. Strategies: role/instruction setting, few-shot examples, chain-of-thought, output-format constraints, task decomposition, and negative constraints. It is cheap, iterative, and widely used in practice.

备考提示：结合 ChatTJ 说"提示工程提升助手体验"很贴同济特色。

Q17什么是上下文学习（In-Context Learning, ICL）？它为什么有效？

EN: What is In-Context Learning (ICL) and why does it work?

参考回答（中文）

ICL 指大模型仅凭 prompt 中提供的少量示例（不加任何参数更新）即可泛化到新任务，由 GPT-3 揭示。其有效性的主流解释有：模型在预训练阶段已通过海量文本隐含学会了"从示例中归纳"的元能力；示例激活了模型内部与任务相关的知识回路；也可视为一种隐式贝叶斯推断，把示例当作任务先验。ICL 让"无需训练即可定制"成为可能，是少样本与通用助手的核心机制。

Reference Answer (EN)

ICL means LLMs solve new tasks from a few in-prompt examples with no weight update (GPT-3). Explanations: pretraining induces meta-learning of induction; examples activate task-specific circuits; or it is implicit Bayesian inference using examples as prior. It enables training-free customization.

备考提示："元学习/贝叶斯推断"两种解释任选其一即可显深度。

Q18什么是思维链（Chain-of-Thought, CoT）？它为什么能提升推理能力？专业重点

EN: What is Chain-of-Thought (CoT) and why does it improve reasoning?

参考回答（中文）

思维链是在 prompt 中引导模型先输出中间推理步骤、再给出最终答案的技术（如"让我们一步步思考"）。它之所以有效，是因为复杂问题难以一步映射到底；显式拆解把大推理分解为若干可管理的子步骤，降低了每步难度，也让错误更易定位。从机制看，CoT 把推理过程转化为更长的 token 序列，使模型有更多计算（更多层/步）来组合知识。Zero-shot CoT 与 few-shot CoT 均已证明可显著提升数学、逻辑等任务表现。

Reference Answer (EN)

CoT prompts the model to produce intermediate reasoning steps before the answer. It helps by decomposing hard problems into easier sub-steps and giving the model more "compute" (tokens) to combine knowledge. Zero-shot and few-shot CoT both boost math/logic accuracy.

备考提示："更多 token=更多计算"这一机制解释是高分答法。

Q19什么是大模型的"幻觉"（hallucination）？如何缓解？

EN: What is hallucination in LLMs and how to mitigate it?

参考回答（中文）

幻觉指模型生成看似流畅却与事实、上下文或源材料不符的内容，分为事实幻觉与忠实性幻觉。成因包括：训练数据噪声与知识过时、模型按概率"编造"以迎合流畅性、缺乏可验证来源。缓解手段有：检索增强生成（RAG）引入可信外部知识；要求模型给出引用与不确定性表达；强化学习对齐事实偏好；后处理事实校验；以及降低温度等解码策略。不过度依赖参数化记忆、结合工具调用，是工程上最务实的方案。

Reference Answer (EN)

Hallucination is fluent but unfaithful/factual content. Causes: noisy/stale data, probabilistic fabrication. Mitigations: RAG with trusted sources, citations, factuality alignment, post-hoc verification, and lower decoding temperature. Tool use plus retrieval is most practical.

备考提示：把"幻觉"与 RAG、对齐、工具调用串起来答，体系感强。

Q20检索增强生成（RAG）的原理与优点是什么？

EN: What is the principle and advantage of RAG?

参考回答（中文）

RAG 在生成前先用检索器从外部知识库（如向量数据库）召回与问题相关的文档片段，将其作为上下文拼入 prompt，再由生成模型据此作答。原理上它把"参数化记忆"扩展为"参数+外部知识"双通道。优点：引入最新、可溯源的知识，显著减少幻觉；无需重训模型即可更新知识；回答可附带引用，增强可信与可审计性。它是企业落地大模型最主流的方案，也契合同济 ChatTJ 这类需对接校务数据的场景。

Reference Answer (EN)

RAG retrieves relevant documents from an external base (e.g., vector DB), injects them into the prompt, then generates. It augments parametric memory with external, citable, updatable knowledge, reducing hallucination—ideal for enterprise and campus assistants.

备考提示：能点出"向量数据库"与"可溯源"体现工程素养。

Q21模型量化（Quantization）是什么？INT8/INT4 会带来什么影响？

EN: What is quantization and what do INT8/INT4 bring?

参考回答（中文）

量化是将模型权重/激活从高精度（FP16/BF16）映射到低位宽整数（如 INT8、INT4）的技术，以压缩显存、加速推理。INT8 通常精度损失很小、性价比高；INT4 进一步减半或更多显存，使大模型可在消费级显卡部署，但可能引入明显精度下降，需配合量化感知训练或高效算法（如 GPTQ、AWQ）。权衡在于：更低资源消耗 vs 可能的生成质量退化，是边缘端与本地化部署的关键优化手段。

Reference Answer (EN)

Quantization maps weights/activations to lower-bit integers (INT8/INT4) to cut memory and speed inference. INT8 has minimal loss; INT4 enables consumer-GPU deployment but risks accuracy drop, mitigated by GPTQ/AWQ. Trade-off: efficiency vs quality.

备考提示：提到 GPTQ/AWQ 这类具体算法，方显真正动手经验。

Q22知识蒸馏（Knowledge Distillation）在大模型中如何应用？

EN: How is knowledge distillation applied to LLMs?

参考回答（中文）

知识蒸馏用大而强的"教师模型"指导小"学生模型"训练：除真实标签外，学生还拟合教师输出的软标签（softmax 概率分布），从而学到教师蕴含的类别间关系与隐式知识。在大模型场景，常见做法是让强模型生成高质量指令数据（如 Alpaca 式自蒸馏）来训练小模型，或用 logits/中间表示蒸馏。目标是得到体积小、推理快、接近大模型能力的轻量模型，便于端侧与低成本部署。

Reference Answer (EN)

Distillation trains a small student to mimic a large teacher's soft labels (probability distributions), transferring implicit knowledge. In LLMs, teachers generate training data (self-distillation) or logits are matched, yielding compact, fast, near-capable models for edge deployment.

备考提示："软标签 vs 硬标签"是蒸馏的核心区别。

Q23什么是 KV Cache？它如何加速自回归生成？专业重点

EN: What is KV Cache and how does it speed up autoregressive generation?

参考回答（中文）

自回归生成每生成一个新 token 都需计算此前所有 token 的 Key/Value。KV Cache 把已生成 token 的 K、V 缓存下来，下一步只需计算新 token 的 Q 与 K/V 并与缓存拼接，避免重复计算历史部分。代价是显存随序列增长线性增加。通过以空间换时间，它将每步复杂度从与序列长度平方相关降为近似线性，是长文本生成与高吞吐推理不可或缺的工程优化，也是 vLLM 等推理框架关注的重点。

Reference Answer (EN)

KV Cache stores previously computed Keys/Values so each new token only computes its own Q,K,V and reuses history. Trading memory for time, it reduces per-step cost from quadratic to near-linear in sequence length—essential for long-text and high-throughput serving.

备考提示："以空间换时间、显存随长度线性增长"是必讲的两面。

Q24BPE 与 WordPiece 分词有什么区别？它们解决了什么问题？

EN: What is the difference between BPE and WordPiece, and what problem do they solve?

参考回答（中文）

二者都是子词（subword）分词算法，解决未登录词与词表爆炸问题。BPE 从字符出发，反复合并语料中最高频的相邻符号对，得到子词词表；WordPiece（BERT 采用）类似但合并依据是使训练数据似然最大（基于互信息），而非单纯频次。相比 BPE 的"频次优先"，WordPiece 更关注区分度。二者都能把罕见词拆为已知子词，兼顾词表规模与覆盖度，是现代大模型分词的主流方案。

Reference Answer (EN)

Both are subword algorithms solving OOV and vocabulary size. BPE merges most frequent symbol pairs; WordPiece (used by BERT) merges to maximize likelihood (mutual information) rather than raw frequency. Both split rare words into known subwords, balancing coverage and size.

备考提示："子词=兼顾覆盖与词表"是分词章节的总纲。

Q25中文分词对大模型为什么尤其重要？有哪些特殊挑战？

EN: Why is Chinese tokenization especially important and challenging for LLMs?

参考回答（中文）

中文无天然词边界，且字组合灵活，分词直接影响语义切分与 token 效率。挑战在于：不同切分可能改变含义；中文在基于英文语料训练的 BPE 下常被拆成过细的字节或单字，导致中文 token 数偏多、推理成本高、信息密度低；新词、专名、网络用语层出不穷。因此许多国产模型（如 Qwen、GLM）采用更大中文词表或 SentencePiece，以提升中文压缩率与理解效果，这也是国产大模型本土化的重要一环。

Reference Answer (EN)

Chinese lacks word boundaries, so tokenization affects meaning and efficiency. Challenges: ambiguous cuts, over-fine tokens under English-trained BPE (higher cost, lower density), and endless new terms. Models like Qwen/GLM use larger Chinese vocabularies (SentencePiece) to improve compression and understanding.

备考提示："中文 token 效率低→成本高"是联系国产模型的好切入点。

Q26请简述 LLaMA、DeepSeek、Qwen、GLM 等开源大模型的特点与定位。专业重点

EN: Briefly characterize open-source LLMs: LLaMA, DeepSeek, Qwen, GLM.

参考回答（中文）

LLaMA（Meta）是开源生态基石，衍生出大量社区模型，推动了全球开源浪潮。Qwen（阿里通义）提供从 0.5B 到超大参数的全系列，中英文与工具调用能力强，生态完善。DeepSeek（深度求索）以高性价比与强化学习（如 DeepSeek-R1 推理模型）著称，训练成本低、推理能力强。GLM（智谱）采用通用语言模型架构，在中文与长文本上表现突出，并发展出对话与Agent能力。它们代表了国产与全球开源大模型"自主可控、可二次开发"的趋势，是科研与落地的重要基座。

Reference Answer (EN)

LLaMA (Meta) is the open-source foundation. Qwen (Alibaba) offers full-size, strong bilingual/tool-use models. DeepSeek is cost-efficient with notable RL reasoning (R1). GLM (Zhipu) excels in Chinese/long-text and agents. Together they show the open, controllable LLM trend.

备考提示：能说出各模型"最显著的标签"，比罗列参数更有说服力。

Q27如何系统评测一个大模型的能力？常用 benchmark 有哪些？

EN: How to systematically evaluate an LLM? Name common benchmarks.

参考回答（中文）

大模型评测需多维度覆盖：语言能力（MMLU 综合知识）、推理（GSM8K 数学、BBH 复杂推理）、代码（HumanEval）、中文（C-Eval、CMMLU）、对话与对齐（MT-Bench）、安全与偏见。方法上分自动评测（精确匹配、BLEU/ROUGE、LLM-as-judge）与人工评测。需注意 benchmark 过拟合与数据污染风险，应结合真实任务与多指标综合判断。工程上常以"能力雷达图"呈现，避免单一分数误导。

Reference Answer (EN)

Evaluate across dimensions: knowledge (MMLU), reasoning (GSM8K, BBH), code (HumanEval), Chinese (C-Eval, CMMLU), chat/alignment (MT-Bench), safety. Use automatic (match, LLM-as-judge) and human eval; watch for contamination. Report a multi-metric radar, not a single score.

备考提示："数据污染/过拟合 benchmark"是体现方法论成熟的细节。

Q28请谈谈国产大模型的发展现状与代表性工作。

EN: Discuss the current state and representatives of Chinese LLMs.

参考回答（中文）

近年来国产大模型快速发展，呈现"基座+行业"双层格局：通用基座如百度文心、阿里通义千问（Qwen）、智谱 GLM、字节豆包、DeepSeek 等，在中文、推理、多模态上达到国际第一梯队；上海人工智能实验室"书生（Intern）"系列在语言与多模态大模型上成果突出，并与高校深度协同。国家强调算力与模型自主可控，行业模型在金融、医疗、政务广泛落地。同济依托该生态，在语言大模型与 AI4E 交叉应用中具备独特区位优势。

Reference Answer (EN)

China's LLMs have reached first-tier level: Wenxin, Qwen, GLM, Doubao, DeepSeek lead in Chinese/reasoning/multimodal. Shanghai AI Lab's Intern series excels in language and multimodal. With emphasis on self-reliance and industry deployment, Tongji benefits from this ecosystem via AI4E.

备考提示：自然嵌入"书生/上海AI实验室/同济AI4E"是贴合校情的加分项。

Q29什么是大模型的"涌现能力"（emergent abilities）？该如何看待？

EN: What are emergent abilities of LLMs and how should we view them?

参考回答（中文）

涌现能力指模型性能在参数或数据规模跨越某阈值后，突然出现、在小模型上不存在的能力（如复杂推理、指令遵循）。主流观点认为它部分源于规模带来的表示与组合能力跃升，也与评测指标的非连续性有关。看待涌现应理性：它不是魔法，能力仍受训练数据分布与对齐质量约束；过度夸大或贬低都不妥。对研究者而言，理解"何种能力何时涌现"有助于高效分配算力与选定模型规模。

Reference Answer (EN)

Emergent abilities appear suddenly at scale—capabilities absent in smaller models (complex reasoning, instruction following). Likely from representational leaps and discontinuous metrics. View it rationally: bounded by data and alignment, not magic; useful for sizing models and compute.

备考提示：指出"评测指标非连续性"可避免被追问时露怯。

Q30结合同济 ChatTJ 与上海人工智能实验室，谈谈语言大模型的应用与教育前景。专业重点

EN: With ChatTJ and Shanghai AI Lab, discuss the application and educational prospects of LLMs.

参考回答（中文）

同济已上线基于大模型的生涯规划助手 ChatTJ，是"AI for Engineering/教育"的具象落地：它可为学生提供个性化的学业、选课与规划建议，体现大模型在智慧教育中的价值。与上海人工智能实验室（语言/多模态大模型方向）的深度合作，则为拔尖班提供了顶尖科研平台与真实产业课题。前景上，语言大模型将重塑个性化教学、科研助研与跨学科工程智能；而同济"项目制+导师制"的双轨培养，正能让学生在这场变革中既懂模型原理、又能以 AI4E 解决实际问题，这正是本方向的独特使命。

Reference Answer (EN)

Tongji's ChatTJ is a concrete AI4E/education case—personalized academic and career guidance via LLM. Deep collaboration with Shanghai AI Lab (language/multimodal LLMs) offers top research platforms. Prospects: personalized teaching, research assistance, cross-disciplinary engineering intelligence, realized through Tongji's project- and mentor-based training.

备考提示：收尾务必落到"AI4E + 项目制/导师制"，把个人抱负与校方战略绑在一起。