大模型(LLMs)面试问题

第一部分:基础篇

1. 目前主流的开源模型体系有哪些?

2. Prefix Decoder和Causal Decoder和Encoder-Decoder区别是什么?

3. 大模型LLM的训练目标是什么?

4. 涌现能力是啥原因?

5. 为何现在的大模型大部分是Decoder only结构?

6. 简单介绍一下大模型【LLMs】?

7. 大模型【LLMs】后面跟的175B、60B、540B等指什么?

8. 大模型【LLMs】具有什么优点?

9. 大模型【LLMs】具有什么缺点?


第二部分:进阶篇

1. 什么是生成式大模型?

2. 大模型是怎么让生成的文本丰富而不单调的呢?

3. 什么是 LLMs 复读机问题?

4. 为什么会出现 LLMs 复读机问题?

5. 如何缓解 LLMs 复读机问题?

6. llama 输入句子长度理论上可以无限长吗?

7. 什么情况下用 BERT 模型,什么情况下用 Llama、ChatGLM 类大模型?

8. 各个专业领域是否需要各自的大模型来服务?

9. 如何让大模型处理更长的文本?


第三部分:微调篇

1. 如果想要在某个模型基础上做全参数微调,究竟需要多少显存?

2. 为什么 SFT 之后感觉 LLM 傻了?

3. SFT 指令微调数据如何构建?

4. 领域模型 Continue PreTrain 数据选取?

5. 领域数据训练后,通用能力往往会有所下降,如何缓解模型遗忘通用能力?

6. 领域模型 Continue PreTrain,如何让模型在预训练过程中学习到更多知识?

7. 进行 SFT 操作的时候,基座模型选用 Chat 还是 Base?

8. 领域模型微调指令 & 数据输入格式要求?

9. 领域模型微调 领域评测集 构建?

10. 领域模型词表扩增是不是有必要的?

11. 如何训练自己的大模型?

12. 训练中文大模型有啥经验?

13. 指令微调的好处?

14. 预训练和微调哪个阶段注入知识的?

15. 想让模型学习某个领域或行业的知识,是应该预训练还是应该微调?

16. 多轮对话任务如何微调模型?

17. 微调后的模型出现能力劣化,灾难性遗忘是怎么回事?

18. 微调模型需要多大显存?

19. 大模型 LLM 进行 SFT 操作的时候在学习什么?

20. 预训练和 SFT 操作有什么不同?

21. 样本量规模增大,训练出现 OOM 错误

22. 大模型 LLM 进行 SFT 如何对样本进行优化?

23. 模型参数过载实验

24. 微调大模型的一些建议

25. 微调大模型时,batch size 设置太小会出现什么问题?

26. 微调大模型时,batch size 设置太大会出现什么问题?

27. 微调大模型时,batch size 如何设置?

28. 微调大模型时,优化器如何选择?

29. 哪些因素会影响内存使用?

30. 进行领域大模型预训练应用哪些数据集比较好?

31. 用于大模型微调的数据集如何构建?

32. 大模型训练 Loss 突刺(Loss Spike)是什么?

33. 为什么大模型训练会出现 Loss 突刺?

34. 大模型训练 Loss 突刺如何解决?