qwen论文阅读笔记

论文：
Qwen: https://arxiv.org/abs/2309.16609
相关论文：
Qwen-vl: https://arxiv.org/pdf/2308.12966
qwen2-vl: https://arxiv.org/pdf/2409.12191

代码：https://github.com/QwenLM/Qwen2-VL 之前LLaMA开源并且使用的是完全开源的数据，本文基于LLaMA做了后续的一些工作，整体看算法上的创新不大，工程上工作比较多。 模型架构和LLaMA基本相同，但是准备了比较充分的数据，也加了一些小trick, 比如参考NTK理论根据上下文长度动态调整RoPE 的底数以支持推理更长上下文输入，qwen重点强调了对齐（SFT和RLHF）的重要性。 开放了一系列不同大小的模型（1.7B~14B），在开源模型领域效果已属于前列，但和闭源模型相比仍有差距。