在ChatGPT的核心团队中，不乏从清华大学毕业进入OpenAI的开发者。就在GPT-4发布的同一天，清华大学顶尖的自然语言处理团队也公开了自主研发的类似于ChatGPT的大型模型-ChatGLM-6B，具备问答和对话功能。现已开始内测申请（内测申请网址：http://chatglm.cn），后续还将逐步扩大内测范围。
在官方博客中提到，我们推出了一个初具问答和对话功能的中英文模型，名为ChatGLM-6B。这个模型是基于General Language Model（GLM）架构的，具有62亿参数，并针对中文进行了优化。我们使用量化技术，使得用户可以在消费级的显卡上进行本地部署（在INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGLM相同的技术，但是我们针对中文问答和对话进行了优化。经过约1T的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
ChatGLM-6B具备以下特点：
- 充分的中英双语预训练：ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力。
- 优化的模型架构和大小：吸取GLM-130B训练经验，修正了二维RoPE位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。
- 较低的部署门槛：在FP16半精度下，ChatGLM-6B需要至少13GB的显存进行推理。但是结合模型量化技术，这一需求可以进一步降低到10GB（INT8）和6GB（INT4），这使得ChatGLM-6B可以部署在消费级显卡上。
- 更长的序列长度：相比GLM-10B（序列长度1024），ChatGLM-6B序列长度达2048，支持更长的对话和更广泛的应用。
- 人类意图对齐训练：我们使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（RLHF）等方式，使得模型初具理解人类指令意图的能力。输出格式为markdown，方便展示。
因此，ChatGLM-6B在一定条件下具备良好的对话和问答能力。但是，我们也要承认ChatGLM-6B存在一些局限和不足：
首先，模型容量较小：由于6B的小容量，ChatGLM-6B的模型记忆和语言能力相对较弱。因此，在面对许多事实性知识任务时，模型可能会生成不正确的信息。此外，她也不擅长逻辑类问题（如数学、编程）的解答。
其次，可能会产生有害说明或有偏见的内容：ChatGLM-6B只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。
第三，较弱的多轮对话能力：ChatGLM-6B的上下文理解能力还不够充分，在面对长答案生成，以及多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。
第四，英文能力不足：由于训练时使用的指示大部分都是中文的，只有一小部分指示是英文的。因此，在使用英文指示时，ChatGLM-6B回复的质量可能不如中文指示的回复，甚至与中文指示下的回复矛盾。
最后，易被误导：ChatGLM-6B的“自我认知”可能存在问题，很容易被误导并产生错误的言论。即使该模型经过了1万亿标识符（token）左右的双语预训练，并且进行了指令微调和人类反馈强化学习（RLHF），但是因为模型容量较小，所以在某些指示下可能会产生有误导性的内容。
我们的团队一直在探索、尝试和努力，GLM系列模型取得了一些进展，但与国际顶尖大模型研究和产品（例如OpenAI的ChatGPT及下一代GPT模型）相比，仍然存在明显差距。中国大模型研究需要我们共同努力，在原创算法、AI芯片和产业上取得突破，更需要我们对下一代AI人才的培养与锻炼。
相关文章
