清华NLP团队推出自研对话AI:ChatGLM

资讯11mos agoupdate AIENGINE
941 0
网站公众号快速收录
清华NLP团队推出自研对话AI:ChatGLM

在ChatGPT的核心团队中,不乏从清华大学毕业进入OpenAI的开发者。就在GPT-4发布的同一天,清华大学顶尖的自然语言处理团队也公开了自主研发的类似于ChatGPT的大型模型-ChatGLM-6B,具备问答和对话功能。现已开始内测申请(内测申请网址:http://chatglm.cn),后续还将逐步扩大内测范围。

清华NLP团队推出自研对话AI:ChatGLM

在官方博客中提到,我们推出了一个初具问答和对话功能的中英文模型,名为ChatGLM-6B。这个模型是基于General Language Model(GLM)架构的,具有62亿参数,并针对中文进行了优化。我们使用量化技术,使得用户可以在消费级的显卡上进行本地部署(在INT4量化级别下最低只需6GB显存)。ChatGLM-6B使用了和ChatGLM相同的技术,但是我们针对中文问答和对话进行了优化。经过约1T的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62亿参数的ChatGLM-6B虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

ChatGLM-6B具备以下特点:

  • 充分的中英双语预训练:ChatGLM-6B在1:1比例的中英语料上训练了1T的token量,兼具双语能力。
  • 优化的模型架构和大小:吸取GLM-130B训练经验,修正了二维RoPE位置编码实现,使用传统FFN结构。6B(62亿)的参数大小,也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。
  • 较低的部署门槛:在FP16半精度下,ChatGLM-6B需要至少13GB的显存进行推理。但是结合模型量化技术,这一需求可以进一步降低到10GB(INT8)和6GB(INT4),这使得ChatGLM-6B可以部署在消费级显卡上。
  • 更长的序列长度:相比GLM-10B(序列长度1024),ChatGLM-6B序列长度达2048,支持更长的对话和更广泛的应用。
  • 人类意图对齐训练:我们使用了监督微调(Supervised Fine-Tuning)、反馈自助(Feedback Bootstrap)、人类反馈强化学习(RLHF)等方式,使得模型初具理解人类指令意图的能力。输出格式为markdown,方便展示。

因此,ChatGLM-6B在一定条件下具备良好的对话和问答能力。但是,我们也要承认ChatGLM-6B存在一些局限和不足:

首先,模型容量较小:由于6B的小容量,ChatGLM-6B的模型记忆和语言能力相对较弱。因此,在面对许多事实性知识任务时,模型可能会生成不正确的信息。此外,她也不擅长逻辑类问题(如数学、编程)的解答。

其次,可能会产生有害说明或有偏见的内容:ChatGLM-6B只是一个初步与人类意图对齐的语言模型,可能会生成有害、有偏见的内容。

第三,较弱的多轮对话能力:ChatGLM-6B的上下文理解能力还不够充分,在面对长答案生成,以及多轮对话的场景时,可能会出现上下文丢失和理解错误的情况。

第四,英文能力不足:由于训练时使用的指示大部分都是中文的,只有一小部分指示是英文的。因此,在使用英文指示时,ChatGLM-6B回复的质量可能不如中文指示的回复,甚至与中文指示下的回复矛盾。

最后,易被误导:ChatGLM-6B的“自我认知”可能存在问题,很容易被误导并产生错误的言论。即使该模型经过了1万亿标识符(token)左右的双语预训练,并且进行了指令微调和人类反馈强化学习(RLHF),但是因为模型容量较小,所以在某些指示下可能会产生有误导性的内容。

我们的团队一直在探索、尝试和努力,GLM系列模型取得了一些进展,但与国际顶尖大模型研究和产品(例如OpenAI的ChatGPT及下一代GPT模型)相比,仍然存在明显差距。中国大模型研究需要我们共同努力,在原创算法、AI芯片和产业上取得突破,更需要我们对下一代AI人才的培养与锻炼。

© Copyright notes

Related posts

网站公众号快速收录