通义千问还开源了18亿参数模型Qwen-1.8B,并首度开源音频理解大模型Qwen-Audio。
至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大措辞模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。
力度之大,业界无出其右。

阿里云宣告通义千问2.1版代码理解生成能力提升30%_模子_开源 AI快讯

通义千问基座模型持续进化,多模态探索业界领先

今年4月上线以来,通义千问基座模型就在不断进化。
10月尾,阿里云在云栖大会发布通义千问2.0,短短一个月,通义千问再度升级,代码理解天生能力提升30%、数学推理能力提升10%、中英文百科知识提升近5%,幻觉勾引抵抗能力提升14%。
与此同时,高下文窗口长度扩展到32k,能够更好地处理长文本输入。

除了LLM之外,通义千问团队在多模态领域也有业界领先的探索。
8月,通义千问开源出视觉理解大模型Qwen-VL,迅速成为国际开源社区最佳实践之一。
本次发布会又宣告了Qwen-VL的重大更新,大幅提升通用OCR、视觉推理、中文文本理解根本能力,还能处理各种分辨率和规格的图像,乃至能“看图做题”。
不论从威信测评成绩还是真人体验的效果看,Qwen-VL的中文文本理解能力都超越了GPT-4V。

Qwen-VL可以“看图编程”

通义大模型能“看”也能“听”。
当天,阿里云首次开源音频理解大模型Qwen-Audio。
Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各种语音旗子暗记。
用户可以输入一段音频,哀求模型给出对音频的理解,乃至基于音频进行文学创作、逻辑推理、故事续写等等。
音频理解能够授予大模型靠近人类的听觉能力。

业界最强开源模型,补充中国LLM开源领域空缺

Qwen-72B在10个威信基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型。
未来,企业级、科研级的高性能运用,也有了开源大模型这一选项。

Qwen-72B基于3T tokens高质量数据演习,延续通义千问预演习模型一向以来的强势表现。
英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基准,得分超越GPT-4;数学推理方面,Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力有了质的飞跃。

在10大威信测评中,通义千问720亿参数模型得到开源模型最优成绩

通义千问720亿开源模型部分成绩超越闭源的GPT-3.5和GPT-4

Qwen-72B可以处理最多32k的长文本输入,在长文本理解测试集LEval上取得了超越ChatGPT-3.5-16k的效果。
研发团队优化了Qwen-72B的指令遵照、工具利用等技能,使之能更好地被下贱运用集成。
比如,Qwen-72B搭载了强大的系统指令(System Prompt)能力,用户只用一句提示词就可定制AI助手,哀求大模型扮演某个角色或者实行特定的回答任务。

此前,中国大模型市场还没涌现足以对标Llama 2-70B的优质开源模型。
Qwen-72B补充了海内空缺,以高性能、高可控、高性价比的上风,供应不亚于商业闭源大模型的选择。
基于Qwen-72B,大中型企业可开拓商业运用,高校、科研院所可开展AI for Science等科研事情。

从1.8B到72B,通义千问率先实现全尺寸开源

如果说Qwen-72B“向上摸高”,抬升了开源大模型的尺寸和性能天花板;发布会上的另一开源模型Qwen-1.8B则“向下探底”,成为尺寸最小的中国开源大模型,推理2K长度文本内容仅需3G显存,可在消费级终端支配。

从18亿、70亿、140亿到720亿参数规模,通义千问成为业界首个“全尺寸开源”的大模型。
用户可在魔搭社区直接体验Qwen系列模型效果,也可通过阿里云灵积平台调用模型API,或基于阿里云百炼平台定制大模型运用。
阿里云人工智能平台PAI针对通义千问全系列模型进行深度适配,推出了轻量级微调、全参数微调、分布式演习、离线推理验证、在线做事支配等做事。

阿里云是海内最早开源自研大模型的科技企业,8月以来开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。
几款模型先后冲上HuggingFace、Github大模型榜单,得到中小企业和个人开拓者的青睐,累计***量超过150万,催生出150多款新模型、新运用。
发布会现场,多位开拓者伙伴现身说法,分享了他们用Qwen开拓专属模型和特定运用的实践。

阿里云CTO周靖人表示,开源生态对促进中国大模型的技能进步与运用落地至关主要,通义千问将持续投入开源,希望成为“AI时期最开放的大模型”,与伙伴们共同促进大模型生态培植。