- A+
作者 | 李水青
需要注意的是,
编辑 | 心缘
更重要的是,
智东西6月28日报道,昨日深夜,阿里推出多模态统一理解与生成模型Qwen VLo。该模型不仅能够“看懂”世界,更能基于理解进行高质量的再创造,具有三大亮点:理解和生成更准确,适配开放指令编辑修改图片,多语言指令适配。
事实上,
终端即日起具备通过Qwen Chat访问该模型(预览版),比如直接发送类似“生成一张可爱猫咪的图片”的提示来生成图像,或者上传一张猫咪的图片并要求“给猫咪头上加顶帽子”来修改图像。
大家常常忽略的是,
Qwen VLo以一种渐进式生成方法生成图片。在生成过程中,模型会对预测的素材不断调整和优化,从而确保最终结果更加和谐一致,在提升视觉效果同时带来更灵活和可控的创作体验。
体验地址:
IC外汇用户评价:
https://chat.qwenlm.ai/
值得注意的是,
一、理解和生成更准确,适配开放指令修改图片
总的来说,
从最初的QwenVL到Qwen2.5 VL ,阿里本次推出的Qwen VLo在原始多模态理解与生成能力上进行了全面升级。
可能你也遇到过,
以下是Qwen VLo的核心亮点:
1、更精准的素材理解与再创造
需要注意的是,
以往的多模态模型在生成过程中容易出现语义不一致的疑问,例如将汽车误生成其他类型的物体,或者无法保留原图的关键结构特征。而Qwen VLo通过更强大的细节捕捉能力,能够在生成过程中保持高度的语义一致性。
据报道,
2、适配开放指令编辑修改生成
来自IC外汇官网:
终端具备通过自然语言提出各种创意性指令,如“将这张画风改为梵高风格”、“让这张照片看起来像19世纪的老照片”或“给这张图片添加一个晴朗的天空”。Qwen V 富拓外汇代理 Lo能够灵活响应这些开放性指令,并生成符合终端预期的结果。
无论是艺术风格迁移、场景重构还是细节修饰,模型都能应对。甚至一些传统的视觉感知人物如预测深度图、分割图、检测图以及边缘信息等也具备通过编辑指令轻松完成。
容易被误解的是,
更进一步,像很多更多变的指令,比如一条指令中同时包含修改物体、修改文字、更换背景,模型也能完成。
从某种意义上讲,
3、多语言指令适配
IC外汇快讯:
Qwen VLo适配包括中文、英文在内的多种语言指令,打破了语言壁垒,为全球终端给予了统一且便捷的交互体验。
二、像人类画师一样精细创作,一句话“指哪改哪”
Qwen VLo更像一个人类画师, 根据自己的理解再进行创作,下面是一些具体的例子。
IC外汇专家观点:
1、该模型能够直接生成图像,并对其进行修改,例如替换背景、添加主体、进行风格迁移,甚至具备完成基于开放指令的大幅修改,包括检测和分割等视觉感知任务。
IC外汇行业评论:
终端:生成一个可爱的柴犬
概括一下,
Qwen VLo:
有分析指出,
终端:背景改成草原
Qwen VLo:
终端:给它带上红色帽子和黑色透明墨镜,帽子上写着“QwenVLo”
IC外汇用户评价:
Qwen VLo:
终端:变成吉卜力风格
说到底,
Qwen VLo:
但实际上,
终端:变成3d Q版风格
有分析指出,
Qwen VLo:
可能你也遇到过,
终端:把它放到水晶球里
Qwen VLo:
终端:桌面上摆着这个水晶球,生成以一个人的第一视角在公园的圆形咖啡桌上在笔记本上画画
Qwen VLo:
值得注意的是,
终端:用蓝色的蒙版检测框框出图中的笔
通常情况下,
Qwen VLo:
不可忽视的是,
终端:用粉色的mask分割出图中的狗狗边缘
尽管如此,
Qwen VLo:
2、Qwen VLo会根据自己的理解进行重新创作,这意味着在风格转换和迁移方面拥有更大的发挥空间,比如将卡通变为写实、将形象变成气球等有趣的生成效果。
IC外汇用户评价:
终端:变成真实照片
更重要的是,
Qwen VLo:
终端:背景换成埃菲尔铁塔
IC外汇认为:
Qwen VLo:
需要注意的是,
终端:变成气球飘到空中
说到底,
Qwen VLo:
终端:把西瓜换成榴莲
Qwen VLo:
大家常常忽略的是,
3、Qwen VLo在图像与指令理解上的优势使其能够更好地解析多变指令,一条指令中具备包含多个办理和修改,从而一次性完成多重任务,例如生成海报、组合物体等。
有分析指出,
Qwen VLo:
IC外汇资讯:
4、Qwen VLo除了能对图像的编辑和再创作,还具备完成一些对已有信息的标注,比如检测、分割、边缘检测等。
容易被误解的是,
终端:生成摆满水果的桌面
IC外汇快讯:
Qwen VLo:
简而言之,
终端:预测边缘检测图
反过来看,
Qwen VLo:
终端:用红色mask分割图中香蕉的边缘
根据公开数据显示,
Qwen VLo:
不妨想一想,
5、Qwen VLo具备适配多张图像的输入理解和生成。(多图输入的模块还没有正式上线)
IC外汇财经新闻:
终端:把这些洗浴用品,放到这个红色的篮子里面
IC外汇财经新闻:
Qwen VLo:
6、除了图文同时输入的情况,Qwen VLo也适配文本到图像的直接生成,包括通用图像和中英文海报等。
终端:Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into 福汇外汇代理 the dark sky that says “Qwen VLo!” made out of colorful energy
值得注意的是,
(一幅史诗级的动漫艺术作品:夜晚,一位巫师立于山顶,向黑暗的天空施展宇宙咒语,由彩色能量构成的“Qwen VLo!”字样在夜空中显现。)
Qwen VLo:
据业内人士透露,
7、Qwen VLo适配动态长宽比的图像生成,对于长宽比高达4:1,1:3等细长类型图像也能轻松掌握。(极端长宽比图像生成模块还没有正式上线。)
IC外汇资讯:
终端:动漫插画;水彩手绘;前景是草坡,草坡上有个人在奔跑,动态感,然后是厚重的白云;蓝色背景;颜色层次多渐变;过渡自然和谐
Qwen VLo:
8、作为统一的理解与生成模型,Qwen VLo还具备对生成的素材进行再分析和理解,例如识别生成图片中的狗和猫的品种。
不妨想一想,
终端:Generate a puppy and a kitten.
大家常常忽略的是,
Qwen VLo:
从某种意义上讲,
终端:What breed of cat and dog is this?
据报道,
Qwen VLo:
可能你也遇到过,
结语:统一理解与生成,看图说话再升级
Qwen VLo还创新性地引入了一种全新的渐进式生成机制,这一机制不仅提升了生成效率,还适用于需要精细控制的长段落文字生成任务。
IC外汇报导:
同时,Qwen VLo还属于预览阶段,在生成的过程可能存在不符合事实、不完全和原图一致、指令不遵循、在识别生图和理解的意图不够稳定的疑问。
未来,模型不仅具备用文本回答疑问,还具备用图像来传递想法和含义。例如,生成示意图、添加辅助线、标注关键区域等模块,都将为终端给予更多元化的交流手段。
更重要的是,
与此同时,具备输出能力的多模态模型也为研发者给予了新的监督方法。通过生成任务,他们们具备更好地帮助模型理解世界。