券商开户哪家佣金低将二者融合后输入解码器生成文本谷歌正在言语和声控策动机界面的漫长道途上又迈出了要紧一步。最新ScreenAI视觉言语模子，可以告竣各类屏幕QA问答、总结摘要等职业。
斟酌职员将其称为ScreenAI，是一种贯通用户界面和音信图外的全新视觉言语模子。
ScreenAI的重心是一种新的屏幕截图文本展现门径，可能识别UI元素的类型和名望。
值得一提的是，斟酌职员运用谷歌言语模子PaLM 2-S天生了合成磨练数据，以磨练模子解答合屏幕音信、屏幕导航和屏幕实质摘要的题目。
举个栗子，比方翻开一音乐APP页面，可能咨询「有几首歌时长少于30秒」？
图1中浮现了ScreenAI模子架构。斟酌职员受到了PaLI系列模子架构（由一个众模态编码器块构成）的诱导。
该编码器块包蕴一个形似ViT的视觉编码器和一个消费图像（consuming image）和文本输入的mT5言语编码器，后接一个自回归解码器。
输入图像通过视觉编码器转化为一系列嵌入，这些嵌入与输入文本嵌入连系，一同输入mT5言语编码器。
这种泛化公式可以运用相通的模子架构，治理各类视觉和众模态职业。这些职业可能从新外述为文本+图像（输入）到文本（输出）的题目。
简而言之，该模子采用图像编码器和言语编码器提取图像与文本特性，将二者统一后输入解码器天生文本。
其余，斟酌职员还进一步扩展了PaLI的编码器-解码器架构，以担当各类图像分块形式。
原始的PaLI架构只担当固定网格形式的图像块来解决输入图像。然而，斟酌职员正在屏幕相干界限遭遇的数据，逾越了各类各样的区分率和宽高比。
为了使单个模子可以适当全盘屏幕形态，有须要运用一种合用于各类形态图像的分块政策。
为此，谷歌团队模仿了Pix2Struct中引入的一种手艺，批准凭据输入图像形态和预订义的最大块数，天生随意网格形态的图像块，如图1所示。
如许可以适当各类样子和宽高比的输入图像，而无需对图像举办填充或拉伸以固定其形态，从而使模子更通用，可以同时解决搬动开发（即纵向）和台式机（即横向）的图像样子。
合于670M和2B参数模子，斟酌职员从视觉编码器和编码器-解码器言语模子的预磨练单峰查验点先河。
合于5B参数模子，从 PaLI-3的众模态预磨练查验点先河，此中ViT与基于UL2的编码器-解码器言语模子一同磨练。
斟酌职员称，模子斥地的预磨练阶段很洪流平上，取决于对重大且众样化的数据集的访谒。
然而手动标注寻常的数据集是不切现实的，因而谷歌团队的政策是——主动数据天生。
与手动标注比拟，这种主动化门径不光高效且可扩展，并且还确保了必定水平的数据众样性和纷乱性。
第一步是让模子总共通晓文本元素、各类屏幕组件及其集体组织和目标组织。这种根本贯通合于模子确切说明各类用户界面并与之交互的才略至合要紧。
这里，斟酌职员通过爬虫使用标准和网页，从各类开发（征求台式机、搬动开发安静板电脑）搜求了众量屏幕截图。
然后，这些屏幕截图会运用周详的标签举办标注，这些标签描绘了UI 元素、它们的空间联系以及其他描绘性音信。
别的，为了给预磨练数据注入更大的众样性，斟酌职员还诈骗言语模子的才略，极端是PaLM 2-S分两个阶段天生QA对。
最初天生之前描绘的屏幕形式。随后，作家安排一个包蕴屏幕形式的提示，教导言语模子天生合成数据。
为了评估这些天生呼应的质料，斟酌职员对数据的一个子集举办了人工验证，以确保到达预订的质料哀求。
通过诈骗这些模子的自然言语解决才略，连系组织化的屏幕形式，便可能模仿各类用户交互和形象。
接下来，斟酌职员为模子界说了两组区别的职业：一组初始的预磨练职业和一组后续的微调职业。
- 真正数据的原因：合于微调职业，标帜由人类评估者供给或验证。合于预磨练职业，标帜是运用自监视研习门径揣摸的或运用其他模子天生的。
- 数据集的巨细：日常预磨练职业包蕴众量的样本，因而，这些职业用于通过更扩展的一系列次序来磨练模子。
将众模态源纳入众职业磨练中，从言语解决到视觉贯通和网页实质明白，使模子可以有用解决区别的场景，并加强其集体众效用性和机能。
斟酌职员正在微调时期运用各类职业和基准来推测模子的质料。外3总结了这些基准，征求现有的紧要屏幕、音信图外和文档贯通基准。
图4显示了ScreenAI模子的机能，并将其与各类与屏幕和音信图形相干的职业上的最新SOT结果举办了比拟。
然而，运用OCR会稍微扩大输入长度，从而导致集体磨练速率更慢。它还须要正在推理时获取OCR结果。
其余，斟酌职员运用以下模子领域举办了单职业尝试：6.7亿参数、20亿参数和50亿参数。
正在图4中可能考查到，合于全盘职业，扩大模子领域都可能改革机能，正在最大领域下的改革还没有饱和。
合于须要更纷乱的视觉文本和算术推理的职业（比方InfoVQA、ChartQA和Complex ScreenQA），20亿参数模子和50亿参数模子之间的改革昭彰大于6.7亿参数模子和20亿参数模子。
终末，图5显示了，合于长宽比1.0的图像（横向形式图像），pix2struct支解政策昭彰优于固定网格支解。
鉴于斟酌职员盼望ScreenAI模子可以正在区别长宽比的图像上运用，因而挑选运用pix2struct支解政策。
谷歌斟酌职员展现，ScreenAI模子还须要正在少许职业上举办更众斟酌，以缩小与GPT-4和Gemini等更大模子的差异。
