最先进的AI，为什么还在学点屏幕？

大模型已经能写代码、读长文档、分析图片，也能完成复杂推理。可当它进入一部手机，真正开始替用户执行任务时，却经常要先学一套极其基础的动作。

找到按钮，点击。找到输入框，输入。页面没加载完，等一会儿。突然弹出广告，关掉。列表太长，往下滑。点进详情页，发现不合适，再返回。

一个能够理解复杂意图的大模型，最后却像第一次拿到智能手机的人一样，一步一步学习怎么使用App。GUI Agent也因此成为近两年大模型操作手机和电脑的重要技术方向。

7月13日，阶跃星辰在上海发布AI终端品牌STEPX，同时推出Step AOS、个人智能体阶跃Amoo以及STEPX Neo智能体手机。“Agentic Phone”之外，Step AOS讨论的是操作系统怎样更好地支持Agent理解和执行任务。

当Agent越来越聪明，它还需要一直模仿人的手指吗？

AI学会用手机，是一条现实捷径

今天的大多数手机软件，都围绕人的使用习惯设计。人看到一个放大镜图标，知道那里可以搜索。看到“确认订单”，知道点击之后可能进入付款页面。看到页面底部有几个标签，也可以判断不同功能藏在哪里。

图标、按钮、菜单、输入框和弹窗，共同构成了图形用户界面，也就是GUI。过去几十年，图形界面不断降低软件使用门槛。普通用户不必记住复杂命令，只需看见、理解，再完成点击或输入。

Agent进入手机后，却需要适应这套为人设计的界面。

现有软件并没有为AI准备统一的操作入口。不同App拥有不同的数据结构、接口和业务规则。即使部分服务开放API，这些接口通常面向开发者和合作伙伴，并不意味着个人智能体可以直接调用。

AI想进入已有的软件世界，最直接的办法就是学习人。模型读取屏幕截图，理解页面内容，判断下一步动作，再输出CLICK、TYPE、SLIDE等操作指令。阶跃星辰此前发布的Step-GUI，以及目前公开的手机操作Agent开发示例，都建立在识别界面并执行动作的思路上。

让AI看屏幕，再操作屏幕。这套方法看起来有些“笨”，实际解决了AI兼容现有软件的问题。

不用等大量App重新开发，也不用等整个行业先统一Agent接口。只要人能够操作的软件，AI就有可能通过界面识别和动作执行进入其中。GUI Agent给AI找到了一条进入现有软件世界的捷径，这也是Computer-use、Phone-use迅速成为大模型重要能力方向的原因。

问题在于，捷径未必适合所有任务。

AI越聪明，点屏幕的成本越容易暴露

只有几步操作的简单任务，通常还不容易被中途带偏。任务一旦变长，情况就会变化。

假设用户提出一个要求：“帮我找一家下周三上海会场附近的酒店，预算800元以内，离地铁近一点。”

模型理解这句话并不难，可以快速提取日期、城市、地点、预算和交通偏好。真正开始执行之后，却可能经历一条很长的操作路径。

打开App，进入酒店频道，输入城市，选择入住日期，填写地点，调整价格区间，查看地图距离，再打开多家酒店详情页进行比较。页面中还可能出现优惠券、会员活动、推荐广告和浮层。

网络稍慢，页面加载状态会发生变化。App更新一次，原来的按钮可能换了位置。系统突然弹出权限提示，Agent还要判断应该允许还是拒绝。

用户真正提出的要求只有一句话，但当它被拆成连续的操作步骤，任务难度也从理解用户意图，延伸到了保证后续每一步都能顺利执行。

阶跃此前在Step 3.5 Flash技术报告中已经尝试用云端模型进行高级任务规划，再把任务交给端侧GUI Agent执行。在该技术报告披露的AndroidDaily Hard测试中，Step 3.5 Flash与Step-GUI组成的端云协同方案成功率为57.0%，端侧Step-GUI单独执行为40.0%。

手机任务既考验模型能否想明白，也考验它能否在连续操作中尽量少出错。一个按钮没有找到，一次弹窗没有处理，后续计划都可能被打乱。

界面本身也在消耗模型能力。用户想找餐厅，Agent看到的可能是Banner、优惠券、直播入口、推荐位、会员广告、红点和浮窗。这些东西为人设计，人可以很快忽略无关信息，Agent则必须先理解整个页面，再判断哪些元素与当前任务有关。

最先进的大模型，仍要投入推理和计算资源，判断该怎样处理一个广告弹窗。这件事多少有些荒诞。

AI学会点屏幕，解决了怎样进入现有软件的问题。任务越来越长后，这种执行方式是否还合适，也就成了问题。

GUI是人的操作语言

人为什么需要一个“设置闹钟”页面？因为我们需要看到时间，需要用手指选择数字，还需要确认自己的操作是否正确。

假设用户告诉Agent：“工作日早上7点叫我起床。”

Agent已经知道执行条件。时间是7点，重复周期是周一至周五，闹钟状态需要开启。对于操作系统而言，真正需要完成的动作非常明确，就是创建一个工作日7点的闹钟。

打开时钟App、点击加号、滚动数字、勾选工作日、点击保存，是人类和软件之间的交互过程。Agent已经理解任务后，未必需要完整复现这套流程。

GUI是人的操作语言，不一定是Agent最合适的操作语言。

继续提升视觉理解、动作定位和长程规划是一条路。另一条路，是让软件和操作系统提供更直接的能力入口。

没有开放能力的服务，AI继续看屏幕、点按钮。系统已经开放的能力，则由Agent直接调用。两条路线很可能长期并存。

GUI Agent负责兼容已有软件，新的系统能力逐步面向Agent开放。Step AOS的设计明显更接近后一种思路。

Step AOS想减少一些没有必要发生的点击

按照阶跃星辰披露的架构，Step AOS设置了统一计算资源池、统一语义数据层和原子能力引擎。“原子能力引擎”与阶跃此前的GUI Agent技术路线存在明显延续。

阶跃2025年发布Step-GUI时，已经提出GUI-MCP，其思路包括将低层原子操作与高层任务委派分层处理。此后，Step 3.5 Flash用于云端任务规划，再把拆解后的操作交给端侧Step-GUI执行。

从Step-GUI、GUI-MCP到Step 3.5 Flash，再到Step AOS，阶跃开始从“让Agent更好地操作GUI”走向“让Agent调用系统能力”。Step AOS提出将原有系统功能和服务拆解为适合智能体调度、编排的原子化能力。

仍以酒店预订为例。GUI Agent需要操作页面。在一种更直接的能力调用模式下，酒店搜索、日期查询、价格筛选等服务能力可以被Agent组合使用。对用户来说，提出的仍然是同一个需求，但Agent完成任务的方式可能已经不同。

Step AOS目前还没有公开完整的原子能力接口规范。支付宝、美团、携程等首批合作伙伴究竟通过API、Skill、系统服务还是其他方式接入，公开资料也没有完整说明。

所以，Amoo是否已经绕过GUI仍无法确认，传统App交互也远没有消失。阶跃希望减少其中一部分不必要的GUI操作。

App保存数据，Agent需要理解任务

执行能力只是Agent面对的问题之一。一个真正替用户完成任务的智能体，还需要理解任务上下文。

假设用户准备去上海参加一次会议。会议邀请可能在邮件中，时间已经进入日历，会场地址可以从地图找到，订票平台保存着用户过去的航班订单，酒店App知道用户经常选择什么价位，打车软件保存了常用出发地点。

对于用户来说，这些信息都属于同一件事：去上海开会。

在传统软件体系里，它们属于不同App。邮件管理邮件，日历管理日程，地图提供位置，酒店平台处理住宿。每一个产品都有自己的数据和服务边界。

App按照产品组织数据。Agent按照任务理解世界。

这两种组织方式并不完全一致。Agent想完成“安排上海会议行程”，需要的并不只是打开几个App，还要把日期、城市、会议、航班、酒店和会场串成同一项任务。

按照阶跃披露，Step AOS设置统一语义数据层，将感知、行为与个人数据加工为“统一语义文件”。它试图解决的，是如何让Agent从分散数据中理解连续任务。

目前阶跃没有公开“统一语义文件”的完整数据结构，也没有详细解释第三方App数据如何进入这一层。

模型能力继续提升后，终端怎样组织数据，也会直接影响Agent理解任务的效果。AI知道用户过去订过十次酒店，与AI知道“这个用户参加商务会议时更倾向于选择会场附近、800元以内的酒店”，完全是两种理解。

前者是数据，后者已经接近任务所需的上下文。

Agent未来的一项重要能力，可能是围绕用户当前的任务，把分散的信息重新组织起来。这件事远比多学会几个App困难，因为它会迅速触碰数据来源、授权边界、记忆纠错和个人隐私。

分散数据怎样进入语义层，用户如何授权，错误记忆怎样纠正，任务上下文保存多久，都需要一套清楚的数据和权限规则。Step AOS目前还没有公开足够多的技术细节回答这些问题。

一旦Agent真正开始替人长期工作，这些问题都绕不过去。

AI开始行动，系统就要防止它做错

AI助手给出一个错误答案，用户还可以选择不采纳。Agent获得行动能力后，错误可能直接改变系统或服务状态。

一旦Agent获得相应权限，日历可能被修改，消息可能被发送，订单可能被提交，文件可能被移动，系统设置也可能被改变。

Agent能力越强，操作系统越需要知道它正在做什么。

阶跃将Amoo定义为拥有“操作系统级身份”的个人智能体，并在Step AOS中提出可信、可见、可控、可逆四项安全原则。这些原则涉及Agent身份、授权、审计和错误操作撤回。

系统需要重新划定Agent的身份、代表关系和能力边界，也要明确授权能够持续多久，执行过程如何审计，错误操作如何撤回。

过去的移动操作系统，权限、数据和应用生命周期主要围绕用户操作与App运行建立。Agent出现后，系统中增加了一个可以主动规划和执行任务的角色。

它不完全等同于用户，也不等同于传统App。它可能同时调用多个服务，在较长时间内持续完成一个目标。这类能够主动规划和执行任务的Agent进入终端后，原有的权限管理方式很难直接照搬。

用户给一个App相机权限，相对容易理解。用户告诉Agent“帮我安排上海行程”，这句话到底包含了多少授权？

它是否可以读取邮件、查看日历和历史订单，又能不能直接下单甚至发起支付？一句自然语言指令背后，可能对应多项系统能力。

当AI从回答问题走向执行任务，审计、权限控制和错误操作撤回，也会成为Agent系统的基础能力。

阶跃为什么还要自己做一部手机

阶跃星辰此前已将模型能力延伸至消费电子场景，公开技术资料也已覆盖GUI Agent、端云协同和Phone-use。

理论上，一家模型公司完全可以继续和手机厂商合作。STEPX Neo的出现，说明阶跃选择向终端再走一步。

模型进入第三方终端之后，很多基础条件并不由模型公司决定。

系统开放多少权限，由操作系统决定。后台任务可以运行多久，由终端规则决定。端侧算力怎样分配，由硬件和系统共同决定。数据怎样组织，第三方服务如何接入，同样受到现有终端体系限制。

一家公司想验证Agent原生系统，很难完全绕开终端控制权。

STEPX Neo让阶跃能够把云端模型、端侧模型、Amoo和Step AOS纳入同一终端体系。端云协同、系统能力开放、记忆和权限管理，也可以直接放到真实设备上检验。

截至7月14日，STEPX Neo的具体硬件配置、售价和上市时间尚未完整披露。现在讨论它能否挑战现有手机厂商，还太早。

现阶段，STEPX Neo首先要证明的是，阶跃此前分散在模型、GUI Agent和端云协同中的技术，能否在一台终端上真正协同起来。

软件可能也要开始学习怎样服务Agent

为什么最先进的AI还在学点屏幕？

因为今天的软件世界原本不是为Agent设计的。

GUI Agent不用等待整个软件生态重新建设，就能看屏幕、找按钮、输入文字，再完成现实任务。这座桥非常重要，未来很长一段时间，它可能仍然是Agent进入大量软件的主要方式。

任务越来越长后，模型需要处理的界面信息不断增加。系统能力能否更直接地开放、分散数据如何组织成连续任务、长期运行的Agent如何获得和使用权限，开始成为新的问题。

荣耀已经提出Agentic OS。中兴与字节跳动合作的努比亚M153推进系统级深度集成和跨应用任务执行。阶跃又带来了Step AOS。

各家公司采用的路线并不相同，却开始面对相似的问题。行业讨论的重点，正在从怎样把AI装进手机，逐渐转向手机怎样让Agent真正工作。

STEPX和Step AOS现在还不足以证明这个问题已经解决。统一语义数据层如何实现，原子能力怎样开放，第三方服务以什么方式接入，都需要更多技术细节和真实体验验证。

今天的Agent正在学习使用人的软件。

接下来，软件可能也要开始学习怎样服务Agent。