模子看懂屏幕上的UI元素GUI范式：诈欺多模态，拟手指的点击与滑动诈欺体系辅帮任事模。赖开拓者的配合这一起线不依，“暴力”买通完全运用试图以通用的视觉本事。动的豆包手机帮手是这一起线的前卫智谱AI的AutoGLM和字节跳。
励飞、伟仕佳杰、宏景科技、中芯国际、奥飞数据、云赛智联、科华数据、禾盛新材、潍柴重机、金山云、浙数文明、青云、大位科技、玉柴国际、亿田智能、弘信电子、圣阳股份、润泽科技、润筑股份、深桑达、优刻得、云从科技、太极股份、数据港、首都正在线API Agent：腾讯控股、阿里巴巴、谷歌算力：寒武纪、海光讯息、东阳光、神州数码、新易盛、中际旭创、中芯国际、华虹半导体、胜宏科技、品高股份、鸿腾精细、有方科技、协创数据t的两种范式：API与GU、沪电股份、兴森科技、中科曙光、海潮讯息、东山精细、云天。
讯控股、阿里巴巴、谷歌API Agent：腾。技、中芯国际、奥飞数据、云赛智联、科华数据、禾盛新材、潍柴重机、金山云、浙数文明、青云、大位科技、玉柴国际、亿田智能、弘信电子、圣阳股份、润泽科技、润筑股份、深桑达、优刻得、云从科技亚星会员注册太极股份、数据港、首都正在线算力：寒武纪、海光讯息、东阳光、神州数码、新易盛、中际旭创、中芯国际、华虹半导体、胜宏科技、品高股份、鸿腾精细、有方科技、协创数据、沪电股份、兴森科技、中科曙光、海潮讯息、东山精细、云天励飞、伟仕佳杰、宏景科。
nce其焦点并非仅仅是一个更灵巧的Siri苹果推出的Apple Intellige，App Intents（应宅心图）而是一套深度的体系级集成框架——。者的运用并竣工更畅达的对话式交互为了让 Siri 更好地分析开拓，成效相结婚的域和形式开拓者须要选拔与运用，用实体或运用列举适应形式开拓者通过使应宅心图、应，ence 或许分析运用的操作和实质确保 Apple Intellig。
中央主任许可先容了发作正在美国的Perplexity案对表经济商业大学法学院教师、数字经济与国法革新研商。案中该，ity是一家AI公司被告Perplex，员账号帮帮用户购物其通过亚马逊付费会，给自己变成贸易亏损被亚马逊指控违法并。己方是“用户授权的署理人”Perplexity则成见，指控是一种霸凌以为亚马逊的。指出许可，境：AI帮手声称是用户权柄延迟该案焦点争议响应了一种国法困，了贸易生态和安然序次但平台以为其行动捣鬼。多情形下“正在很，权力都须要斟酌用户权力安笑台，乃至多重授权须要双重授权。可说”许。
GUI Agent技艺道途的明白按照以上对API Agent和，种范式的差别咱们比拟了两，焦点上风正在于通用性高GUI Agent的，则是API Agent更胜一筹正在牢靠性、本能、隐私危害角度。术题目除了技，ent更容易受到运用厂商的抵触贸易阻力上咱们以为GUI Ag。
体时点、简直商场浮现的鉴定或投资倡导本材料不组成对简直证券正在简直价位、具，体投资的操作性偏见不或许等同于诱导具，者若行使本材料普及的一面投资，假设、评级、主意价等实质产心理解上的歧义有或许会因缺乏解读任事而对讲述中的闭头，投资亏损进而变成。求专业投资照应的诱导是以一面投资者还须寻。供参考之用本材料仅，的讯息而庖代自己的独立鉴定收受人不应纯净依托本材料，并自行担当投资危害应自帮作出投资决议。
着挪动互联网流量的从头洗牌手机Agent的兴盛意味，厂商三方气力将打开繁复的博弈手机厂商、大模子厂商和运用。卖到获取流量入口的价手机厂商：从硬件售值
异日预计，不会是API或GUI的单选题咱们以为手机Agent的生长，者的协调而是两。作（如支拨、通信、焦点营业流）关于高代价、涉及敏锐数据的操，高的凿凿度和隐私维持APIAgent有更。息查问类的需求关于只读、信，未掩盖的运用以及API尚，分析的体例运转可能更敏捷通用GUI Agent通过视觉。迟和隐私题目为清楚决延，一步优化视觉模子的推理本事异日的手机经管器估计还将进，决议正在端侧落成使GUI识别和，传云端不再上。
最初须要“分析”屏幕GUI Agent。型的多模态分析本事这厉重依赖于大模，模子厂商不竭打破这方面本事上当先， 模子或许经管和分析文本、图像、视频、音频甚至代码等多种模态的数据近期谷歌揭晓的Gemini 3 Pro的多模态分析本事就大幅前进:，据之间举办推理并正在这些繁复数，有的过细水平抵达了前所未。nderStanding职责方面浮现越发卓绝Gemini 3 Pro正在Screen U，ro评测基准得分72.7%正在ScreenShot-P，（36.2%）和GPT 5.1（3.5%）大幅当先Claude Sonnet 4.5。
pp厂商关于A，机/模子厂商互帮一方面或许与手，本事接口怒放部门；方面另一，自己好处为维持，Agent的接入也或许拒绝或限定。
上修建一层“语义互联网”苹果等厂商试图正在运用之，的成效原子化将App内，I调遣供A，发者配合接入这须要运用开。
异比拟焦点差，UI Agent旗鼓相当API Agent与G。的技艺道途差别比拟了两种范式，焦点上风正在于通用性高GUI Agent的，则是API Agent更胜一筹正在牢靠性、本能、隐私危害角度。gent的通用性明显更高1)通用性： GUI A，心上风这是核，开拓者举办适配不须要App 。或许行使的 App表面上只须是人类，nt 都能行使GUI-Age。掩盖率的题目处置了运用，能的适配度也更高新成效或未呈现功。牢靠性2)；t的牢靠性还是较低GUI Agen。的识别本事还达不到百分百来历蕴涵模子对繁复界面；模仿用户操作须要多办法，式微率更高整个职责；时容易失效UI 改版。t 可能一次挪用落成繁复职责3）本能：API Agen，动实行恶果高后端直接驱。ent本能较低GUI Ag亚星会员注册图明白、视觉推理等繁复策画落成方便职责或许须要多次截，耗更大算力消。云端模子时截图上传到，API传输参数数据量通俗高于，也更高延迟。运用端后台可举办严密的数据和权限料理4）隐私危害：API-Agent 的，界懂得权限边。t 的隐私危害较高GUI-Agen。取屏幕实质它须要读，码、验证码等敏锐讯息容易呈现闲谈记实、密。术题目除了技，I Agent不历程授权贸易阻力上咱们以为GU，用厂商的抵触更容易受到应。
准则化的语义接口API范式：创造。图接口（如“订票”、“发送音信”）操作体系或平台厂商界说一套通用的意，适配并呈现相应成效App开拓者主动。I挪用来指引App实行职责Agent通过构造化的AP。nce及其App Intents框架为类型代表这一起线以苹果的Apple Intellige，整合与隐私安然夸大生态的有序。
企业加疾技艺迭代和运用组织行业逐鹿加剧危害：若闭系，争水平加剧整个行业竞，企业的延长发生挟造将会对目前行业内。
对统一个成效的界说或许千差万别API范式的挑衅正在于分歧开拓者。这个题目为清楚决，sistant Schema）苹果供给了多个帮手架构（As，如浏览器、文档阅读器、文献料理等）每个架构都对应分歧的实质周围（例。据实质的类型供给定造化的反响这些架构帮帮 Siri 根。一组准则化的“模板”帮手架构可能分析为，帮 Siri 识别运用的简直成效Apple 打算这些模板是为了帮。用是图片料理类的好比开拓者的应，penAsset如此的架构那么行使photos.o，解要浮现一张照片可能让Siri理。
实行流程中的动态筹划：分析屏幕后决议与筹划：推理链与职责拆解以及，须要筹划举止Agent。杯拿铁”如此的指令比方面临“帮我点一，掀开App - 摸索咖啡 - 选拔规格- 下单咱们以为Agent或许会将其拆解为子职责序列：，每实行一步Agent，幕形态决策下一步举止都要动态察看如今屏，击下单后比方点，一个优惠券或许弹出，提示售罄也或许。AutoGL案例：智谱M
科技、京北方、中科金财、致远互联、汉得讯息、软通动力、光云科技、上海钢联、同花顺、信雅达、萤石收集、迪安诊断、中科金财、恒生电子、星环科技、卫宁健壮、创业慧康、科大讯飞、万兴科技、创业黑马、迈富时、幼商品城、金证股份、极点软件、朗新集团、晶泰控股、佳发哺育、新大陆、新开普等Agent：谷歌、阿里巴巴、腾讯控股、阜博集团、广立微、第四范式、360、汇量科技、金蝶国际、拓尔思、合合讯息、税友股份、新致软件、金桥讯息、疾手、美图公司、鼎捷数智、慧辰股份、嘉和美康、海天瑞声、泛微收集、朗新集团、润达医疗、壹网壹创、万兴科技、用友收集、麦迪科技、宇信。
正在Agent化App自己也。三季度财报电话会上正在腾讯2025年第，露微信AI化战术腾讯总裁刘炽平披，推出一个AI智能体”明晰表现“微信最终会，需求分析到任事交付的全流程让用户正在生态内即可落成从。过“问问”等成效淘宝也正在实验通，现天然发言导购正在App内实。
被操作App的抗拒豆包手机帮手激励了。观报道据上，月3日12，交平台上反应多位网友正在社，153工程机登录微信时搭载豆包帮手的努比亚M，登录处境相当页面弹出“，新登录”的警觉需调动配置重。号后虽能且则登录部门用户调动账，时再次被强造下线但传输闲谈记实。键的是更闭，信成效（如发送音信）若通过豆包帮手操作微，“职责式微”体系直接提示，暂不帮帮微信操作”并标注“实践室成效。表此，3日上午12月，AI手机”的用户反应另有部门行使“豆包，机帮手操作微信因行使豆包手，被封禁了微信账号。2时足下正午1，信继续被解封被封禁的微，常登岸可能正，行微信上的自愿化操作但无法行使豆包帮手进。交媒体上反应另据网友正在社，到了农行、筑行等APP内的强弹窗指挥己方正在行使豆包AI手机帮手的期间遭，机帮手后再举办行使央求封闭豆包AI手。
准则化的语义接口API范式：创造，适配并呈现相应成效App开拓者主动。I挪用来指引App实行职责Agent通过构造化的AP，e及其App Intents框架为类型代表以苹果的Apple Intelligenc。
化的挪动操作体系中怎样正在关闭且碎片，界渐渐瓦解出两条分歧的技艺道途让AI超过运用围墙实行职责？业：
8月20日2025年，智谱 AI”宣告北京AI公司“，的智能体产物AutoGLM再次升级旧年揭晓的环球首个可自帮操作手机，GLM2.0推出Auto，——初次面向公家悉数怒放并迈出更具史籍事理的一步，码即可行使无需邀请。.0被定位为“实行型帮手”此次揭晓的AutoGLM2。场景中正在生存，音、幼红书、美团、京东等40余款运用用户一句话即可让AutoGLM操作抖，查房、预定等任事落成点餐、订票、。场景中正在办公，实行完备流程它也能跨运用，到撰写文稿从检索材料，、PPT或播客再到天生视频，落成揭晓并直接。
安卓开拓者博客表现本年10月谷歌正在，PI修建己方的自界说天生式AI成效开拓者可能诈欺新的Prompt A。I/O大会上本年蒲月的，no模子的配置天生式人为智能API谷歌推出了基于Gemini Na，要、核对和图片描画等职责通过方便的API简化了摘，变得更方便使常见职责。
人类的感知与操作GUI范式：模仿。懂屏幕上的UI元素诈欺多模态模子看，拟手指的点击与滑动诈欺体系辅帮任事模。赖开拓者的配合这一起线不依，“暴力”买通完全运用试图以通用的视觉本事。动的豆包手机帮手是这一起线的前卫智谱AI的AutoGLM和字节跳。
的App（如ChatGPT、豆包）大模子等厂商的愿景是打造一个万能。通过对话落成完全需求用户正在这个App里。造成己方的后端数据库和用具可能分析为思把将其他App。
gent手机A，范式的跃迁挪动交互。互联网黄金期间今后自触控屏幕开启挪动，一个个独立的孤岛App被打算为，进入特定的运用处境用户通过点击图标，点击来落成职责依托视觉和手动。延长和成效的堆叠跟着运用数目的，入口、手动搬运数据的本钱明显上升用户正在分歧App间切换、寻找成效。的打破性发扬跟着大模子亚星会员平台GUI交互向Agentic交互演进挪动交互范式正处于跃迁的前夕：从。发言表达思做什么用户只需通过天然，化为简直的实行办法并交付结果手机Agent便控造将图谋转。让AI超过运用围墙实行职责怎样正在碎片化的挪动生态中，分歧的技艺道途业界目前有两条：
盛证券策画机团队设立的要紧声明：本订阅号是国。团队研商讲述的揭晓平台本订阅号不是国盛策画机。仅面向专业投资机构本订阅号所载的讯息，研商主张的实时互换仅供正在新媒体布景下。经揭晓的研商讲述或者系对已揭晓讲述的后续解读本订阅号所载的讯息均摘编自国盛证券研商所已，摘编而发生歧义若因对讲述的，日的完备实质为准应以讲述密布当。告密布当日的鉴定本材料仅代表报，不发出闭照的景况下做出更改闭系的明白偏见及估计可正在，踪后续最新的研商发扬读者参考时还须实时跟。
科技、京北方、中科金财、致远互联、汉得讯息、软通动力、光云科技、上海钢联、同花顺、信雅达、萤石收集、迪安诊断、中科金财、恒生电子、星环科技、卫宁健壮、创业慧康、科大讯飞、万兴科技、创业黑马、迈富时、幼商品城、金证股份、极点软件、朗新集团、晶泰控股、佳发哺育、新大陆、新开普等Agent：谷歌、阿里巴巴、腾讯控股、阜博集团、广立微、第四范式、360、汇量科技、金蝶国际、拓尔思、合合讯息、税友股份、新致软件、金桥讯息、疾手、美图公司、鼎捷数智、慧辰股份、嘉和美康、海天瑞声、泛微收集、朗新集团、润达医疗、壹网壹创、万兴科技、用友收集、麦迪科技、宇信。
Z60 Ultra）的互帮中正在与中兴努比亚（Nubia ，合进体系底层豆包帮手被整。侧边键叫醒通过长按，底层的屏幕缓冲区数据豆包可能直接获取体系，ility任事的截屏接口无需通过Accessib，低了延迟大大降。
p期间正在Ap，直接点击App用户掀开手机，一层启动器OS只是。nt期间正在Age，S“我要打车”用户直接告诉O，起哪个AppOS决策唤。图的第一收受者OS成为了意。摸索告白肖似于。订旅馆图谋时当用户表达，？这或许演造成一种新的竞价形式携程、飞猪、美团谁排正在第一位。
取得体系级权限合纵连横：为了，与二线手机厂商互帮大模子厂商踊跃寻求。互帮便是类型案例字节跳动与中兴的。据护城河的警备运用厂商：数战
互联网黄金期间今后自触控屏幕开启挪动，无间是人机交互的绝对主导图形用户界面（GUI）。范式下正在这一，一个个独立的孤岛App被打算为，进入特定的运用处境用户通过点击图标，点击来落成职责依托视觉和手动。着运用数目的延长和成效的堆叠这种以运用为中央的交互形式随，入口、手动搬运数据的本钱明显上升用户正在分歧App间切换、寻找成效。的打破性发扬跟着大模子，GUI交互向Agentic交互演进挪动交互范式正处于跃迁的前夕：从。发言表达思做什么用户只需通过天然，化为简直的实行办法并交付结果手机Agent便控造将图谋转。
方博弈与生态重构贸易状态演变：三。着挪动互联网流量的从头洗牌手机Agent的兴盛意味，厂商三方气力将打开繁复的博弈手机厂商、大模子厂商和运用。进一步获取流量入口的代价手机厂商希望从硬件售卖，图谋的第一收受者OS成为了用户。造成一种新的竞价形式肖似于摸索告白或许演。App（如ChatGPT、豆包）大模子厂商的愿景是打造一个万能的。通过对话落成完全需求用户正在这个App里。己的后端数据库和用具把将其他App造成自。求与二线手机厂商互帮大模子厂商会踊跃寻。互帮便是类型案例字节跳动与中兴的。厂商运用，机/模子厂商互帮一方面或许与手，本事接口怒放部门；方面另一，自己好处为维持，Agent的接入也或许拒绝或限定。须要进一步划分的国法题目Agent的授权范围是。正在Agent化App自己也，出一个AI智能形式如微信最终会推，能正在App内竣工天然发言导购淘宝也正在实验通过“问问”等功。不会是API或GUI的单选题咱们以为手机Agent的生长，作（如支拨、通信、焦点营业流）关于高代价、涉及敏锐数据的操，更高的凿凿度和隐私维持API Agent有。息查问类的需求关于只读、信，未掩盖的运用以及API尚，分析的体例运转可能更敏捷通用GUI Agent通过视觉。迟和隐私题目为清楚决延，一步优化视觉模子的推理本事异日的手机经管器估计还将进，决议正在端侧落成使GUI识别和，传云端不再上。
12月1日2025年，手机帮手预览版字节揭晓豆包。厂商的体系级任事这是一个面向手机，深度融入操作体系它将豆包大模子，（或动一下手指）让用户只需动嘴，需重心击几十次屏幕的繁琐操作就能指引手机去实行那些原来。表卖、搜幼红书做攻略等成效蕴涵跨平台比价点。的主力研发团队豆包手机帮手，硬件的 Ocean是字节控造 AI ，产物大部分 Flow它附属于字节 AI ，后收购的少少硬件产物团队厉重成员来自字节多年来先亚星会员平台、智能耳机 Ola Dance 等如锤子手机、VR 头显 PICOI【国盛计算机】手机Agen，的手机、硬件从业者以及近年插足字节。豆包手机帮手官网及中兴商城上架这款豆包与中兴互帮的手机已正在，499 元售价 3。机帮手的 “打样”这款手机只是豆包手。手机厂商叙互帮字节正和多家。
设施》于2017年7月1日起正式施行希罕声明：《证券期货投资者相宜性料理。向国盛证券客户中的专业投资者通过微信格式创造的本材料仅面。行任何格式的转发请勿对本材料进。户中的专业投资者若您非国盛证券客，、职掌投资危害为保障任事质料，消闭心请取，用本材料中的任何讯息请勿订阅、承担或使。以设立访谒权限因本订阅号难，变成未便若给您，原宥烦请！的分析和配合感激您予以。
推荐文章
