微信小微：它替我办事，我替它操心

本文来自微信公众号： AI超维度 ，作者：北京汉·索罗，原文标题：《实测微信小微：它替我办事，我替它操心》

让小微帮忙点两杯咖啡，我一共说了十五句话。

中间它两次宣布“搞定”，第一次说这话时，连收货地址都还没选。要是我自己点，恐怕早就付完钱了。

小微灰测四个多月了，到现在还没全量推送。

这几个月它一直在给自己加东西。最早只能从首页左上角叫出来，现在公众号、朋友圈、聊天框里都有入口。群里@它一声，它能把大家刚才聊的事总结给你。你让它发条朋友圈，或者定时发个消息，它会先把内容写好放在那儿，等你点确认再发出去。

看起来，我们每天用得最多的App里，要长出一个替人办事的私人助理了。

但从“有这个功能”到“能把这事交给你”，到底还有多远？最近，AI超维度用最新版本的小微，测了测它在真实微信账号里究竟能办成什么。

它先递给我一张功能菜单，但却点击不了

测试一开始，我先问了小微一句："小微小微，你和Personal Agent有什么差别？"

它没有正面回答，而是弹出一张功能卡片，把自己分成六块：社交、内容、工具、生活、创作、设置。

社交那一栏写着"帮你看朋友圈、发朋友圈、找好友聊天、发红包和转账"，下面还给了几条可以直接点的试用问题，比如"帮我选三条最近最值得看的朋友圈"。可这几个建议实际都点不了。感觉小微研发质量也被AI提效降本了。

一份功能菜单和一个能替你办事的agent，差别就在两件事上。它知不知道你是谁，以及它能不能把一件事替你从头办到尾。

那小微知道我是谁吗？

我问它，"我最近看过什么文章？"它列出了我最近读过的几篇公众号文章，从美股的AI数据中心到大模型公司的IPO，每篇配一段摘要，再点一句"看点"。我读过什么，不用我交代，它能清楚地知道。

让它看看朋友圈最近在干什么，它按话题分好了类：科技与AI动态、生活日常、文艺与活动，每一类下面写清楚是哪位朋友、发了什么。

点外卖时，我发现它能翻出收货地址，那是我存在外卖小程序里的。它也知道我当前的位置，追问下去，还能算出每个地址离我多远。它给我列外卖平台时，每个平台后面都标着"多少个朋友使用过"：美团924个，京东购物885个，淘宝闪购780个。

换一个独立的personal agent，光是搞清楚这些事，就得让我授权、填资料，问上好一阵。小微省掉了这一步。我读过的文章、朋友发的动态，本来就在微信里，小微有调用权限，就能顺着这些痕迹了解我。

但是我发现，聊天记录，它够不着。

从首页左上角的入口问它："帮我找最近聊天里提到'发票'的记录"，或是"帮我总结最近一周和朋友D聊了什么"，它都说看不到。

让它去找我的收藏里的PPT、文件传输助手里的PDF，它说查不到，只给了手动搜索的路径。

让它列一下我有哪些群，它说群信息属于个人隐私，它没有权限查看。

它给我的解释是，要把群聊转发给它，或者在群里@它，它才看得到。没把它叫进去的群，它不能自己去翻我的群聊。同一时期几家媒体的实测也写到，进到具体的单聊或群聊、从功能栏把它叫出来，它会临时读取当前这段对话，读完不存，也不拿去训练。群里@它总结聊天，也是这个逻辑：你叫它，它才读。

很明显，微信给小微划的红线，看起来是按数据的类型来。读过的文章、朋友圈，我一问它就能调出来。想让它读聊天，就得进到那段对话，把它叫出来。在微信里，也不等于它能随便翻微信。

点杯咖啡，我一共说了十五句话

知道你是谁只是一半，另一半是能不能替你把事办完。

我让它帮我点一杯Manner的焦糖烧外卖，就要家附近最近的那家店。

小微于是自己打开小程序，像人一样一页页点下去：选门店、选饮品、加购物车，最后停在付款页，等你付钱。它先试了Manner自己的官方小程序，那里它操作不了，就转去了京东外卖。转了一圈回来，它说页面显示附近没有Manner门店，下不了单，让我换个配送地址试试，或者干脆换一个牌子的咖啡。

可我家附近明明就有Manner啊。我说肯定有，你是不是搞错了。它不让步："我理解你的意思，但京东外卖的页面确实显示你附近没有Manner门店。"页面上推荐的是库迪和星巴克，它又问我，要不要换个地址，或者让它去别的平台看看。

我让它看看哪个平台能点到。它报了四个外卖小程序：京东购物、淘宝闪购、美团、京东外卖，说个个都"支持操作"，但其中美团的小程序，其实并不支持小微操作。它建议先试淘宝闪购，这回在1.1公里外找到了一家Manner。

它说点进门店的时候页面没有响应，没法自动下单。我让它再试一次，它说页面还是卡在门店列表，"点击标签区域也没用"。它把小程序卡片发给我，让我自己点进门店。我点进去以后，再让它接着帮我点两杯焦糖烧。

它找到了蜂窝焦糖烧拿铁，但只选了一杯，让我自己点旁边的"+"加到两杯。我问它，“让你点两杯，怎么只点了一杯？”它说页面上只看到"1杯"的选项，找不到加数量的入口。我说，“你不能点一下加一吗？”这回弹出来的是一句："检测到你离开了微信，当前任务已中断。"它叮嘱我，小程序任务进行期间，请留在微信里。也就是说，它替你点页面的时候，你不能切出微信。

我回了一句"继续继续继续"。它回我说："搞定！已经帮你点了2杯蜂窝焦糖烧拿铁……总价34元。现在确认支付就行～"

可这时候收货地址还没选……地址不定下来，这单就算付了钱，也不知道该往哪送。我说：“不对吧，你都没给我选地址啊”。它说淘宝闪购的地址簿里没有我家，要我自己点"新增地址"填一个。

地址簿里存着三个地址。我提醒它：你是AI呀，把这几个地址跟我现在的位置算算距离，看哪个最近。它这才调出地图工具，逐个算了起来。最近的地址离我只有233米，走过去4分钟，另两个却远在8.8公里和32.9公里外。它建议用最近那个，我说可以。

它又说“搞定”！这第二个"搞定！"来得同样轻快："地址已经选了……现在点'立即支付'就完成啦～"回复下面，它还推荐了一个问题："帮我加一杯美式咖啡"。

从头到尾，我说了十五句话，这一单才停到"立即支付"前面，付款还得我自己点。它每一次都把话说得很满，”搞定”说得很痛快，但下一步怎么走，还得我推一把。

它的脑子跟不上

8月，微信公布了小微用的模型：WeLM-80B。它用的是混合专家结构，总参数800亿，每次计算只调动其中30亿。同系列其实还有一个更大的WeLM-617B，每次调动230亿参数，但微信没有把它放进小微。

微信要扛14亿用户的高频调用，要的是响应快、推理便宜、对微信里的功能和小程序足够熟的模型。但这个取舍的代价，在我的测试里也一目了然。

我让它把字体调大一号，它连说两次"已经帮你调整了"，屏幕上的字却没变。直到我说"你骗我"，它才承认，自己只是打开了设置页面，里面的选项它点不了。点Manner时第一次说"搞定"了，也是这样：把才办了一半的事，说已经办完了。

地址簿里的三个地址哪个离我家近，它有地图工具，也会算，可它的第一反应是让我手动新增地址。算距离的主意还是我给它出的。

那两杯焦糖烧拿铁，它给我点的是冰的。这天北京外面在下雪，暖气还没来。它知道我人在哪，但一句"要热的还是冰的"都没问。

我让它总结AI超维度发过的一篇文章《大模型为什么写不出好文章？》，它搜到了文章，总结却好几处是编的。我纠正了四次，它重写了四次，每次都道歉，第二次还承认"我确实没认真读那篇文章的内容就自己发挥了"。最后一版的结尾，还是落在一个文章里没有的观点上，末尾还补了一句："这次是真的了，没跑偏。"

这是几轮测试里最严重的问题。

菜单上的字认得，但不知道盘子里的菜是什么

我发了一张菜的照片，问"这是什么菜"。小微说是啫啫猪大肠，描述得很细：切成段的主料，配了红椒、洋葱、蒜瓣，撒了香菜葱花，用的是粗陶砂锅，色泽金黄油亮，还顺带解释了"啫啫"是粤语拟声词，模拟食材在滚烫砂锅里发出的滋滋声。我让它看仔细点，它改口说是砂锅鱿鱼。我说"也不是砂锅"，它又改回啫啫猪大肠。我回了一个"错"字，它不猜了，让我直接告诉它答案。三次都没猜对。

第二张照片是一碗糖水。它判断是芒果椰奶大满贯一类的广式糖水，把汤底和芒果、红豆、莲子、芋圆、西米这些配料一样样指了出来，还从照片里餐巾纸的印字上读出了店名，判断这是一家糖水铺。第三张它判断是西北风味的凉皮，背景菜单上"麻酱牛肉荞麦凉面"几个字也被它读了出来，拿来佐证这是一家主打西北面食的店。

画面里，配料、餐具、纸巾上的字、背景里的菜单，它都读得出来，还会拿这些细节去推理。

但读图明显弱很多。腾讯客服说小微同时用着几个模型，视觉这一块，可能用的是另外的组件。

我接着用小微画图，跟它玩了几个网上的梗。让它画小微抱着奶龙，它交出来一张软乎乎的3D图：一个戴绿色头盔的白色小人抱着奶龙，配文"温馨画面，可爱又治愈"。

我又让它画小微和豆包抱着奶龙，一起流口水。它画了两个大眼睛的小机器人，一蓝一紫，口水挂得老长。我说"你小微也不是这个形象啊"，它回"这次我尽量贴近真实形象来画"，交出来的小微成了一个蓝色小机器人。可小微自己的图标，是两只绿色的小眼睛。

这两个测试，恰好暴露了它的短板：世界知识。

它能读出菜单上的字，却认错了盘里的菜，连自己的形象也画不对。画面里有什么，它看得清。至于那是哪道菜、是哪个梗、梗里的角色长什么样，就得靠模型从训练数据里攒下的常识。这一块小微还不够。用户跟它玩梗，它接不住。

这单咖啡生意，最后落到谁手里

小微能替你办到哪一步，一半取决于它自己，一半取决于它调得动谁。

我问它哪些小程序只能打开、不能操作，它列了政务、记账、商家后台、电子签署几类，然后自己归纳了一句："点单、充值、查询类的我能帮你操作，政务、客服、签署、个人记账这类涉及隐私或人工交互的，我只能帮你打开大门，进去之后你自己来。"微信给开发者留了两种接法。选自动模式，授权微信AI读取小程序源码就能接入。想自己控制哪些功能交给AI，就选开发模式，由开发者写接口。小程序肯开放到哪一步，小微才有机会替你办到哪一步。

Manner自己的小程序，到现在小微还操作不了，那一单是外卖平台接住的。对Manner来说，单子没丢，可从下单到付款，顾客一直待在淘宝闪购的页面里。品牌自己的小程序接不住agent，单子可能照样会来，只是要先从平台过一手。

有一回我让它找一家离目的地近、500块以下、不抽烟的酒店，它没打开任何OTA小程序，自己就推荐了几家，带距离、评分、价格和实拍照片，信息比我自己去携程翻还全。但等我真让它去携程下单，它反而卡在了价格滑块上。最后拍板之前，我还是回到携程，把那几家酒店的用户评论翻了一遍。评论数据、履约记录、验证信息——这些用户自己产生的内容，是中间平台在agent时代剩下的护城河。

十个维度，小微拿了多少分

现在的Agent评测基准不少，从写代码到操作网页、手机，都有人测。不过，大多是在模拟环境里出题。已经上线的消费级agent产品，在真实账号、真实服务里能替人办到哪一步，还缺一套公开、能反复跑的测法。

我们把这次实测整理成了十个维度，后面还会拿它测其他产品。这些产品几个月就变一次，用同一套维度反复测，才看得出它在往哪里走。

十个维度分成两组：八个衡量服务能力，两个衡量权限边界。权限边界单独算，因为这两项的高低取决于平台愿意让agent碰多少用户数据，跟服务能力够不够用是两件事。下面是6月那轮的打分。

服务能力（八个维度）：

服务能力综合6.7/10。

权限边界（两个维度）：

这两项分数低，有测试入口的原因。当时只从主入口调用，聊天、收藏和文件都读不到，分自然低。阅读记录这类数据，后来再测时已经能直接调出来了。

所以，这里的高低要结合权限设计来看。分数高，意味着开放给agent的数据越多，agent能替你做的事也有可能更多，但它接触隐私的范围也随之扩大，承担的隐私风险也大。

小程序的下一个用户，可能是Agent

小微占着一个独立App很难拿到的起点：我们每天读什么、和谁来往、去哪里消费，很多痕迹都留在微信——这个中国人用得最多、最频繁的入口里。

但这轮实测下来，小微的模型能力却还停在一年多前。它常常记不住任务进度，分不清自己到底办成了没有。现在personal agent讲究的那种主动性，更是谈不上。

好在入口在手，小微还有时间慢慢补课。但这也给Today AI这类独立的personal agent留下了机会：谁能更早让用户放心把事情交出去，谁就有理由被留下。

而不管最后是谁替我点咖啡，它都得找到门店，调得动下单服务。Manner自己的小程序接不住，这单就先交给了外卖平台。对商家来说，接不接得住agent，已经会影响订单从哪里来。

这意味着，小程序以后不只是给人用的，也得让Agent用得明白、办得成事。因为以后来小程序下单的，就不光是人了。Agent能不能用，可能是小程序下一个要紧的事。

另外插播一句，这套评测框架和完整测试记录，我们会在GitHub和AI超维度官网开源。后续每测完一个产品，官网都会更新评分明细和横向对比。