天眼新闻2024年11月13日发布:会自己逛淘宝发红包，这个语音助手有点越界

前两天，世超玩到了一个很有意思的手机助手。

虽然还很不成熟，甚至可以说简陋。但是，世超随手录了几段发到了群里，直接收获一堆来自数码编辑们的惊叹。

“ 它是怎么做到的？ ”

现在，我就把这几段素材分享出来，给差友们也看看。

在世超的素材里，这个助手做到了像人一样理解指令，并且完美操作了手机。

这个操作完美到什么程度呢。现在我正吃着的这碗香气扑鼻的大面条，就是这个助手给我点的，全程我几乎没有插手。

我只和它说， “ 我想吃次坞阿生手打面的红烧小排面了。 ”

接着，它就开始在我手机上操作了。熟练地退出对话界面，在一堆花花绿绿的应用中，调出点饭的那个黄色袋鼠头。

而且，我的指令里没说要吃哪家。它找到好几家后，知道向我二次确认店家信息。

在得到第一家的答复后，进店、搜索、加购，就这么丝滑地帮我点上了。

当然了，出于安全考虑，付钱的这步还得我们自己来。但其他部分，基本不需要我们插手。

后面还有更神奇的。

最近编辑部的一位好朋友拿了块 B 站的百万粉丝小牌牌，半个办公室的同事都排着队跟他合照，整个朋友圈都被刷屏了。

我实在嫌一个一个点赞留言实在太麻烦了，就试着让它帮我一步到位。

“ 帮我给小发最新朋友圈点赞，并且写一串彩虹屁。 ”

它不仅精准地找到了小发，甚至还知道偷懒用缩写的 xf 搜。

点进朋友圈，找到了最上面一条，然后轻轻送上一个赞。并且，在评论区留了一串，我这辈子也憋不出来的彩虹屁。

看到这，可能很多差友们开始好奇，世超到底用的啥手机。

怎么感觉聪明程度，和自己手机上的助手不是一个级别的？

其实它不是 Siri 这种手机自带的手机助手，而是世超前两天从智谱那里薅来的 AI AutoGLM，一个手机上的 AI 助手。

感兴趣的可以申请内测试试，不过目前还只支持安卓，果子用户们还得等等了。

它这种操控手机的设定，这和前几天刷屏的 Claude 3.5 的新能力不谋而合了。Claude 3.5 也可以做到控制电脑，甚至能自己在电脑上玩数独（ 玩得很烂 ）。

而智谱的 AutoGLM 则是可以控制手机。不需要我们设定什么工作流，什么都不需要设置，只需要说话。

读到这，是不是觉得有点贾维斯那意思了？

不过，作为一个外来应用，智谱助手要想达到上面这些操作，方法还比较粗暴，只能通过获取我们的无障碍权限。这个权限可以让应用模拟我们的操作，来控制我们的手机。

面向老年人的平安通，用的也是类似的权限。

有了畅通无阻的权限，再加上 AI 的理解和对话能力的加持。使得智谱的助手，可以完美复刻我们很多的操作。

在微信上，它能发消息、转账、发红包、朋友圈点赞，关注账号，阅读账号内容并且总结等等等等。

像给你的老婆发个情人节精美小作文，或者给你的老板发段彩虹屁。你指令给的不准，它也能懂。

说句“ 让火锅赶紧下楼， ” 它就知道要发下楼。

再比如赏火锅个 5 块钱红包，也是大手一挥，大气至极。（ 素材演示，实际并未转账 ）

还好付钱得手动结账，不然真怕啥时候口误，就不知道便宜谁了。

像导航软件，打车、搜攻略，导航这些最简单的，都是指哪打哪。它也能理解各种应用里的内容，像让它去小红书上找个什么攻略，并且总结一下。

很多以前压根不会让手机助手做的事，现在我都敢张嘴，试着让它给我办办看。

就比如世超现在岁数小涨，就经常容易忘事。

家里的牙膏没了，餐巾纸要买了，或者是某个东西坏了。我前脚刚说：哎，这东西得记得买了。

结果一转头，马上把这茬忘了。就算点开了淘宝，要是中途一个消息弹出来，就再不可能点回来。

所以我家水壶，现在已经坏了半个月了。。。

这回我路过看到那个盖子坏了的水壶，只用打开手机说： “ 给我买一个上次买过的浇水壶。 ” 然后再点击付款就完成了。

你还能把大模型的能力也用起来，它不仅能写朋友圈的彩虹屁，也能给你写出几十、上百字的商品好评。

不过，试用中，世超也发现了这种模拟点击的操作方法存在的问题：如果遇到弹窗，智谱这个助手就傻眼了。

要么直接点进广告里去了；要么聪明点，等到弹窗消失；如果遇到必须手动×掉的广告，它就只能求助于我们。

你以为它完全自动化了，结果却突然要你手动操作一下，这就让人格外难受了。

几天试下来，类似这样的小毛病，大大小小也遇到不少。

世超一直常用的外卖软件其实是饿了么，导致我一开始让它帮我点饭，它直接就罢工了，说我没磨硬拉，连点饭 APP 都没有就让它干。

这是由于还在内测，所以支持的软件数量还比较少。操作起来也不稳定，现在能用的功能，主要还是集中在下面这几块。

很多系统级别的任务，像换个壁纸，目前它还做不到。让它去支付宝里，给你偷能量、喂小鸡，它也会无奈地说自己不会（ 这个建议赶紧上架，很需要 ）。

并且反问你：【 你确定要我干吗？ 】。

比如你如果非它试试，要么就是卡住不动，要么就是给你打开其他软件，来一场抽象瞎点。

当然了，虽然有不少瑕疵，但这些和世超自己薅到的还是内测版有关。

应用少、不稳定这些问题，以后都是可以慢慢解决的。我估计按照 AI 应用们卷的速度来看，到下个月这个工具就会大变样。

而且，让 AI 能操作工具，这事其实并不好做。尤其大模型的各种能力在实际落地执行的时候，很容易发生冲突，互相打架。

这也是为什么大模型发展成这样了，能真正在手机上取代操作的 phone use 应用还是很少。

不过，相信看到这里，不少差友心里一定有担心。

作为一个第三方应用，获取这么高的系统权限，是不是会有风险？

如果真的就这么光杆子把应用推到大家面前，也一定会因为风险和隐私问题受到质疑。

解法之一可能是和主机厂商的深度合作。而智谱在这一周，也已经官宣了和高通基于骁龙芯片的端侧大模型优化，还有和三星的战略合作。

有种一切正按照计划走的即视感。

总而言之世超觉得，如果说贾维斯，现在这个初始版的 AutoGLM 还是担不起。

但给我们的手机助手来个超级加倍，确实是绰绰有余。