作者 | 蒂娜·凌敏
未来的AI手机应该是什么样子？
上个月，德国电信、高通和 Brain.ai 推出了一款突破性的创新概念 AI 手机——。 与传统智能手机不同，这款手机采用“无App”模式。 它清除了屏幕上密集的App图标，只留下一个按钮来激活手机中的AI助手，让用户通过类似的操作界面进行交互。 。
这款手机的长远愿景是消灭Apps，干掉App Store。 德国电信首席执行官蒂姆·霍特格斯（Tim ）在会议上做出了疯狂的预测：“移动应用程序将在未来五到十年内消亡”。 。
为了实现这个想法，Brain.ai在过去的几年里已经开放了数千个主流应用程序。 比如，一句话订餐厅，手机需要在地图、点餐软件、日历和消息应用之间来回切换，还需要为用户构建整个流程。 这相当于一个连接多个App的AI Agent，没有App的手机自然会干掉传统意义上的App Store。
“无应用”意味着手机将拥有更简单、更高效的使用体验。 用户不再需要在浩如烟海的应用程序中寻找所需的功能，一句话就能搞定一切。 但对于我们开发者来说，无应用手机的出现意味着巨大的挑战。 传统的开发模式将被彻底颠覆，开发者需要学习新的开发技术，适应新的开发模式。
“干掉App Store”代表着应用生态入口的改变，成为一个完全脱离苹果和谷歌控制的新生态。 苹果的App Store拥有超过200万款应用程序和游戏，去年总收入达893亿美元。
这款概念手机可能并不是AI手机最终的样子。 发布已经过去了一年多的时间，对于一款大型号的手机来说，它代表了一个很好的创意。
我们现在使用的智能手机实际上已经稳定发展了十多年。 2007年，乔布斯在第一代发布会上喊出了那句著名口号：“苹果将重新发明手机”。 此后，苹果手机通过电容屏和多点触控交互方式将诺基亚推下王座，而App Store策略也打造了强大的双面市场，造就了现在的开发者生态。
如今，大模型带来的“智能涌现”现象已经超出了我们最初的想象，也对大模型与手机的结合提出了非常高的期望：手机能否更好地理解人类，真正成为个体？ 生活中的聪明伙伴。 未来手机的形态和功能会是什么样？ T Phone只是一种可能性，但它打开了一扇通向未来的窗户。
未来可能连手机都没有了，但是超级App还是会有的。
这位CEO表示：“在这个时代，硅谷首先相信会有一个超级App，然后他们相信会有一个生态系统。”
未来的手机可能会更具颠覆性，最根本的原因是交互方式再次发生了变化。 新的交互方式由之前松散的GUI交互转变为与智能代理的交互。 这种交互体验可能是全新的并且是多媒体形式的。 对于大型模型，可能是语言、照片或视频。
如果用户与AI的交互越来越顺畅，AI越来越理解用户，用户可能会越来越依赖AI交互，甚至被AI“俘虏”。 就像我们现在在抖音、微信视频号上，大部分的互动都是刷屏、点赞。 其背后的逻辑是AI正在帮助推送内容。
无论我们创造什么样的东西、生态系统，都必须符合用户的交互习惯，让用户离不开它； 它还必须有一个允许开发者或内容创建者赚钱的商业模式。 目前，我们手机上最常用的两个软件是浏览器和应用商店。 这两个需求从来没有改变过。 甚至微信实际上也结合了浏览器和应用商店的功能。
现在，一方面，随着人机系统交互方式的变化，交互方式、交互对象、交互内容都发生了变化。 因此，未来的浏览器绝对不会是现在的浏览器。 另一方面，这些应用程序可能不再需要通过应用程序商店下载，因为它们只需要提供服务。 因此，未来手机必然会发生变化，交互方式的变化也将形成新的生态系统。
然而，如果用户习惯了这种与人工智能的交互，未来他们与应用程序的交互可能会减少，尤其是长尾内容的应用程序。 问题是，要增加人工智能对你的理解，需要大量的私人数据，而这些数据大部分存在于长尾应用程序中。 现有应用可以利用长尾应用的数据来完善其功能，构建更完善的用户服务体系。 同时，新的App形态也可能利用大量数据构建新的生态系统，提供更加个性化、智能化的服务。 这种情况下，可能是一个系统级的App或者是具有全局访问能力的硬件入口。 这或许为硬件厂商提供了天然的优势。
回过头来看，我们会发现，全球最先进的AI公司也都渴望找到这样的硬件入口。 比如AI Pin、机器人等都已经投入。
目前，虽然我们每天最多使用的是手机，但在未来的某一天，手机可能并不是最适合AI交互的设备。 那么手机及其生态系统是否有可能成为平滑过渡到下一个生态系统的桥梁呢？
vivo技术规划专家袁冬认为，手机仍然是现在、包括未来几年的主流AI交互设备，但未来有两个发展方向值得关注：一是智能眼镜的出现，二是智能眼镜的出现。另一种是纯机器人形式的产品。 智能眼镜可以看作是一种与人自然交互的产品，类似于XR交互，而机器人则是人机协作交互的另一种形式。
小米集团技术专家王小涛认为，未来手机的基本功能仍会长期保留，但新功能会不断增加和完善，未来手机的形态将更加多元化和灵活，但将变得更加方便。 更易用的形态的拓展，比如可以解放我们双手的可穿戴设备、手表、手环、眼镜、隐形眼镜、投影手机甚至更远距离的芯片植入等。随着技术的不断发展和创新，未来手机的形态将不断演变，变得方便易用。
对于手机形态是否会改变，OPPO技术规划总监陈小春持开放但保守的态度。 手机是核心的便携式电子设备，我们需要计算终端：手机的传感器帮助我们感知自身和外部环境。 例如，在AI时代，我们需要更多地了解个体和环境。 手机上的传感器可以捕捉用户的动作和情绪，与手机连接的可穿戴设备可以捕捉人体和环境信息，帮助模型更好地了解用户需求。
与此同时，越来越多的轻量级、基于云的设备将会出现，这些设备适用于特定的场景。 例如，Magic Glass 可以在您早上刷牙时提供天气信息。 手机可能会成为更加综合的终端，而其他设备则更加轻量级、云端化。
大机型植入手机后，开发范式发生变化
今年，手机厂商们兴奋不已，也感受到了时代的紧迫：OPPO喊出“2024年是AI手机元年”，AI手机将与功能机、智能手机并列历史； 魅族宣布“叫停传统智能手机”的“新手机计划”； 小米在AI摄影上做文章； 三星新发布的S24系列配备了端侧AI，可以处理语音、文本和图像； 谷歌发布了搭载自家AI模型的手机Pixel 8系列； 据悉，苹果和谷歌正在积极谈判引入AI。
AI智能手机的特点之一是它们具有“生成内容”，因此创建大型模型的能力至关重要，无论是基于云端还是客户端。
其中，vivo去年宣布推出蓝心大机型，并开源手机端云两用大机型-7B。 据官方介绍，-7B是一款适合中国开发者的中国开源大型机型。 它在语言理解、文本创意等场景中表现都非常出色。
小米去年还迭代了13亿参数和60亿参数大模型，并正式宣布贯通终端侧大模型。 今年2月，小米发布了新款手机14 Ultra，首次引入了基于大机型的AISP图像处理平台“AISP”。 它是一个将大型模型与手机成像系统相结合的平台。 它由六种模型技术组成。 算力可达。
OPPO去年还发布了晶心大模型（Andes Large Model），以“端云协同”为基础设施设计思路，推出了多种不同参数尺寸的模型规格。 今年，OPPO还发布了Find X7，这是首款在设备端应用70亿参数大语言模型的手机。 它具有一些创新功能，例如音频和文本多模式通话摘要以及相机上的后处理功能。
大型模型的参数非常大，往往达到数百亿，训练和推理会消耗大量的算力。 将它们安装到手机中比在云端运行要困难得多。 而且模型并不是越大越好。 目前，多家手机厂商正在重点在公开模型的基础上进行调整和适配，然后将专业领域的模型融入到手机中，并通过Lora等技术进行微调，以提高模型的人性化交互能力。
例如，vivo -7B型号如果使用全精度，则需要28GB显存才能运行。 为了让大型模型适应手机，可以通过端侧模型的量化、剪枝等策略，使模型变得更小，同时保持高召回率和快速推理速度。
从这里我们也可以看出，未来并不是每个App都会有自己的模型，因为这会导致手机显存不足。 在手机系统中共享模型是一个合理的解决方案。 这样的模型将为开发者提供基本的能力，类似于之前提供的SDK。
因此，当前的AI手机倾向于提供具有公共能力的模型。 开发者可以在此基础上发挥自己的开发能力。 例如，相机功能可能不再依赖传统的 SDK，而是利用公共模型。 未来开发者会基于公共模型来开发App，可能需要具备一定的模型调优能力，或者通过Lora等技术定制自己的模型。
对于开发者来说，变化将是巨大的
为了发挥大机型的能力，OPPO目前正在重构操作系统（OS），整合AI能力，打造更智能的AIOS。 AI代理将嵌入操作系统中，提供手机设置、服务和调度。 功能。 这涉及到操作系统控制的优化以及软硬件的协同工作，特别是硬件在执行大型模型运算时的效率、效果和功耗控制。
截图来源：OPPO联合IDC发布的《AI手机白皮书》
vivo去年还发布了全新的自主研发操作系统，名为蓝河操作系统。 vivo表示，他们看到了人工智能通用化（AGI）时代的机遇，相信会有一款真正适合这个时代的操作系统。
蓝河操作系统对系统、应用和工具链进行了全面创新：通过vivo计算加速平台的VCAP能力支持推理和决策，集成视觉、语音等算法，实现AI服务引擎和多种-基于 Blue Heart 大模型功能的模式。 输入子系统允许用户使用多模式输入和输出来模拟人类交互。
vivo彻底重新设计了整个图形渲染流程和关键模块，推出了虚拟显卡解决方案，并创新实现了超级渲染树、并行渲染、异构渲染，解决了丢帧、丢帧、帧同步问题，保证了系统显示始终高效流畅。 并选择使用Rust语言来打造高效、安全的系统底层。 对于前端开发，支持使用JS语言构建高效、低成本的应用程序。 此外，Blue River操作系统兼容不同的硬件架构，通过内核抽象层实现不同内核的抽象设计，兼容多种Posix标准内核，支持Linux内核，同时也兼容RTOS内核。 目前，vivo Watch 3采用的是Blue River系统。
应用层兼容“快应用”生态。 快应用是2018年九大手机厂商联合推出的基于硬件平台的全新应用生态系统。 用户无需下载安装，只需点击即可使用。 因为在AI时代，交互的对象可能是Agent这样的超级App。 这些代理在执行推理和规划后可以将任务原子化，而“快速应用”不需要安装，具有系统级能力，可以作为插件存在于系统中以满足用户需求。
对于开发者来说，未来的开发范式将发生重大变化。
传统的开发范式是通过API开发应用程序并以GUI的形式呈现。 未来的开发范式将转向GenAI开发范式，大致包括四个步骤：首先确定要做什么； 其次，找到基本模型（model）； 第三，对基本模型进行调整，可以通过RAG( )、Fine-等方法进行； 最后对模型进行验证，评估其召回率和性能，最后进行模型的部署、开发和沟通。
在这个过程中，尤为重要，因为它是与模型交互的主要方式。 同时，开发人员需要具备对模型进行评估的能力，以确保模型能够满足需求。 随着模型能力的提高，将来可能不再需要RAG和Fine-。
除了使用GenAI表单开发之外，开发者还需要采用Agent思想来开发应用程序。 比如斯坦福大学对模拟城镇的研究，以及GPT和流行的Crew AI框架，都展现了编码方向的质变。 开发者可以通过定义角色和编写来实现应用的协同操作。
从手机厂商生态和未来大型机型生态来看，手机本身的内存规划和代理商的属性可能是决定未来用户生态入口的关键。 陈小春认为，到那时，手机可能仍然是交互的入口，通过模型技术了解周围的事物，最终实现万物互联的愿景。
大模特带来的变化：摄影是C位
大机型与手机结合，可实现AI通话汇总、AI消除等功能。 从大模型与手机图像的结合就可以看出它产生的根本性变化。
我们首先需要明确的是，AI+影像绝不是什么新鲜事物，很多人甚至已经习惯了AI与影像的结合。 尤其是现在，包括华为、三星等品牌的手机，用手机就可以拍出清晰的月亮照片。
三星客户体验负责人直言：“现在没有真实的图片。一旦你使用传感器捕捉到一些东西，你就会重现你所看到的东西。用户想要一张尽可能准确和完整的照片，为了做到这一点，我们使用大量的人工智能过滤、修改和优化，同时努力确保满足用户的意愿。”
以前的AI角色主要集中在“美化”，但现在大型模型可以突破更多限制。 手机摄影已经成为实现大模型的方式之一：大模型可以处理传统方法和第一代模型无法实现的场景或焦距。 例如，在30倍以上的焦距下，传统传感器和光学系统接收到的信号非常弱，导致拍摄的图片缺乏细节信息。 在这种情况下，传统方法和第一代人工智能技术几乎无效。 在这种情况下，通过引入大模型解决方案，利用手机强大的计算能力，采用生成式的方法，可以生成符合客观条件和实际情况的高质量图像。 该功能已在小米手机的AISP中实现。
在成像方面，OPPO一直是计算摄影的坚定信仰者。 他们认为计算摄影是正确的方向。 如果未来手机的交互方式发生变化，语音交互可能不是最直观的方式。 有时候10句话可能并不能像一张图片那样直接表达意思。 在这种情况下，屏幕仍然是一个非常重要的交互界面，成像模块也是如此。 另外，因为很多东西都需要通过图像或者视频来记录我们真实的记忆和美好的生活，所以作为一种便携式设备，手机的影像功能是一个非常好的耦合点。
在计算摄影领域，OPPO采取了相当激进的策略，坚信通过更多的计算来消除或减少计算痕迹，以达到更自然的效果。 在手机客观物理尺寸的限制下，尤其是高倍放大时，我们无法通过物理或光学手段达到单反级别的高画质，但大型机型却出现了。 OPPO在多个方向进行了尝试。 比如利用大模型实现AI超清合影或者高倍人脸检测。 它设置了特定的场景，使生成过程更加可控，从而可以实现端侧模型。 完整的人脸识别。 AIGC技术还可以用于处理细节，例如眉毛和头发的表现力。 该功能已经出现在今年1月份发布的X7手机上。
总体而言，大模型与摄影的结合提供了更多的创意空间和无限的可能性。 想要抓住这个机遇，客观上给手机厂商带来了新一轮的技术竞争。
但这种组合其实面临着很多挑战，因为大模型在端侧的应用还不是很成熟。 虽然大型语言模型在云端表现更好，但在手机上实时运行大型模型，尤其是摄像头系统，是一个相当高的要求。
目前开放的大型视觉模型主要基于开放的图像和数据。 手机成像处理的图像与公开数据不一致，尤其是不同手机厂商的主打风格。 手机图像处理侧重于噪声、色彩、亮度、动态范围等方面，这些可能不是开放任务的主要关注点。 因此，需要开发专门用于手机图像处理的大型模型，以满足其特定的需求和关注点。
将这种模型适配到端侧并实时运行，对硬件支持提出了更高的要求。 除了将大型模型小型化外，还需要与系统紧密集成。 例如，小米开发了一套高效的异构并行架构，可以充分调度底层硬件的计算资源并进行并行加速。 结合小米 OS，可以提供更高效的流水线管理和数据调度。
另外，如今文森图画的能力，使得在光影、构图、材质、色彩等细节上都难以辨别真假。 这类大模型技术对计算摄影的影响将是巨大的。 但从另一个角度来看，我们使用的成像系统很多都是用来记录现实生活的，所以在这样的应用中，我们必须把大模型当作一个黑匣子，并试图控制或抑制它的生成能力。 通过各种方法、各种条件，可以将其生成能力削弱到很低的程度。 在一些传统模型表现不佳的场景下，例如高倍、超高倍，可以在控制范围内有选择地释放大模型的生成能力。
AI将带来新一轮换机浪潮
对于AI手机的看法，业内有多种定义。 IDC对AI手机给出了严格的定义：端到端算力必须达到以上，最低16GB RAM，并且必须能够在端侧运行大型模型，包括文本生成图诸如其他模型。 这个定义使得大部分高端手机都符合AI手机的标准。 典型的芯片如苹果最新的A17芯片、骁龙888第三代等都属于这一类。
无论手机上能容纳多大的模型，毫无疑问，最强大的模型将在云端。 在手机上，用户也需要模型具备实时计算能力，这是目前端侧模型最强或唯一的优势。 例如，在支付或面临虚假信息时，端侧模型的实时响应对于用户至关重要。 但“即使手机可以容纳大机型，我们仍然需要考虑老用户，不能忽视他们”，vivo技术规划专家袁冬表示。
对于云端的大型模型，用户最关心的是生成质量。 如果质量差，即使需求不是实时的，用户也不会满意。 这可能会催生新的商业模式，因为云模型的推理成本很高。 例如，一些AI初创公司训练和生成一张图片的成本可能是一元钱。 需要有效的商业模式来改善 PMF。
不过，说到把大模型塞进手机里，目前的手机硬件并不存在短板。 小米相机部门AI算法团队负责人王小涛认为，目前主要的限制是计算能力和存储空间。
关于计算能力，近两年出现了大型模型，并且它们具有一些独特的特征。 我们当前的端侧硬件已经在生产周期中完成，并且是几年前设计的。 尽管各大平台厂商都在努力适配或适配大型模型，但这些努力主要集中在软件层面。
在过去的一年里，虽然我们在客户端运行大型模型的速度有了很快的提升，但这些提升主要来自于软件的优化和后期的调整。 从硬件本身，尤其是端侧芯片来看，对大机型的支持并不理想，这是一个棘手的问题。 目前的策略是使模型适应硬件，即在现有硬件条件下尽可能优化模型。
另一个问题是存储。 移动设备的存储空间非常有限，尤其是系统占用和用户可用空间有明确标准的情况下。 大型模型的一个显着特征是它们的尺寸。 将一个大模型搬到手机上或许还可以接受，但是如果以后需要同时搬多个大模型的话，存储的压力就会非常大。 目前业界正在讨论是否有必要在硬件中添加专门用于大模型访问和计算的独立单元，以避免占用系统资源和用户空间。
这些问题确实影响了大型机型与移动硬件的结合。 业界正在讨论解决方案，但由于硬件生产周期的限制，我们可能需要等待下一代硬件才能看到实质性的变化。
陈晓春补充道，硬件研发周期实际上取决于整个算力生态的周期。 算力上游供应商，包括内存厂商和主芯片厂商（SoC厂商）都需要参与定义产品，这需要一定的时间。 此外，在大模型兴起之前，存储和计算之间的数据传输并不被认为是一个大问题。 但现在，随着模型变得越来越大，存储和计算之间数据传输的带宽需求增加，带宽已经成为瓶颈。
还有数值计算问题，影响图像处理和推理速度，尤其是用户对绘图速度的容忍度。 如果推理放在云端，再加上传输延迟，可能会比设备端推理更快，这可能会影响用户的使用选择。
随着越来越多的模型需要推送到设备端，无论是语言模型还是视觉模型，设备端的这两个瓶颈目前短期内很难解决。 不过业界正在明确方向，比如尝试缩小模型的尺寸，进行量化、剪枝等优化，以提高模型在特定领域的推理速度。 同时我们也在探索如何提高存储和计算之间的带宽，以及图推理中如何进行并行计算。 总的来说，虽然大家都在努力优化，但是要解决根本问题还需要一定的时间。
虽然有硬件天花板，但相信大多数人已经不再怀疑手机中大机型的能力了。 “所有产品都值得用AI重做”这句话也适用于手机行业。 IDC预测，从2024年开始，新一代AI手机将大幅增长，带动新一波手机浪潮。 手机厂商在AI时代有着天然的优势，因为手机是最接近用户的第一个切入点。 随着生成视频能力越来越强大，手机换机的需求也会越来越强烈。 或许未来，手机厂商的基础入口地位和优势会更加明显。 AI手机的发展也将改变生态系统。 谁能抓住机遇，抢占AI时代的先机，谁就能获得最大的红利。
原文链接：没有App，也没有App Store。 未来的手机会杀死所有应用程序开发者吗？ _生成专题文章
