了解新零售下的AI智能货柜，看这篇就够了

互推小编 2023-06-04

本文分析了新零售下智能货柜的现状与未来发展，主要包括这5点：新零售与智能货柜概述、智能货柜发展路线和市场分析、智能货柜技术核心、系统结构、货柜运营核心与用户体验，供大家一起学习和参考。

目前新零售风刮的蛮大，笔者进入该领域近一年，负责过无人便利店、智能货柜、智慧商超等产品，在这个阶段不断去学习AI技术、积累新零售领域经验。该篇文章作为第一篇AI产品设计复盘文章，为大家从行业、技术、产品设计三个点去介绍视觉识别智能货柜。

文章也许会衍生成新零售系列，主要目的有：

带来客观的新零售+AI领域结合的行业和智能货柜产品动向；
真正以一个PM角色以综合视觉去看待：趋势、行业、产品、技术的结合，在加强自身的综合能力同时，给其他PM带来实际性的疑惑和思考。

ps：涉及商业限制，文章不会出现具体硬件型号或算法版本。

文章目录：

一、新零售与智能货柜概述

1.1 新零售背景

2016年10月的阿里云栖大会上，阿里巴巴马云在演讲中第一次提出了新零售，“未来的十年、二十年，没有电子商务这一说，只有新零售”。

当时的大背景是：线上电商零售流量红利见底，新中产阶级和对应的消费升级观念崛起，移动支付等技术普及，整个传统零售行业急需向欧美地区企业学习数字化谋求更好的发展，加上国家政策推动，因此新零售风口正式来临。

1.2 新零售与智能货柜

如何理解新零售，我们把新零售拆为“新”和“零售”，“新”在于更高效率、更好的服务，“零售”的本质链接是“人”与“货”的“场”。

《新零售：低价高效的数据赋能之路》：一张图了解新零售

在智能货柜这个产品中：

智能货柜即一个最小型的“场”，有了“场”，便产生了交易的可能。智能货柜占地面积不到1平方米，几乎是所有“场”中的最小单位。其成本低，布点位置灵活，可作为前置仓使用，十分有利于零售商家对自己的零售生态整体布局。同时依靠视觉识别等AI技术(下文会详细介绍)，加强了线下商品的即得性，提升了用户体验；
智能货柜上的“货”，通过数据驱动，在消费者端做到千柜千面。可反向驱动供应链端和产品设计端(即供给端)，零售商家可做到高性价比的精细化运营，用更短更直接的路线和体验打动消费者；
在“场”和“货”不断迭代中，吸引到“人”(即用户)。用户的关键指标为流量*转化率*客单价*复购率，对不同用户画像进行精细化运营，提高坪效。

最终，利用AI数据、用户画像、商品推荐等技术实现智能货柜“人”、“货”、“场”的消费生态闭环，这便是智能货柜在新零售时代的运营思路(也可以称作轨迹)。

对于企业来说，理解产品处于什么位置是及其重要的，“当前位置”决定了发展方向和目标的确立，是增长路上的重要前提条件。智能货柜在零售生态下作为获取线下流量入口，在技术方案趋向成熟和数字化明确的背景下，是许多零售商和技术服务商值得投入资源去做的一个点。

市面上最好的点位营业额日超四位数，假设一个零售商有1000台货柜布点，那么一天的仅靠货柜营业额可达到1，000×1，000=¥1，000，000，一个庞大的数字。

二、智能货柜发展路线和市场分析

2.1 智能货柜发展路线

智能货柜目前一共经历了三个阶段。

（1）自动售卖机阶段：

1993年自动贩卖机从欧美、日本地区传入中国，传统自动售卖机主要是硬件驱动，用户使用纸币、硬币支付，货柜通过弹簧弹出商品，但传统售货机企业未能有效解决成本，质量，运营等诸多问题，所以导致国内市场上的自动售货机不仅数量少，且品种非常单一，主要以瓶罐装饮料售货机为主。

（2）无人货架阶段：

2017年，在新零售趋势加持下，无人货架迎来风口。无人货架大部分由互联网公司进行运营，以几百元的成本在办公室等较封闭场景快速搭建货架，用户通过微信、支付宝扫码支付，从货架拿取商品。但因为没有构建消费闭环场景，导致商品货损率极高，所以在运营一年后，大部分无人货架项目都已暂停运营。

（3）智能货柜阶段：

市场一直在驱动企业创新，无人货架风口过后，以RFID和视觉识别为核心技术的智能货柜时代正式走上历史舞台，与无人货架相比，智能货柜形成了消费闭环，用户扫码开门拿取商品，关门即扣费，货损率可控95%以上，同时点位达到一定规模后，智能技术赋能运营及补货过程，销售和品牌的规模效益便能逐步产生。

2.2 智能货柜技术解决方案

RFID解决方案：RFID分超高频RFID与高频RFID，该技术好处是没有SKU和摆放限制，但相应的会增加人力成本和商品成本，识别准确率大概是95~98%，由于不是本篇主要内容，故不多介绍；
视觉识别解决方案：以图像识别为技术核心，摄像头、主板为硬件核心，对消费图/视频进行目标检测和分类，极大的提高购买和补货体验，同时识别准确率可到到99%~99。9%；
重力感应与视觉识别混合解决方案：以重力感应为主，视觉识别为辅，或者以视觉识别为主，重力感应为辅的形式，进一步提高准确率。

2.3 智能货柜市场分析

目前智能货柜市场的公司分类主要有以下三种：

（1）无人货架转型公司：

从无人货架赛道上转战的公司。该类公司有运营基础自己运营货柜，但是还需寻求硬件资源和组建图像算法团队。

代表公司有：猩便利、小e微店。

（2） AI科技技术公司：

本身具备视觉识别技术能力，为传统行业和领域赋能的公司，该类公司都拥有算法团队和AI核心技术基础支持，一般不做运营，只为零售商提供硬件和软件技术支持。

代表公司有：深兰科技、海深科技、云拿科技。

（3）传统自动售卖机企业：

意识到以视觉识别技术为核心的智能货柜是新一轮增长动力的传统自动售卖机企业，该类企业有运营基础和硬件基础，资金量也充足可以很快的组建算法团队，研发出货柜自运营或者批量售卖。

代表公司有：友宝。

部分智能货柜公司列表

智能货柜核心指标对比

2.4 瓶颈与机会

智能货柜的发展瓶颈主要是技术瓶颈：经过2018~2019的快速发展，智能货柜的发展到一定阶段，市面上的智能货柜技术服务商统称自家的识别准确率在99%以上，则100单最多只会识别错1单，但是距离真正成熟阶段还差一定距离，识别技术瓶颈在未来会一直存在。

做到“千柜千面”，多场景全渠道售卖，兼容各类商家和商品，会出现各种各样的复杂场景，对图像识别的精准度和覆盖度要求更高。如商品遭遮盖、倒放、推倒、叠放等问题，都需要通过优化算法以及配合其他方案解决。目前解决方案是使用动态识别和重力感应，但这也会增加成本。除了识别精度，还有许多待解决优化的技术挑战。

商品识别已知的工程挑战问题

从智能货柜的普及率来看市场机会：在美国，平均35人拥有一台自动贩卖机、在日本则是平均23人就拥有一台、而在中国是4500人。

自动贩卖机大国日本目前的自助贩卖机数量是250万台，而国内自助贩卖机总量也不足20万台，并且售卖的商品种类单一，分布不均衡，市场远未达到饱和。总的来说，智能货柜瓶颈与机会并存。

三、智能货柜技术核心

介绍完宏观层面，接下来，我们从微观技术层面的角度让大家更深入的了解智能货柜。涉及到的技术核心主要是AI算法、数据源、硬件。

3.1 AI算法

（1）识别云服务器

AI模型的训练十分依赖服务器运算能力，GPU服务器比一般云服务器更适合深度学习项目，通常企业选择租用GPU云服务器或购买GPU服务主机进行项目训练。

（2）深度学习开源框架

如TensorFlow，该框架由Google研发开源，因种种原因，是目前最火的深度学习框架之一。

通过使用它可以快速的进行神经网络的开发，大大降低了开发成本。官方网站上有详细的说明以及机器学习中文社区，对ML学习十分有帮助(http：//www。tensorfly。cn/)。

（3）识别算法

在智能货柜运营场景，我们需要算法做的是图像中物体的定位和分类(Localization & Classification)：识别定位出每一层货柜的照片所包含的商品以及商品的类别，为不同的商品框上不同的框，以供购物订单生成和其他场景盘判断。要执行该任务我们需要使用卷积神经网络(CNN)为基础的一众算法，如Faster R-CNN、YOLO v1-3等。

CNN运行过程包括四个步骤(具体不做详细解释)：

卷积层提取图片初步特征；
池化层提取图片主要特征；
全连接层将各部分特征汇总；
产生分类器，进行预测识别。

现在算法发展十分快速，作为AIPM，可以学习经典算法的发展历史和运算原理，与算法工程师为产品选择最合适的能力(算法)，甚至有新算法开源，PM先下载跑一遍模型，不仅提高了工作效率，也加强了自身的技术能力。

图像识别算法发展历史

3.2 商品数据源和标注

有了算法和模型，就需要喂数据，标注流程规范和数据源质量是两大相辅相成的关键，智能货柜售卖的商品最常见的是饮料和盒装零食。

一般数据标注可利用第三方标注工具进行标注，为了提高标注效率和标注质量，笔者在所在公司也从0-1设计了图片标注平台。构建标注平台前，需要了解机器学习中正负样本的概念，对数据采集流程有清晰的认知，熟悉标注人员标注和管理标注的流程。笔者设计的标注平台公开商用后，将会针对如何设计标注平台专门输出一篇文章。

数据源质量：众所周知，数据质量低会极大的影响模型的效果，容易造成模型的欠拟合或过拟合，影响模型效果和用户体验，若出现这种情况，一般需要重新投入新的健康数据源重新训练，成本较大。对于保证数据源的质量，我们通常关注以下两点。

标注流程是否规范。一般每个标注任务数据都会有专门审核流程，避免把乱标、标错不健康的数据源投放进模型学习。这个主要是靠标注流程的管理和人力资源调配，好的标注平台也是避免数据质量参差不齐的因素之一，属于可控范围；
标注人员是否专业。标注人员通常是实习生，需要经过专门培训才可开始标注工作，有时候PM和算法工程师也要参与标注工作。

数据标注：投放训练流程图

3.3 关键硬件

智能货柜像厂商定制硬件能力，同时需要有专门的LOT后台对硬件的健康状态进行监控、硬件管理小程序或者APP为一线运营人员提供硬件管理支持。其中关键硬件有主板、摄像头、门锁、物联卡，由于涉及内容较多，暂不做详细介绍。

四、系统结构

系统结构主要分为用户端、货柜硬件端、识别服务端、逻辑服务端。

用户端：用户用于购物的小程序或APP。
货柜硬件端：实际控制货柜上门锁、摄像头、灯光、温度等所有传感器和硬件设备，与服务端通信，平时负责将心跳数据和图片打包上传至服务端，并且解析服务端发过来的指令实现控制货柜硬件。
逻辑服务端：主要任务是接受货柜硬件端数据，把照片数据放到队列中供识别服务端读取、修改货柜订单状态、推送消息、更新库存等。
识别服务端：主要是实时检测队列读取照片，运行识别服务，生成订单明细。

五、货柜运营核心与用户体验

综合历史经验，笔者认为在智能货柜发展前期与用户体验和商业标准最贴合的两个维度是：

对于货柜运营客户：收到钱、收对钱；
对于购物用户：能买到、能买对。

零售的本质不会变化，智能货柜只是一个新型交易行为的媒介。商家的需求永远是卖的更多赚的更多，用户的需求永远是买到性价比高的商品。

基于该前提，如何保证货柜实际运营中稳定性，对关键数据指标进行建模，继而监测货柜整体和单体运营情况，以及考虑梳理因算法识别限制、各种现实异常场景的对应的解决方案，去确保用户购物体验，是需要PM负责重点关注不断去做方案优化的，是也是本篇文章的重点，笔者最近的很多精力也是花在了该部分。

5.1 构建货柜运营稳定性指标

从算法模型的维度上评估识别识别模型的稳定性，我们关注准确率、召回率、IOU、平均检测精度等指标。

在智能货柜购物场景下，用户一般会有明确的购物目标，效率和确定性对于用户十分重要。所以从实际运营的维度上评估运营稳定性，最主要关注用户平均购物时长和订单准确率。其中购物时长与用户体验成负相关，订单准确率与用户体验成正相关。用户购物体验好才会有复购率，实现货柜布局的规模效应。

购物时长等于用户开门到订单完成扣费的时间，通常是5s~20s。用户关门后成功扣费的时间越长，证明用户的等待和不确定的感受时间越长，体验也就越差。影响时间主要的因素通常是图片上传速度和识别服务速度，前者通过服务逻辑优化提升，后者通过迭代模型和采用更优算法解决。

现实还会出现因网络波动图像上传失败或者识别服务不顺畅的情况，这个时候就要有温馨的交互提示用户可以先离开购物场景，等待订单正确扣费。PM需要持续关注用户平均购物时长，获取数据支持，检测整体购物体验稳定性，永远以用户为中心。

订单准确率是衡量一次购物健康程度的核心指标。订单的准确率对销售客单价、用户复购率等核心购买指标都有极大的影响。不过因拍摄环境影响、模型迭代、算法受限种种原因，对订单商品的识别很难达到100%的准确率。但致力达到99。9%应该是所有智能货柜公司的目标。

提高订单准确率的方向有先处理和后处理：

先处理定义为可以在识别发生前实现的优化，如对提高数据源质量、数量;对模型升级和分组;更换更优算法等等；
后处理定义为在识别发生后实现的优化。如通过像素对比、距离对比、IOU过滤等后纠正算法优化，或将订单划进异常订单池，用更优但更慢的模型处理甚至是人工处理等等。

5.2 常见识别异常场景介绍

稳定的图像识别模型能支持90%以上情况，但是因为智能货柜的单点运营性质，货柜摆放的场景是十分任意的，售卖商品的范围也很广泛。这决定了图像识别需适应各种各样的识别环境，如艳阳高照的户外、灯光昏暗的楼道。

同时识别模型自身稳定性原因，在某个时间点开始趋向不稳定。这种时候就会出现识别异常情况。以笔者的经验来说，目前识别异常在实际运营中是不可避免的，AI技术还没有达到能提供100%完美准确率的能力。

识别异常场景通常有漏识别商品、识别多余商品、识别错误商品。

（1）漏识别场景

该种情况是商品存在于货柜中，但是却没有被识别模型定位分类到。通常是因为数据集样本缺失导致模型训练不足欠拟合或者因摄像头起雾、阳光直射等拍摄环境问题，导致图片质量差。

（2）识别多余商品场景

该种情况是商品并没有存在于货柜中，但是被识别模型定位分类到。识别出多余商品，相对于漏识别场景，通常是因为训练数据集样本质量差或者模型训练过拟合，或者某一些商品瓶身反光，包装复杂导致的。

（3）识别错误场景

该种情况是商品存在于货柜中，但是被识别模型定位分类为错误商品分类。频发在模型存在两个以上外形相近的商品。单个模型商品label越多，即便同个模型在训练测试时得出的指标无太大差异，但因为有大量的相近商品交错，可能实际运稳定性差异很大，SKU数量与运营稳定性非线性关系(至少在一般没有对模型优化的情况下)。

若在识别异常发生的时候有顾客购物，会出现几种异常情况：

顾客刚好买了漏识别的商品，则不会产生订单，商家需承受货损；
顾客买了商品，但是识别错误，导致扣错顾客的钱(可能扣多可能扣少)；
顾客没有购物，但是因为漏识别或者识别错误系统认为顾客购买了商品，导致扣多顾客的钱；
因为识别异常场景交错，对于用户感知来说购物流程正常，没有发生以上漏扣、扣多、扣错的情况。

识别异常情况多了以后对于货柜运营商家来说承受的货损和运营成本就会增加，商家就会怀疑技术能力甚至撤离该货柜；也会造成顾客认为机器经常乱扣钱，导致其不会回归购物场景。

一定要折衷的话，前期会偏向“宁愿扣款错误，后续退款给用户，也不让商家承受损失”，毕竟用户只要在一定时间内能及时退款，感知上问题不大。但是商家(特别是小商家)对货损十分敏感。识别异常无法100%解决，但是可以从通过物理方案把识别环境的变量降到最低、增加训练数量集、减少模型复杂度、使用后处理算法等方案优化减少。

六、复盘总结

智能货柜产品基本介绍完毕，该段主要分为智能货柜产品发展方向、AIPM的工作内容、AI产品设计思考，是笔者近一年以来的简单复盘总结。

6.1 智能货柜产品发展方向

基于视频动态识别技术的智能货柜。本篇文章介绍的是以静态图片识别技术为主的智能货柜，基于动态识别，智能货柜产品的生态运营和影响范围又会拓展。相应的成本和技术难度也进一步增加，但笔者认为是必经之路，有需求则会有供给，技术的限制只会给人一次又一次打破，这是历史不变的进程；
利用AI技术提供更多的货柜终端体验方案。如人脸识别，商品推荐，用户画像，精细化运营；
用户前端购买方案成熟和规模放大后，反向引导供应链变革，企业重构基于数字化的智能采购、库存管理供应链系统；
更多的传统互联网C端黑客增长运营方案，提高零售购物流程趣味性。如通过GPS定位，衍生户外社交玩法，达到传播裂变的效果。

6.2 AIPM工作内容与流程

该部分主要复盘笔者作为AIPM的工作内容，希望能给其他PM一个认识。

智能货柜项目分为技术定型、试运营、稳定迭代三个阶段。在不同阶段，PM的工作流程和所需关键能力都不同。以AI算法流程“输入-训练-输出”为思考基础，每个阶段的工作流程也各自分为三步曲。

（1）技术定型阶段：

该阶段的理解标准是公司还没有成型产品，但通过与客户的洽谈对接考察，已确定具体的业务需求。PM需要重点与需求客户多次反复沟通，思考清楚业务场景，构建购物(场)空间形成与闭环。随后与开发一起选用适合的技术以及算法，开始投入资源研发。

为什么存在技术选型流程：

在前期不是所有场景的实现的唯一途径都需要AI解决；
若不是BAT级别，一个新项目的启动的成本评估十分重要，涉及到AI资源的开发成本更需要可控

在技术定型阶段，PM关键能力是业务对接能力和技术理解能力，业务指对接客户，场景分析，商业计划，技术指前后端，数据库，cv/nlp算法和对应解决方案等。时间分配上50%在对接业务，50%在对接技术。

（2）试运营阶段：

产品雏形上线后，可在可控制的范围内进行产品试运营。

以视觉识别智能货柜为例：第一版运用静态识别技术货柜研发完成后，在客户公司布点供内部员工体验。经过一定的试运营时间不断的优化产品的技术和体验，解决常见BUG。待产品稳定后，客户签订更大合同，开始扩大运营范围并对外开始商业运营。

这个时候，可能会出现因技术选型失误或者技术的识别难关导致研发周期不可控的风险，所以在试运营阶段，PM关键能力是项目管理能力和需求分析能力，对研发周期的可控和客户提需求的过滤分析特别重要，同时也需要能帮助算法同事解决技术和业务的冲突，如决策放弃某些需求场景，协调增加算法资源，参与算法重选等。时间分配上60%处理项目和需求，40%跟进和深入技术迭代。

（3）稳定迭代阶段：

关于如何将项目视为进入稳定迭代阶段，我们可以从两个方面去看：