(19)国家知识产权局

(12)发明专利申请

(10)申请公布号

(43)申请公布日

[]

(21)申请号2.2

(22)申请日2022.05.05

申请人为无锡八英里电子科技有限公司，其所在地位于江苏省无锡市滨湖区华庄街道华运路9号1号厂房3层

(72)发明人王晓辉丁佳单洪伟

专利代理机构为无锡市汇诚永信专利代理事务所，系普通合伙企业，代理师为曹慧萍，执业证号为32260

(51)IntCl

/16(2022.01)

/06(2012.01)

/02(2012.01)

G06F3/01(2006.01)

权利要求书2页说明书7页附图5页

14

(54)发明名称

商品导购方法、装置、云服务器及存储介质

(57)摘要

本申请揭露了一种商品引导方法、设备、服务器及存储载体,属于物联网技术范畴,该方法适用于商品引导系统中的引导终端,具体包括,当第一摄像头探测到人脸影像时,识别该影像所对应的人体站立方位,根据人体站立方位明确货架目标位置内的商品内容与特征,向云端服务器递交检索指令,当收到云端服务器依据检索指令提供的商品引导资料时,在显示屏上呈现目标位置内商品的引导内容。本发明能够识别顾客浏览商品时的动作,自动获取相关物品的详细信息,再由云端系统提供推荐内容,最终在屏幕上呈现给用户,方便顾客查看。这种引导方式比扫码查询更加快捷,也更为智能,同时无需人工服务人员,让购物过程焕然一新。

CN

权利要求书1/2页

一种商品推荐方式,其特点在于,这种方式适用于商品推荐系统中的推荐设备,该商品推荐系统包含推荐设备和云端服务器,该推荐设备设有显示屏和至少两个监控镜头,这种方式包含,

收到首个监控探头捕捉到的人物影像后,识别出该影像所代表的人体直立状态,具体来说,所获信息明确该人体与商品陈列架的相对方位,而陈列架的不同方位上摆放着种类各异的商品

根据人站立时的具体地点,找出货架上特定位置的商品详情及特性数据,同时向云端平台发出检索请求,该特定位置的商品详情由另一个监控设备进行观察和辨认,商品详情涵盖该位置内的物品名称和/或物品编号,特性数据包含物品的分类特征

接收到云服务器按照查询指令发送的商品推荐数据后，会在屏幕上展示目标位置的商品介绍内容，这些内容包括商品的宣传短片和优惠活动详情。

依据第一项权利要求所述的技术方案,其特别之处在于,通过分析人体站立时产生的位置数据,能够识别货架特定区域内的商品详情及其属性,同时向云端平台发出检索请求,具体包含以下内容,

基于人体站立的所述位置信息确定对应在货架上的所述目标区域,

利用第二个镜头捕捉目标范围内商品的影像，随后辨认出相关物品的详细信息以及其特征数据，

根据物品的详细信息及特征参数制定检索指令，随后将指令传输到指定的云端平台，以便该平台能够取得目标地点内商品的推荐信息。

根据权利要求1所述的方法,其特征在于,该导购终端设有至少一个货架,每个货架配备有第一摄像头、第二摄像头和显示器,这些设备均有编号标识,用于上传指令并接收导购数据

所述确定人脸图像对应人体站立的位置信息后,所述方法还包括,

根据提供的人脸照片,生成相应的身份标记,并存入临时的用户资料库,这个资料库里记录着在特定时段内用户的身份标记。

根据权利要求3所述的方法,其特点在于,当在屏幕上呈现目标位置内商品的介绍资料后,该方法还涉及,

当所述第二摄像头察觉到所述目标区域中的目标商品出现位置变化时,需要在显示屏上展示该目标商品的产品详情,或者,

当指定区域内的传感器探测到目标物品下方重力读数突破预设标准后,系统会在屏幕上呈现该物品的相关资料,这些资料涵盖物品的标价、构成材料、营养构成或优惠活动中的至少一项内容

选定的目标商品与人脸标记，关联后存入临时的用户数据记录里。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括,

当那个第二镜头发现物品所在位置发生变动时,需要提取这个第一镜头通过分析顾客面部影像得到的人脸辨认信息,以及被挑选物品的名称资料和规格详情,或者,

由于传感器装置探测到物品重量发生变动,接着提取第一个摄像装置依据顾客面部影像完成的身份识别信息,同时取得用户挑选的物品的产品资料及其属性资料

如果面部识别确认身份相符,系统会参照选定商品的特性,从临时用户档案里找出属性相似的其它商品,并调取这些商品的相关资料

权利要求书2/2页

通过分析选出的具有共同特征的商品,制作出比较资料,然后在屏幕上呈现,这些比较资料至少包含两种属于同一类型的商品的信息和优惠活动详情,目的是方便顾客进行挑选。

依据权利要求1到5中的任意一项所述方式,其特点在于,当顾客利用屏幕挑选预定物品时,会把这个预定物品的物品资料传送到云端计算机,云端计算机依据人脸识别信息制作购物列表

当屏幕依据面部识别呈现商品信息时,由云端系统取得并展示采购列表,让顾客能够检视待购物品和应付费用。

依据第六项权利要求所述的操作流程,其特点在于,每当顾客借助屏幕设备选定待购商品之际,该流程还包含以下步骤,

把预购商品的信息资料传送到指定的云端平台，让该平台能根据产品资料挑选并推送相关商品，这些商品与预购商品在资料内容或特征方面存在关联性

接收云服务器传递的导购意见,并展示至少一件推荐商品的信息,以及该商品的具体陈列地点。

8.一种商品导购终端,其特征在于,所述终端包括,

检测装置,当首个摄像设备捕捉到人物面部影像时,会识别该影像所代表的人体直立状况,此状况下,会明确顾客与商品陈列架之间的空间方位,陈列架上的不同方位摆放着各类商品

选定该模块，它根据人体站立的位置数据，识别货架目标部分内的物品详情和特征，同时向云端平台发出检索指令，目标区域的物品详情由另一台监控设备负责探测和辨认，物品详情涵盖目标部分内的物品名称和/或物品编号，特征信息则包含物品的种类类别数据

该部件针对云服务器根据查询要求发送的商品推荐内容作出反应,在屏幕上展示指定区域商品的介绍资料,这些资料涵盖商品的宣传影片和优惠详情。

9. 这款云服务器具备处理器和存储单元,存储单元里存放有若干条指令、部分程序、代码组或指令组,这些指令、程序、代码组或指令组由处理器读取并运行,用以达成权利要求1到7中任一项所述的商品引导流程。

有一种存储设备,能够记录多条指令,或者一段程序,或者代码组,或者指令组,这些内容被处理器读取并运行,用来完成权利要求1到7中的任何一种商品推荐流程。

说明书1/7页

商品导购方法、装置、云服务器及存储介质

技术领域

这项申请属于物联网技术范畴,具体涉及一种商场购物时的商品推荐方式、设备、网络平台以及数据存储载体。

背景技术

智能商品助手适用于自助购物场所，顾客选定物品后，扫描其码制标识，即可在终端获取产品说明，从而无需人工服务。

现有方案里,在货架上安装扫码装置或RFID感应设备,客户把目标物品放到指定扫码区域,扫描物品标识码完成确认,扫码装置识别物品后,会与后台系统建立联系,借助屏幕向顾客提供智能推荐服务。

客户经常需要反复扫描商品条码,同时还要查看不同商品的详细信息,这种操作流程非常复杂,不够便捷,也使得使用过程不太顺畅。

发明内容

本申请介绍了一种商品推荐方式、设备、网络服务器以及数据存储载体,旨在处理当前商品推荐说明不够详尽、不够智能和用户感受不佳的情况。

这边提出一种商品推荐流程，该流程适用于商品推荐系统里的推荐设备，该商品推荐系统包含推荐设备和云端服务器，该推荐设备设有显示屏和两个以上的监控镜头，该流程包含，

响应于第一摄像头监测到人脸图像,确定所述人脸图像对应人体站立的位置信息,其中,所述位置信息表示顾客相对于商品货架的位置区域,货架的不同位置区域放置有不同商品,

根据人站立的位置数据,明确货架特定位置上的物品资料以及其特征,同时向云端平台发出检索请求,该特定位置上的物品资料由另一个监控设备进行观测和辨认,物品资料涵盖该位置内的物品标签和/或物品识别码,特征信息包含物品的种类类别资料

响应于接收到所述云服务器基于所述查询指令下发的商品导购数据,在显示器上显示所述目标区域内商品的导购信息,所述导购信息包括商品的广告推广视频和促销信息。

另一方面,本申请提供了一种商品导购终端,所述终端包括,

检测模块,用于响应于第一摄像头监测到人脸图像,确定所述人脸图像对应人体站立的位置信息,其中,所述位置信息表示顾客相对于商品货架的位置区域,货架的不同位置区域放置有不同商品,

选定该模块，它根据人体站立的位置数据，识别货架指定位置上的物品详情和特征，并将查询要求传输给云端系统，该货架特定位置上的物品详情由另一个监控设备进行观察和辨认，物品详情包含该位置内的物品名称和/或物品代码，特征信息涵盖

4CN A

说 明 书 2/7页

商品属性类别信息,

显示模块,用于响应于接收到所述云服务器基于所述查询指令下发的商品导购数据,在显示器上显示所述目标区域内商品的导购信息,所述导购信息包括商品的广告推广视频和促销信息。

此外,这项申请展示了一种云端计算设备,该设备配备中央处理单元和记忆装置,记忆装置里记录了若干条指令、一个程序模块、程序代码或指令模块,这些指令、程序模块、程序代码或指令模块由中央处理单元读取并运行,从而达到前面提到的商品推荐流程。

另一方面,本申请涉及一种计算机可读存储载体,该载体上记录有若干条指令、某个程序、代码组合或指令组合,这些指令、程序、代码组合或指令组合被处理器载入并运行,用以达成前述方面所述的商品引导流程。

另外,开发出一种软件产品或软件,该软件产品或软件包含计算机代码,这些计算机代码记录在计算机可用存储载体上。计算机系统的控制器从计算机可用存储载体获取这些计算机代码,控制器运行这些计算机代码,促使该计算机系统实现前述方面所述的商品推荐流程。

这项技术方案带来的好处至少涵盖,本发明提出的商品推荐方式在顾客查看商品时,能依据摄像头捕捉到的人脸影像,明确人体在导购设备目标位置内的商品详情和特性,然后通过向网络服务器发出查询信息,并获取网络端反馈的关于目标位置商品的产品推荐信息。与以往顾客需自行将商品拿到设备处扫码的方式不同,这种导购手段更加便捷且具备智能化特点,同时取代了传统导购人员的工作,为人们提供了全新的感受。

附图说明

图1是本申请实施例提供的商品导购系统的结构示意图,

图2是本申请本申请实施例提供的导购方法的流程图,

图3是本申请另一实施例提供的导购方法的流程图,

图四展示了本申请实例所呈现的客户在销售机器上实施挑选的操作画面,

图5是本申请另一实施例提供的导购方法的流程图,

图6是本申请另一实施例提供的导购方法的流程图,

图7示出了本申请一个实施例提供的商品导购终端的结构框图。

具体实施方式

为了让本申请的目标、技术构思和长处更加明晰,接下来会参照相关附图,对本申请的具体实施情形进行更深层次的阐释。

本文所指的“多个”包含两个或两个以上的数量。 “和/或”用来表达关联对象之间的关系,可以体现三种可能情形,比如,A和/或B,既可指仅存在A,又可指同时存在A与B,还可以指仅存在B。其中字符“/”通常表示前后关联对象间为“或”的关联。

本申请实例公开一种用于商品推荐系统推荐终端的商品推荐方案,该商品推荐系统含推荐终端和云端服务器,推荐终端设有显示屏和两个以上的监控镜头,分别用于

5CN A

说 明 书 3/7页

商品检验与人脸识别,销售终端能够是具备自动补货,语音提示且能与云端云平台联网的智能货架。另外,这套系统能够由多个销售终端组合构成,并与云平台相连,云平台里存放有商品引导资料,例如视频宣传片、货品的详细信息、定价资料、特性资料、优惠资讯、营养成分及科学解读等资讯。能够储存经监控录像人脸辨识得来的顾客资料，以及商品的相关信息等。

该商品导购系统的一种构造方案如图1所示,导购终端100设置于商场之中,终端上设有预先放置的各类待售物品。导购终端通过控制主板连接监控摄像头300,该摄像头由商品监控摄像头与人像监控摄像头构成,两者分别用于采集人物信息和商品信息。导购终端一百与云服务器二百借助物联网实时联络，并且，为了便于挑选，导购终端一百的控制核心还连接了显示屏，该屏幕用于展示导购资讯以及其他相关内容。

图2展示了本申请实施例中的一种导购方法流程，该方法适用于图1所描绘的导购终端，具体包含以下环节，

当首个监控设备捕捉到人物面部影像时，系统会识别出该影像所代表的人体直立时的具体方位，并记录下来。

第一个镜头专门用于识别面部,它被安装在导购设备的顶端,持续进行人脸辨认,通过分析探测到的人脸方位来明确站立者的具体位置,由于导购设备的体量较大,顾客挑选物品时所处的地点各不相同,他们正对的商品也会随之变化,该镜头在捕捉到面部特征后,必须判定其具体位于哪个货架区域,以便于后续准确识别。

步骤二百零二，依据站立者所处方位，识别货架特定位置上的物品详情及其特征，然后向云端平台发出检索要求。

第一个镜头识别出站立者方位之后,能够依据这个方位锁定销售设备的相关位置,接着第二个镜头便可以探明该货架指定范围内商品的详细信息以及相关资料。第二个镜头主要用于观察货架上的商品,能够依据标识或商品影像在网络上辨识目标位置的商品资料和特征资料,商品资料涵盖目标位置的商品称号和/或商品编号,特征资料涵盖商品类别资料。譬如炸薯片的特征资料属于膨化食品,洗发水的特征资料属于生活用品等。接下来,导购设备依据探测到的物品资料和特征数据,构造检索命令,并将其递送至云端平台。

商品的相关资料和特性数据,既能够保存在销售终端设备上实现本地验证,也能够借助网络平台执行云端校验。

当系统收到云端根据查询要求发送的商品推荐资料后，会在屏幕上展示指定位置的商品介绍内容。

销售终端发出查询要求，云平台依据收到的查询要求，在资料库中搜寻对应的宣传广告、影像资料以及优惠资讯等，比如展示目标市场内商品代言人的广告商品导购，该商品属性为生活用品的，其产品功效和运用方式等细节，又比如商品促销减价，呈现“新鲜食材今日半价”等讯息。将商品介绍信息发送至销售助手使用的电子屏幕,让顾客能够查看商品详情,从而做出购买决定。

总结而言,本发明提出的商品推荐方式在顾客查看商品时,能依据监控设备获取的人脸影像,明确个体与展示设备目标位置内商品的对应详情及规格,接着向网络平台发出检索请求,并获取网络平台反馈的该目标位置内商品的推荐信息

6CN A

说 明 书 4/7页

信息。不同于以往顾客需亲自取货后到设备处扫描以完成取物的流程,这种引导方式更为便捷且具备先进性,它不再需要人工导购人员介入,为使用者创造了全新的感受。

图3展示了本申请中另一方案所呈现的导购流程,具体包含以下环节,

当第一个监控设备捕捉到人物面部影像时，系统识别出该影像所代表的人体直立状态的空间坐标数据。

根据人体站立时的位置数据,识别出货架上相应的目标位置,以此作为操作依据。

销售终端普遍设有多个层级的货架,而且这些货架的横向跨度比较大,所以当第一个监控设备识别到人物面部影像时,必须明确人的具体方位。在某些具体操作方案里,能够借助具有深度感知功能的设备获取图像,通过图像信息来推算出个体与货架的实际间隔和站立地点。此外,还可以参照人的身体姿态以及面部朝向,推算出面部视角,从而判断顾客正在注视的特定货架以及目标位置等。

参照图4,呈现了消费者在销售机器上挑选货品的画面。各个货架部分存放的物件具备各自的规格参数。图中左侧与右侧两个部分分别代表区域A和区域B,区域A的物件具备规格A,区域B的物件具备规格B,各个部分会展示不同的销售信息。顾客进入B区域后,系统由第一摄像头410定位其所在位置,并与导购终端400的目标区域进行对应,接着由第二摄像头420识别该区域商品的详细信息及特征。要指出的是,这种做法要求事先按照物品特征把集装箱放置好,某个指定空间内或许会有具备相同特征的不同物件,比如洗头水和护发素都算作生活用品,却属于不同的商品种类。

步骤303，利用第二个镜头捕捉目标范围内物品的影像商品导购，然后分辨出该物品的详细资料以及其特性数据。

销售终端在获取到第一个摄像头的监测数据后,能够判定顾客站立的具体方位,然后借助第二个摄像头的功能,对目标范围内的商品实施辨认。识别方式包括,分析商品旁边的标识和条形码,又或者解析商品本身的影像,从而明确商品的详细资料和规格参数。

实施第四阶段，依据物品资料和特征资料制定检索指令，传送至云端平台，以便云端平台能获取指定区域商品的推荐信息。

当收到云服务器根据查询要求发送的商品推荐资料时，会在屏幕上展示指定位置的商品介绍内容。

销售终端收到商品介绍信息后,借助置放于货架最高处的显示屏410,循环播放配套影像资料,顾客能够自行观看,无需取用商品或请求工作人员提供帮助。

该场景展示顾客进入首个监控视频的识别范围,在顾客未实施任何取用行为时的画面,目标范围若分布有多种商品,比如B处陈列的是日常清洁用品,还涉及洗发液、护发乳、啫喱水等,同类商品存在不同尺寸和容量,例如大容量与小容量,其对应价位自然存在差异,这就要求依据顾客的取用动作进行深入分析,并给出购买建议。

另外,由于销售顾问能够将类似商品进行对比说明,帮助顾客做出挑选,因此需要针对每位顾客的取用行为,对商品资料开展对比研究并呈现,以便全面满足顾客的各种要求,这一环节就必须对顾客的身份和取用行为进行更深入的了解。

图五展示本申请另一实施方式给出的导购流程,作用于图一和图四中的销售终端,具体包含以下环节,

当第一个监控设备捕捉到人物肖像时，识别出该肖像所代表的人体直立的状态，并明确其站立的具体方位，

7CN A

说 明 书 5/7页

信息。

该步骤参考步骤201,此处不再重复赘述。

建立对应的人脸标识，依据人脸图像，然后存储在临时用户数据库里，这个临时用户数据库里存放着在规定时间内用户的人脸标识。

一旦首个监控设备捕捉到人物影像,就要依照客人的面部信息制作成客户档案,在后续环节里实施物品匹配运算和费用清算等。身份验证能够选用通用的智能视觉识别方案,提取专属的面部特征码,把此编码保存在临时的客户资料库里面。这个资料库能够设置在云端平台上,也可能安放在销售助手设备自带的分组服务器里临时用户数据储存器记录了商场内一定时间内被辨认的每位顾客的面部影像信息,也就是所有顾客的面部特征码。

接下来的流程和先前提到的案例里步骤三十号到步骤三零五号一样,是当客户没有进行取货动作时,屏幕上展示商品介绍信息的情况。

当第二个监控设备探测到区域内的物品移动时,会在屏幕上展示该物品的详细信息,包括产品属性和相关说明。

第二摄像头安装在导购终端的上部位置，持续观察货架上的各类物品，一旦发现顾客取用动作，便识别该物品为特定对象，随后从云端平台或本地系统提取该特定对象的相关资料。

当目标区域内目标商品下方的传感器设备探测到重力变化超出预设标准后,系统会在显示屏上展示该商品的相关资料,包括产品详情。

除步骤503外,还可以在商品货架的底部安装重力传感器。当顾客在指定地点进行取货动作时,该地点内目标物品下方的重力感应装置检测到重力数值超出标准,此时导购设备依据感应装置的识别码查询到目标物品的详细信息,随后在屏幕上展示具体的产品资料,这些资料涵盖但不限于物品的标价、规格参数、原料构成、营养含量以及优惠售价等。必须指出,物品资料不同于货物资料,物品资料是用于展现某个特定货物的具体规格参数,而货物资料是用于分辨和确认各种不同货物的一种符号。当顾客挑选某个期望货物时,服务终端会与云端系统联络,获取该货物(或期望货物)所对应的物品资料。

另外,为了提升销售终端的操作精准度,能够综合运用第二监控设备与重力感应装置的检测信息来做出判断。在某些其他方案中,还可以在商品陈列架的前沿板(贴附标价签的部位)背面配置位移检测装置,该装置能够测量商品同板面的间隔,一旦发生取用动作,该间隔就会产生变动,由此实施判定并发出提示。

将选定的目标物品与人脸标记，关联起来存入临时的用户资料库。

一旦顾客取走商品并展示出来,售货终端就会把这件商品和顾客的面部特征信息关联起来,存入临时的客户资料库,作为过往购买情况的档案,这样有利于将来顾客再次购买时进行筛选对比。

当第二个监控设备发现物品位置发生变动时,系统会提取第一个监控设备根据顾客面部影像分析得到的人脸识别数据,同时获取被选中的物品的详细资料和特性数据。

顾客选完一件商品再去选另一件时,第二个镜头会再次识别新选中商品的相关资料和特性细节。同时,售货机器要利用第一个镜头拍下顾客面部,同临时客户档案里的人脸记号进行核对。

当传感器装置察觉到物品重量发生改变时，系统会提取由第一摄像装置根据使用者面部影像生成的身份确认信息，同时会取得目标物品的详细资料及其特性数据。

8CN A

说 明 书 6/7页

除了步骤506，也能借助重力感应装置来探测物品重量的变动，进而明确所购商品的详细信息与规格参数。另外，还运用即时用户档案来核对当前捕获的面部影像。

可以借助步骤506跟507一起核实,也可以利用挡板背面的位移装置来判定,这与步骤504的操作方式相仿,细节无需多言。

步骤五十零八，若人脸识别结果相符，则依据所选定商品的特性数据，从过渡性客户资料库中找出具备类似特征的其他商品，并调取其产品资料。

发现相同时的人脸特征后,可知云端系统里存有该顾客的购买历史,然后依据再次取货的物品特征,对购买历史加以过滤,找出其他具备相似属性的物品,并获取这些物品的详细信息。购物历史包含A品牌洗发水, B品牌洗发水, C品牌护发素, 以及手表, 而当前顾客挑选的是D品牌洗发水, 因此需要依据物品属性, 从A品牌洗发水, B品牌洗发水, C品牌护发素中提取对比信息, 这些信息包括配方构成, 产品价格, 以及包装规格大小等细节数据。

第509步，依据先前获取的具备共同特征的商品，制作比较资料，随后在屏幕上呈现。

数据对比囊括了该顾客过往购买记录里具备相同特征商品的各项价格资料、优惠活动详情以及成分或营养构成等,便于顾客借助辅助屏幕完成商品比较和选择。

但需顾及顾客操作便捷性与隐私保护,可将屏幕置于导购设备中间或下方,或者增设具备触控能力的辅助显示屏140。如图4所示,该辅助显示屏140安放在导购设备100侧面,利于顾客进行触摸交互与商品选择。

总而言之,本方案中,通过辨认顾客的面容,形成相应的人脸标记,并保存在临时的客户资料库里。当顾客再次购买时,能够依据人脸标记从云端服务器的临时客户资料库里找到过往的购买信息,筛选出具备相同特征的商品,然后发送到导购设备上供其展示。这个流程无需顾客亲自干预,系统会自动根据顾客的举动产生参照信息,与需要导购协助或人工将商品拿到设备旁扫码的传统方式相比,这种挑选方法更加便捷且富有智慧,让购物者享受到一种前所未有的交易感受。

除了前面提到的销售方法,为了帮助顾客挑选物品并做出明智的购买决定,当顾客选定某个预购产品后,就把它放到待购列表里。在顾客挑选商品的过程中,立刻把待购列表显示在旁边的辅助屏幕上,让顾客方便随时核对已选商品,从而做出更合理的消费选择。详细情况如图6所示。