【推荐系统技术论坛】9月6日下午,AI ProCon 《推荐系统技术论坛》开始,在出品人朱小强的主持下,论坛顺利开场。作为开场演讲嘉宾,阿里妈妈深度学习平台负责人朱小强带来了题为《工业级深度学习2.0:算力+算法+系统架构的co-design理念与实践》的演讲。
朱小强说道,互联网技术发展到今天,个性化非常重要,如何充分洞察用户的兴趣、习惯提供更好的个性化体验,是需要融入血液的事情。推荐系统本身其实是一个信息配置的问题,如何能够把合适的物品推荐给合适的用户。当商品数量量级已经达到人无法计算的程度,我们需要用数据和算法解决这个问题。这是推荐系统遵循的基本范式。
计算力基础之上,整个推荐系统有三个因素联动,第一个是系统架构,支撑整个系统跑起来的硬核。在系统架构基础之上是大家容易忽视,但事实上是今天技术背后比较关键的一个问题,即整个数据链路,拥有一个好的数据体系,就成功了一半;第三是如何构建算法体系。这三个因素构建在一起才是计算力。没有系统架构,算法跑不出来,有系统和算法没有数据也搞不定。
推荐技术的发展大概经历了两个大的阶段,第一个阶段从2010年到2015年左右,我将之定义为成浅层机器学习时代。在推荐系统发展的初期,协同滤波CF算法是早期非常棒的技术,它本质上是近邻模型的查找过程,算法做的事是关于近邻KNN,通过IocaI方式,洒下一些种子,并通过协同滤波把这些种子关联起来等事情。
这种状况在2016年到2017年开始进入了称之为工业级深度学习时代之后,推荐系统技术发生了翻天覆地的变化。整个匹配召回的体系有了革命性的变化,原来基于CF的体系一定把用户圈在历史点击行为,在附近做探索的小范围内,但现在我们可以把用户、Global KNN做对接、量化和快速查找,找到用户所需要的物品,这意味着我们第一次真正具备了全空间的检索。