深度学习在360搜索广告 NLP 任务中的应用

EdgeworthFranklin 发布于2月前
0 条问题

深度学习在360搜索广告 NLP 任务中的应用

分享嘉宾:高凯明 360算法专家

编辑整理: Hoh Xil

内容来源:DataFun AI Talk

出品社区: DataFun

注:欢迎转载,转载请注明出处。

360搜索广告成立于2012年,到今年是第8个年头了。

今天分享的内容分为两部分,第一部分是 搜索广告 和 广告召回 。我会介绍搜索广告的业务逻辑,以及召回模块的逻辑。第二部分是语义相关和深度学习,这部分会介绍语义相关的计算方法以及使用的深度学习模型。

搜索广告 & 广告召回

深度学习在360搜索广告 NLP 任务中的应用

360的搜索广告系统从逻辑上可以划分为三个模块:广告召回、广告排序和广告展示。

  • 广告召回:这个模块决定召回哪些广告,涉及到广告索引和相关性计算;

  • 广告排序:这个模块决定展示哪些广告,涉及到点击率预估和竞价机制;

  • 广告展示:这个模块决定如何展示广告,涉及到广告创意的选择。

深度学习在360搜索广告 NLP 任务中的应用

下面通过一个 Case,来说明360搜索广告系统的业务逻辑:

  • 假设,我们两个电商行业的广告主,都购买了某品牌吸尘器的广告。他们向广告系统提交了关键词,和出价。

  • 召回模块会计算 query 与广告关键词的相关性,根据相关性来决定是否召回这两个广告,结果是两个广告都相关,所以两个广告都召回。

  • 广告排序模块,会计算两个广告的点击率和质量分,并根据竞价机制,来决定他们是否可以展示,以及展示位置。

  • 最后,广告展示模块会根据广告主提供的物料以及展示位置,来选择广告创意。

深度学习在360搜索广告 NLP 任务中的应用

接下来继续应用这个 Case 来说明广告召回模块的召回逻辑:左边是用户搜索的 query,右边是广告主购买的关键词,这里有俩种召回方式,第一种是精确匹配召回,第二种是语义相关召回。

深度学习在360搜索广告 NLP 任务中的应用

精确匹配召回对应的是一个 Match 的逻辑,可以理解成字符串的匹配,当然还有一些规则的匹配,比如这里会做一个切词之后的乱序的重排序,重排序之后如果能匹配上,我们也算是精确召回。

深度学习在360搜索广告 NLP 任务中的应用

语义相关召回 对应的是一个 lookup 的逻辑,这里查找的是一个 query 到 bidwords 的映射表, 这个映射表是由一个离线挖掘的流程提供的。而离线挖掘的流程是一个漏斗的逻辑。漏斗的上方是多种数据挖掘方法,比如随机游走,文本检索,等。这些方法提供 query 到关键词的候选集。漏斗的下方是一个相关性模块,这个模块对候选集进行相关性过滤,把过滤后的数据提供给线上的映射表。

所以处在漏斗下方的相关性模块直接决定了线上数据的质量。

语义相关&深度学习

我们进入第二部分,语义相关和深度学习。

深度学习在360搜索广告 NLP 任务中的应用

早些时候,计算语义相关性的方法,主要是特征工程 + GBDT。特征包括:文本相似度,embedding 相似度,bm25,以及搜索引擎提供的一些特征,等等。特征工程的问题在很难表征语义,所以准确率得不到保证。

深度学习在360搜索广告 NLP 任务中的应用

随着 DeepLearning 技术的发展,nlp 领域的多个任务,相继提出了深层语义模型。

2013年,web search 任务提出了 DSSM 模型,DSSM 对 query 和 doc 独立进行编码,编码层可以选择 FNN,CNN,或者 RNN,输出层用 cosine 和 sigmoid 来计算相关性。DSSM 的特点是 query 和 doc 独立编码,doc 的编码可以离线计算,线上只做 cosine 和 sigmoid 计算。

深度学习在360搜索广告 NLP 任务中的应用

2016年,language inference 提出了 ESIM 模型,ESIM 采用了两层 bidirectional LSTM,中间引入了 soft attention。这个模型广泛应用于智能客服系统。如果大家对智能客服了解的话,大概会知道客服系统一般会构建一个问答库,ESIM 用于计算问题和问题的相关性,然后把语义相同的问题归结到同一个答案上。这个就跟我们的广告词召回非常像了,我们的任务是让语义相同的 query 可以召回相同的广告关键词。

深度学习在360搜索广告 NLP 任务中的应用

2018年,也就去年,我们说,Bert 模型横空出世。Bert 采用了 pre-training 和 fine-tuning 的方式,真正意义上 实现了 NLP 领域的迁移学习。Bert 刷新了11项 NLP 任务的记录,其中就有两项语义相关的任务。

我想大家对 Bert 的评价主要是两种,第一种是,Bert 让我们看到了深层的 Transformer encoder 具有强大的语义表征能力。第二种更实际一点,是 Google 发布的 pretrain 的 model,中文方面就是那个 base 版的 Chinese model。他的意义在于,对于一些小样本的问题,我们用有限的样本,去 fine-tune 这个 model,就可以获得不错的效果。小样本使用大模型,这在之前是做不到的。

1. Models

深度学习在360搜索广告 NLP 任务中的应用

这是我们在实际工作中使用用的三个模型的参数对照。其中,DSSM 和 ESIM 参数数量都在 2M 这个量级。而 BERT 参数总量超过了 100M。之所有这么多的参数,是因为 bert 将 transformer 层累加了12层。而且每个 transformer 层又是一个 12 个 head 的 multi head Attention。

深度学习在360搜索广告 NLP 任务中的应用

我们知道,Google 发布的中文的 model 是12层的 base 版 ,没有发布24层的 large 版。出于一个贪婪的想法,我们在12层上又累加了4层 transformer block,这时候,参数量从 102M 增加到 130M。如果大家有足够的训练数据,可以往上增加层数,如果数据量不够的话,使用原始的12层是足够的。

2. Data

深度学习在360搜索广告 NLP 任务中的应用

关于数据,我们把相关性的大小,定义为0到4的五个分值,相关性依次升高 。这和 bert 刷榜的11个任务中的 Semantic Text Similarity Benchmark  这个任务是一样的。同时,我们把 0分和1分定义为负例,把 2分,3分,和4分定义为正例。

深度学习在360搜索广告 NLP 任务中的应用

我们维护了两个样本集。大样本集有近 11M 样本,主要是通过广告点击日志筛选出来的。通常我们的筛选方式是结合展示,点击,消费数据,然后再加上一个 baseline 的预测值,综合几个维度,按照经验阈值来筛选。这个样本集的特点是样本量大,混淆度也大。我们还有一个小样本集有近15万样本,通过长期的人工标注和运营同学反馈得来的。

深度学习在360搜索广告 NLP 任务中的应用

两个数据集使用的方式:首先用大数据集,来做第一轮的 training  或 fine-tuning;然后,从小数据集中选取4/5来训练第二轮,用剩余的1/5 来做评测。

深度学习在360搜索广告 NLP 任务中的应用

这是我们在一个 Tesla P40 上,训练三个模型的耗时。可以看到, 由于采用了两层 LSTM,ESIM 的耗时是最长的。

3. 性能评测

深度学习在360搜索广告 NLP 任务中的应用

在衡量模型的指标上,我们选择了 AUC。DSSM 和 ESIM 的 auc 是比较接近的,ESIM 表现更好一些。通过分析 badcases,我们看到 DSSM 和 ESIM 还是比较依赖字面相关的,对语义的捕捉不是很好。而 Bert 的 Auc 达到了86%。

深度学习在360搜索广告 NLP 任务中的应用

以前面的模型为基础,我们又尝试了一些特征工程。我们结合了 bert 和 dssm 和其他十几维特征,训练 tree booster,AUC 可以达到 87 %。不过考虑到特征工程的复杂性,我们没有采用这个方案。最终,只采用单独 BERT 去做相关性服务。

4. 离线挖掘

深度学习在360搜索广告 NLP 任务中的应用

这是我们的一个离线挖掘流程:

整个流程是个漏斗的逻辑。首先是用一些离线挖掘的方法,从日志中找到 <query, bidword> pairs,或者用文本检索的方法,获取到候选集。然后通过相关性的预测,再通过 CTR 预测,最后把过滤后的结果发布到线上的 KV 系统。

所以,整个360的广告召回模块就是这样,按照两种召回方式,其中语义相关召回方式会提供一个非常大的空间,这个召回方式采用了一个离线的挖掘流程。然后采用相关性计算、CTR 预估过滤流程来提供映射表。这是今天分享的全部内容,谢谢大家。

深度学习在360搜索广告 NLP 任务中的应用

嘉宾介绍

高凯明,360算法专家。主要研究方向为自然语言处理,信息检索和机器学习。目前从事搜索广告业务中 NLP 相关的算法工作,负责搜索广告 query 改写,相关性计算等。

深度学习在360搜索广告 NLP 任务中的应用

——END——

文章推荐:

阿里零售通智能导购推荐技术实践

网易新闻推荐: 深度学习排序系统及模型

基于行列式点过程的推荐多样性提升算法

关于 DataFun:

DataFun 定位于最实用的数据智能平台,主要形式为线下的深度沙龙、线上的内容整理。希望将工业界专家在各自场景下的实践经验,通过 DataFun 的平台传播和扩散,对即将或已经开始相关尝试的同学有启发和借鉴。

DataFun 的愿景是:为大数据、人工智能从业者和爱好者打造一个分享、交流、学习、成长的平台,让数据科学领域的知识和经验更好的传播和落地产生价值。

DataFun 成立至今,已经成功在全国范围内举办数十场线下技术沙龙,有超过三百位的业内专家参与分享,聚集了数万大数据、算法相关领域从业者。

深度学习在360搜索广告 NLP 任务中的应用

 点下「在看」,给文章盖个戳吧! :point_down:

查看原文: 深度学习在360搜索广告 NLP 任务中的应用

  • blackcat
  • ticklishbird
  • brownrabbit
  • heavywolf
  • crazyswan
  • bigsnake
  • heavyduck
  • yellowsnake
需要 登录 后回复方可回复, 如果你还没有账号你可以 注册 一个帐号。