Top1方案源码和数据，腾讯广告受众基础属性预估-技术圈

向AI转型的程序员都关注了这个号👇👇👇

人工智能大数据与深度学习公众号：datayx

比赛将为参赛者提供一组用户在长度为 91 天(3 个月)的时间窗口内的广告点击历史记录作为训练数据集。每条记录中包含了日期 (从 1 到 91)、用户信息 (年龄，性别)，被点击的广告的信息(素材 id、广告 id、产品 id、产品类目 id、广告主 id、广告主行业 id 等)，以及该用户当天点击该广告的次数。测试数据集将会是另一组用户的广告点击历史记录。提供给参赛者的测试数据集中不会包含这些用户的年龄和性别信息。本赛题要求参赛者预测测试数据集中出现的用户的年龄和性别。

1. 环境配置

Pytorch
Linux Ubuntu 16.04, 256G内存，4*p100
pip install transformers==2.8.0 pandas gensim scikit-learn filelock gdown

代码获取方式：

分享本文到朋友圈

关注微信公众号 datayx 然后回复广告即可获取。

AI项目体验地址 https://loveai.tech

凡在本淘宝店：紫荷包饰 内购买任何一款包包

承诺赠送以下全套学习视频资料

目标检测/文本检测系列算法讲解课程(13课时)
机器学习系列算法理论讲解课程(20课时)
深度神经网络算法(38课时)
知识图谱(11课时)

店铺地址：

https://shop585613237.taobao.com

↓

2. 模型介绍

3. 低配置资源建议

1)内存不足或者只是想简单跑下完整代码，请只使用初赛数据:

去掉src/prepocess.py的8, 15, 22行

2)如果显存不足，请下载10中的bert-small模型，并调整batch size

4. 运行完整过程

可运行以下脚本，运行整个过程并生成结果。或按照3-7节的说明依次运行。

bash run.sh

5. 数据下载

通过该网站下载数据集到data目录，或运行下面的命令进行下载

gdown https://drive.google.com/uc?id=15onAobxlim_uRUNWSMQuK6VxDsmGTtp4
unzip data.zip 
rm data.zip

6. 数据预处理

合并所有文件，并分为点击记录文件(click.pkl)，用户文件(train_user.pkl/test_user.pkl)

python src/preprocess.py

7. 特征提取

python src/extract_features.py

8. 预训练 Word2Vector 与 BERT

这里提供两种方式获得预训练权重: 重新预训练或下载预训练好的权重

注: Word2Vector和BERT权重必须一致，即要么全部重新预训练，要么全部下载

1) 预训练Word2Vector

预训练word2vector

python src/w2v.py

或下载预训练好的W2V

gdown https://drive.google.com/uc?id=1SUpukAeXR5Ymyf3wH3SRNdQ3Hl2HazQa
unzip w2v.zip 
cp w2v/* data/
rm -r w2v*

2) 预训练BERT

预训练BERT (如果GPU是v100，可以安装apex并在参数上加--fp16进行加速)

10. 不同规模的预训练模型

由于此次比赛融合了不同规模大小的预训练模型，在此也提供不同规模的预训练模型:

BERT-small, BERT-base, BERT-large, BERT-xl

其中bert-base效果最好

#bert-small
gdown https://drive.google.com/uc?id=1bDneO-YhBs5dx-9qC-WrBf3jUc_QCIYn
#bert-base
gdown https://drive.google.com/uc?id=1ToAJwl_oRAeRNyYF_FK0B2APVXlPFTlq
#bert-large
gdown https://drive.google.com/uc?id=1yQeh3O6E_98srPqTVwAnVbr1v-X0A7R-
#bert-xl
gdown https://drive.google.com/uc?id=1jViHtyljOJxxeOBmxn9tOZg_hmWOj0L2