Copyright © DAZHI All rights reserved 蜀ICP备11016366号-1 网站建设: 中企动力- 成都二分

咨询热线:028-86718889

>
>
>
最全中文文本分类模型库,上手即用,附链接

企业动态

公司要闻
行业动态
客户资讯
最新活动

最全中文文本分类模型库,上手即用,附链接

分类:
行业动态
作者:
来源:
2020/02/11 15:06
浏览量
大数据文摘 达智咨询 2019-10-21

本文转载自:大数据文摘(ID:BigDataDigest)

 

如何选择合适的模型上手进行中文文本分类呢?

 

别慌,福利来了,GitHub上一位名为“huwenxing”(胡文星)的用户上传了一个项目,里面包含了7个基于Pytorch的文本分类模型,并提供了一个样本数据集,这对新手党来说,简直不要太方便!

 

GitHub链接:

https://github.com/649453932/Chinese-Text-Classification-Pytorch

 

项目中,作者对7个模型都进行了训练和测试,最终得出了一个效果的对比列表,可以让大家更快的使用各种模型来搭建baseline,也能很快的对各个模型在该任务上的表现有大概了解,之后决定用哪个模型。

 

数据集

 

作者从THUCNews中抽取了20万条新闻标题,文本长度在20到30之间。一共10个类别,每类2万条。类别是:财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。

 

其中,作者用了18万条作为训练集,一万作为验证集,一万作为测试集。

 

预训练词向量下载:

https://pan.baidu.com/s/14k-9jsspp43ZhMxqPmsWMQ

 

而如果要替换自己的数据集的话:

  • 如果用字,按照我数据集的格式来格式化你的数据。
  • 如果用词,提前分好词,词之间用空格隔开,python run.py --model TextCNN --word True
  • 使用预训练词向量:utils.py的main函数可以提取词表对应的预训练词向量。

 

 

模型效果

 

作者主要测试了TextCNN,TextRNN,FastText,TextRCNN,BiLSTM_Attention, DPCNN, Transformer,这七个文本分类模型。

 

得出的结果如下:

 

  
这七个模型都放在了项目的“models”文件夹中:

 

 

直接按以下代码调用即可:

 

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
	# 训练并测试:# TextCNNpython run.py --model TextCNN
# TextRNNpython run.py --model TextRNN
# TextRNN_Attpython run.py --model TextRNN_Att
# TextRCNNpython run.py --model TextRCNN
# FastText, embedding层是随机初始化的python run.py --model FastText --embedding random
# DPCNNpython run.py --model DPCNN
# Transformerpython run.py --model Transformer

如此方便的模型库在此,还不赶紧上手试试?

 

达智数据(集团)是注册成立在成都锦江区,位于天府广场仁和大厦12F-13F,深耕数据信息产业20年,专注数据采集、商业分析和商业应用,帮助客户实现数据落地变现,解决战略、投资、定位、客户、产品、营销等商业决策问题。是CMRA和CAMIR资深副会长单位。是全国青年川商联席会常务副会长单位,是四川省大数据发展研究会常务副会长单位。2016年挂牌新三板(股票代码 835806)。

 
在线客服
客服热线
028-86718889
客服组:
在线客服
QQ:
服务时间:
9:00 - 18:00