HanLP-实词分词器详解

adnb34g

在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了NotionalTokenizer分词器。

在HanLPJava版代码库中可以查看下边的文件中的函数

1、AbstractDataSet.java文件中的AbstractDataSet方法

2、HanLPTokenizer.java文件中的segment方法

3、NotionalTokenizer.java文件中的segment方法

简单说明一下NotionalTokenizer类实现

1、初始化了一个维特比分词器实例（最短路径方法，用viterbi思想实现）

2、用CoreStopWordDictionary类的shouldInclude方法对维特比分词结果进行过滤，该方法只保留属于名词、动词、副词、形容词并且不在停用词表中的词。详见CoreStopWordDictionary.java文件中的shouldInclude(Term)方法。

对于PyHanLP的调用方法可以参考

# # -*- coding:utf-8 -*-

# Author：wancong

# Date: 2018-04-30

from pyhanlp import *

def demo_notional_tokenizer():

    """ 演示自动去除停用词、自动断句的分词器

    >>> demo_notional_tokenizer()

    [小区/n, 居民/n, 反对/v, 喂养/v, 流浪猫/nz, 居民/n, 赞成/v, 喂养/v, 小宝贝/nz]

    [小区/n, 居民/n, 反对/v, 喂养/v, 流浪猫/nz]

    [居民/n, 赞成/v, 喂养/v, 小宝贝/nz]

    """

    Term =JClass("com.hankcs.hanlp.seg.common.Term")

    NotionalTokenizer = JClass("com.hankcs.hanlp.tokenizer.NotionalTokenizer")

    text = "小区居民有的反对喂养流浪猫，而有的居民却赞成喂养这些小宝贝"

    print(NotionalTokenizer.segment(text))

    for sentence in NotionalTokenizer.seg2sentence(text):

        print(sentence)

if __name__ == "__main__":

    import doctest

doctest.testmod(verbose=True)