大数据人|大数据第一社区

 找回密码
 注册会员

扫一扫,访问微社区

查看: 590|回复: 0

Hanlp1.7版本的新增功能一览

[复制链接]
  • TA的每日心情

    2018-9-28 11:05
  • 签到天数: 1 天

    [LV.1]初来乍到

    109

    主题

    109

    帖子

    570

    积分

    高级会员

    Rank: 4

    积分
    570
    发表于 2019-3-22 09:51:05 | 显示全部楼层 |阅读模式

    Hanlp1.7版本在去年下半年的时候就随大快的DKH1.6版本同时发布了,截至目前1.7大版本也更新到了1.7.1了。本篇分别就1.7.0和1.7.1中新增的功能做一个简单的汇总介绍。
    DKH发布图.jpg
    HanLP 是由一系列模型与算法组成的 Java 工具包,目标是普及自然语言处理在生产环境中的应用。HanLP 具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 在提供丰富功能的同时,HanLP 内部模块坚持低耦合、模型坚持惰性加载、服务坚持静态提供、词典坚持明文发布,使用非常方便,同时自带一些语料处理工具,帮助用户训练自己的模型。
    1.7.0更新如下:
    新增文本聚类模块(k-means和repeated bisection)
    词法分析器新增流水线模式
    词法分析器加入规则 enableRuleBasedSegment #991
    支持通过 JVM 的启动参数指定 data 路径:java -DHANLP_ROOT=/opt/hanlp 则加载/opt/hanlp/data #983
    分词断句支持指定断句颗粒 #1018
    CustomDictionary.insert("新词语", "词性标签") 支持省略频次
    NeuralNetworkDependencyParser 构造函数接受 Segment
    TextRankKeyword 支持构造自任意分词器
    优化双数组 trie 树,构建后自动 shrink 到最低内存 #984
    修订简繁词典
    微调 ngram 和 nr 模型
    新数据包 data-for-1.7.0.zip MD5 = 4c396f3039230ddfcef20865264512b1
    Portable 版同步升级到 v1.7.0
    HanLP v1.7.1 更新内容:
    新增可自定义用户词典的维特比分词器 @AnyListen
    利用 BufferedOutputStream 加速缓存生成,快37倍
    自定义词典兼容含有空格的路径,fix #1025
    增加 isCustomNature 方法
    使热更新产生的缓存文件包含用户词性,fix #1028
    修复可变 DAT 的 entrySet 方法,fix #1038
    微调 ngram,简繁等
    新数据包 data-for-1.7.1.zip MD5 = 9b8faa7fc7fddb24e27da27bd404126d
    Portable 版同步升级到 v1.7.1

    困啊,想睡觉的呢
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册会员

    本版积分规则

    关闭

    站长推荐上一条 /2 下一条


    id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

    QQ|广告服务|关于我们|Archiver|手机版|小黑屋|大数据人 ( 鄂ICP备14012176号-2  

    GMT+8, 2024-3-29 01:25 , Processed in 0.270012 second(s), 33 queries .

    Powered by 小雄! X3.2

    © 2014-2020 bigdataer Inc.

    快速回复 返回顶部 返回列表