NLPIR大数据语义系统助中文处理行业深度应用

ljrj123

　　进入21世纪，面对网络时代信息的爆炸式增长，中文信息处理作为一项基础性、普适特性的信息技术，面临着挑战和再次发展的机遇，在互联网时代则显示出其优势。它的开发利用关系到我国今后信息产业乃至社会经济的发展和安全，具有巨大的经济价值和社会价值。
　　中文信息处理是中文(包括汉语和少数民族语言)语言学和信息技术的融合，它是一门用计算机对汉语(包括口语和书面语)进行转换、传输、存贮、分析等加工的科学。中文信息处理与语言学、计算机科学、心理学、数学、控制论、信息论、声学、自动化技术等多种学科相联系，是自然语言信息处理的一个分支，需要以大量的语言知识、背景知识为依据，对中文信息的人脑处理过程进行模拟。其中，“中文”是指中国通用的所有语言种类，包括汉语及其他少数民族的语言:但一般都是指汉语。“信息”是指能通过视觉、听觉、嗅觉、味觉、触觉等器官或仪器获取，并有一定交际功能的东西，“信息”是不确定性的减少，是负熵。所谓“处理”，是指用计算机对信息进行各种加工，主要的是图像信息和语言信息的识别、模拟、分析、转换和传输。
　　汉语在世界上属于汉藏语系，是一种孤立语。汉语在历史上先后吸收和同化了匈奴、鲜卑、突厥、契丹、满、蒙古、梵语等语言里面的许多成分。其主要特点有：
　　(1) 汉语的独一无二的特色是：完全使用由象形文字演化而来的方块汉字;
　　(2) 词语没有形态标记;  汉语是以字为基本单位，词之间没有明显的标记，词本身也没有明显的形态标志。所以中文信息处理的基础课题和特有的问题就是中文分词，分词本身的也有一定的错误率[2]，这无疑降低了后续处理的实际效果。
　　(3) 结构松散，比如：我上街买菜，看见一个人，穿着一件军大衣，打了卖菜的一巴掌， 脸都肿了。
　　(4) 语法灵活，即缺乏狭义的形态，汉语句子中各个成分之间的关系一靠词序，二靠“意 合”，三靠虚词。
　　(5) 语义灵活，一方面语法的灵活主要来源于语义的灵活;另一方面同一结构可以表达 不同的意思，同一意思可以用不同结构表达。
　　另外.现有的自然语言处理理论和技术大多都是以英语为研究对象语言发展起来的.而汉语无论在语音、文字表示，还是在词汇，语法，语义及其语用等各个层面上都与之存在着很大的差异.这使得无法直接套用西方已成熟的理论和技术，汉语无疑是计算模型比较不发达的语言。这对从事中文信息处理的研究者来说是一个巨大的挑战和压力。
　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。
　　NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。
　　随着信息技术在我国社会生活各个领域应用的深入,中文信息处理正在成为人们工作和生活中不可或缺的手段，中文信息处理将具有更加广阔的市场。这将促使中文信息处理方面的高效中文搜索引擎、实时机器翻译、大规模中文文本处理、跨平台中西文自动识别转换、泛中文语义理解、中文电子商务等技术实现重大突破。中文信息处理已成为我国信息技术研究、发展、应用和产业的基础，在互联网日益成长的今天，中文信息处理技术将会更加成熟并创新。