THUOCL(THU Open Chinese Lexicon)是由清华大学自然语言处理与社会人文计算实验室整理推出的一套高质量的中文词库,词表来自主流网站的社会标签、搜索热词、输入法词库等。THUOCL具有以下特点:
包含词频统计信息DF值(Document Frequency),方便用户个性化选择使用。
词库经过多轮人工筛选,保证词库收录的准确性。
开放更新,将不断更新现有词表,并推出更多类别词表。欢迎专业人士加入,协作建设开放词库,有意者请致信thunlp@gmail.com。
该词库可以用于中文自动分词,提升中文分词效果。建议搭配本组研制开发的THULAC工具包使用,提升特定领域中文分词的效果。
词库每一行由两部分组成,分别是词和DF值(存在此单词的文档个数),中间由Tab间隔。
词频统计语料库:
如果您在THUOCL基础上发表论文或取得科研成果,请您在发表论文和申报成果时声明“使用了清华大学开放中文词库”,并按如下格式引用:
中文: 韩世依, 张钰晖, 马云山, 涂存超, 郭志芃, 刘知远, 孙茂松. THUOCL:清华大学开放中文词库. 2016.
英文: Shiyi Han, Yuhui Zhang, Yunshan Ma, Cunchao Tu, Zhipeng Guo, Zhiyuan Liu, Maosong Sun. THUOCL: Tsinghua Open Chinese Lexicon. 2016.
贡献者: Shiyi Han (韩世依,北京航空航天大学本科生), Yuhui Zhang(张钰晖,清华大学本科生), Yunshan Ma(马云山), Cunchao Tu(涂存超,清华大学博士生), Zhipeng Guo(郭志芃,清华大学本科生).
指导老师: Zhiyuan Liu(刘知远,清华大学助理教授), Maosong Sun(孙茂松,清华大学教授).