#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author: yudengwu(余登武）
# @Date  : 2020/9/10
#@email:1344732766@qq.com

import jieba

sentence="《乘风破浪的姐姐》现在已经播出到了第2期节目，在初舞台之后，现在大家都对姐姐们的实力是有所了解的了。"
c=jieba.cut(sentence)
print(c)
d=[i for i in c]
print(d)

jieba.cut(sentence,cut_all=True)

c=jieba.cut_for_search(sentence)

import jieba

sentence="《乘风破浪的姐姐》现在已经播出到了第2期节目，在初舞台之后，现在大家都对姐姐们的实力是有所了解的了。"
c=jieba.lcut(sentence)
print(c)

import jieba
jieba.add_word('乘风破浪的姐姐',freq = 20000, tag = None)
sentence="《乘风破浪的姐姐》现在已经播出到了第2期节目，在初舞台之后，现在大家都对姐姐们的实力是有所了解的了。"
c=jieba.lcut(sentence)
print(c)

import jieba
sentence="《乘风破浪的姐姐》现在已经播出到了第2期节目，在初舞台之后，现在大家都对姐姐们的实力是有所了解的了。"
words = jieba.lcut(sentence)     # 使用精确模式对文本进行分词
counts = {}     # 通过键值对的形式存储词语及其出现的次数
for word in words:
    if len(word) == 1:    # 单个词语不计算在内
        continue
    else:
        counts[word] = counts.get(word, 0) + 1    # 遍历所有词语，每出现一次其对应的值加 1
items = list(counts.items())
print(items)
items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序

for i in range(3):
    word, count = items[i]
    print("{0}:{1}".format(word, count))

import jieba
sentence="《乘风破浪的姐姐》现在已经播出到了第2期节目，在初舞台之后，现在大家都对姐姐们的实力是有所了解的了。"
words = jieba.lcut(sentence)     # 使用精确模式对文本进行分词
from sklearn.feature_extraction.text import CountVectorizer
cv = CountVectorizer()#创建词袋数据结构
cv_fit=cv.fit_transform(words)
#上述代码等价于下面两行
#cv.fit(texts)
#cv_fit=cv.transform(texts)
print(cv.get_feature_names())    #列表形式呈现文章生成的词典
#['之后', '乘风破浪', '了解', '大家', '姐姐', '实力', '已经', '播出', '有所', '现在', '舞台', '节目']
print(cv.vocabulary_	)#{词：词频}
#{'乘风破浪': 1, '姐姐': 4, '现在': 9, '已经': 6, '播出': 7, '节目': 11, '舞台': 10, '之后': 0, '大家': 3, '实力': 5, '有所': 8, '了解': 2}

import jieba, pandas as pd, os
jieba_dict = os.path.dirname(jieba.__file__) + '/dict.txt'
df_jieba = pd.read_table(jieba_dict, sep=' ', header=None)[[2, 0]]
dt = {k: set() for k in df_jieba[2].values}
for f, w in df_jieba.values:dt[f].add(w)
ls_of_ls = [(f, len(w), ' '.join(list(w)[:50])) for f, w in dt.items()]
pd.DataFrame(ls_of_ls, columns=['词性', '数量', '例子.']).sort_values('词性').to_csv('flag.csv', index=None)

import jieba.posseg as pseg
words =pseg.cut("我爱北京天安门,我希望我以后的儿子能去清华大学读书")
for w in words:
    print(w.word,w.flag)

import jieba.posseg as pseg
words =pseg.cut("我爱北京天安门,我希望我以后的儿子能去清华大学读书")

c=[w.word for w in words if w.flag=='nt']
print(c)