深圳网站设计三把火,找人做app网站吗,做家电网站,江门网站建设易搜互联一、文本分类基础
定义#xff1a;将文本文档或句子分类到预定义类别#xff0c;包括单标签多类别#xff08;如新闻分娱乐/体育#xff09;和多标签多类别#xff08;如文档同时属“相机”“芯片”类#xff09;。基准公开数据集 | Dataset | Type | Labels | Size (tr…一、文本分类基础
定义将文本文档或句子分类到预定义类别包括单标签多类别如新闻分娱乐/体育和多标签多类别如文档同时属“相机”“芯片”类。基准公开数据集 | Dataset | Type | Labels | Size (train/test) | Avg. length | |---------|------|--------|------------------|-------------| | SST | 情感 | 5/2 | 8.5k/1.1k | 19 | | IMDb Review | 情感 | 2 | 25k/25k | 271 | | AG’s News | 主题 | 4 | 120k/7.6k | 44 |
二、文本表示方法
向量空间模型VSM
将文本视为特征项集合特征项可为字、词、短语文本表示为 ( t 1 , w 1 ; t 2 , w 2 ; … ; t n , w n ) (t_1,w_1;t_2,w_2;\dots;t_n,w_n) (t1,w1;t2,w2;…;tn,wn)。其中 t n t_n tn 表示特征项例如一个词 w n w_n wn表示该特征项对应的权重。
权重的表示
词袋模型特征项为词。出现则对应权重为1否则为0词频TF w i l o g ( t f i 1 ) w_ilog(tf_i1) wilog(tfi1) 其中 t f i 词 t i 在文档 d 中的出现次数 tf_i 词 t_i 在文档 d 中的出现次数 tfi词ti在文档d中的出现次数逆文档频率IDF i d f i l o g ( N / d f i ) idf_ilog(N/df_i) idfilog(N/dfi)其中 d f i 语料库中包含词 t i 的文档总数 df_i 语料库中包含词 t_i 的文档总数 dfi语料库中包含词ti的文档总数TF-IDF t f − i d f i t f i ⋅ i d f i tf-idf_itf_i\cdot idf_i tf−idfitfi⋅idfi
三、特征选择技术
筛选特征留下有用的影响大的特征
文档频率DF统计含特征的文档数低频特征可能被过滤如教育类文档中“计算机”出现5/7篇。互信息MI衡量特征与类别的依赖程度 M I ( t i , c j ) l o g P ( t i , c j ) P ( t i ) P ( c j ) MI(t_i,c_j)log\frac{P(t_i,c_j)}{P(t_i)P(c_j)} MI(ti,cj)logP(ti)P(cj)P(ti,cj)。信息增益IG计算特征带来的信息增量 I G ( t i ) H ( C ) − H ( C ∣ T i ) IG(t_i)H(C)-H(C|T_i) IG(ti)H(C)−H(C∣Ti)如“计算机”的IG为0.1308。
四、分类算法
朴素贝叶斯生成式模型 假设特征独立 P ( X ∣ c j ) ≈ ∏ k 1 n P ( w k ∣ c j ) P(X|c_j)\approx\prod_{k1}^nP(w_k|c_j) P(X∣cj)≈∏k1nP(wk∣cj)决策规则 c ∗ a r g m a x j P ( c j ) ∏ i 1 M P ( w i ∣ c j ) N ( w i ) c^*argmax_jP(c_j)\prod_{i1}^MP(w_i|c_j)^{N(w_i)} c∗argmaxjP(cj)∏i1MP(wi∣cj)N(wi)参数估计 P ( c j ) ≈ 1 N ( c j ) C N a l l P(c_j)\approx\frac{1N(c_j)}{CN_{all}} P(cj)≈CNall1N(cj) P ( w i ∣ c j ) ≈ 1 N w i , c j M ∑ i N ( w i , c j ) P(w_i∣c_j)≈ \frac{1Nw_i,c_j}{M\sum_iN(w_i,c_j)} P(wi∣cj)≈M∑iN(wi,cj)1Nwi,cj 其中 C 为类别总数 M 为特征项总数 N C i 为类别总数 N ( w i , c i ) 是 w i 在 c i 类别文档中出现的次数 其中C为类别总数M为特征项总数NC_i为类别总数N(w_i,c_i)是w_i在c_i类别文档中出现的次数 其中C为类别总数M为特征项总数NCi为类别总数N(wi,ci)是wi在ci类别文档中出现的次数 线性判别函数判别式模型 g ( x ) w T x w 0 g(x)w^Txw_0 g(x)wTxw0通过感知器准则、LMS等学习参数。
五、性能评估体系
基础指标 真正例TP、真负例TN、假正例FP、假负例FN 核心指标公式 | 指标 | 公式 | |------|------| | 精确率P | P i T P i T P i F P i P_i\frac{TP_i}{TP_iFP_i} PiTPiFPiTPi | | 召回率R | R i T P i T P i F N i R_i\frac{TP_i}{TP_iFN_i} RiTPiFNiTPi | | F1值 | F 1 2 P R P R F1\frac{2PR}{PR} F1PR2PR |平均指标 宏平均各分类指标的算术平均微平均全局统计TP、FP、FN后计算 评估曲线 P-R曲线调整阈值绘制精确率-召回率关系ROC曲线横轴FPR纵轴TPRAUC越大性能越好 关键问题
文本表示中TF-IDF的核心作用是什么 答案TF-IDF通过词频TF和逆文档频率IDF结合衡量词在文档中的重要性。TF反映词在当前文档的出现频率IDF降低常见词权重提升稀有词权重使模型更关注区分性特征如“计算机”在教育类文档中因IDF高更具代表性。 特征选择中信息增益与互信息的区别是什么 答案信息增益IG衡量特征对分类系统的信息增量考虑特征出现和不出现的情况互信息MI仅衡量特征与类别的相关性不考虑特征不出现时的影响。IG公式为 I G ( t i ) H ( C ) − H ( C ∣ T i ) IG(t_i)H(C)-H(C|T_i) IG(ti)H(C)−H(C∣Ti)MI为 M I ( t i , c j ) l o g P ( t i , c j ) P ( t i ) P ( c j ) MI(t_i,c_j)log\frac{P(t_i,c_j)}{P(t_i)P(c_j)} MI(ti,cj)logP(ti)P(cj)P(ti,cj)IG更全面MI更侧重相关性强度。 朴素贝叶斯分类器的“朴素”假设如何影响分类效果 答案朴素贝叶斯假设特征之间完全独立这在实际文本中不成立如“计算机”和“高校”高度相关。该假设简化计算但可能导致特征间依赖关系被忽略降低分类精度。不过在文本分类中因词袋模型本身忽略词序该假设在多数场景下仍有效尤其当训练数据充足时能通过概率估计弥补假设缺陷。
