建网站要买服务器吗,建设实业公司网站设计模板,兰州做网站,网站建设技术分为哪些方向跟着迪哥学Python数据分析与机器学习实战 一、基础部分二、信用卡欺诈检测实战 —— 监督学习2.1 下采样与过采样2.1.1 过采样数据生成策略SMOTE 2.2 逻辑回归2.3 分类结果混淆矩阵2.4 过采样实战2.5 实战总结2.6 版本依赖排错 三、知识加油站#xffe5;银行卡的分类 一、基础… 跟着迪哥学Python数据分析与机器学习实战 一、基础部分二、信用卡欺诈检测实战 —— 监督学习2.1 下采样与过采样2.1.1 过采样数据生成策略SMOTE 2.2 逻辑回归2.3 分类结果混淆矩阵2.4 过采样实战2.5 实战总结2.6 版本依赖排错 三、知识加油站银行卡的分类 一、基础部分
//PASS遇到有不会的再写直接上手实战
二、信用卡欺诈检测实战 —— 监督学习
背景 信用卡欺诈是指故意使用伪造、作废的信用卡冒用他人的信用卡骗取财物或用本人信用卡进行恶意透支的行为见《信用卡欺诈》 - 百度百科那么有信用卡欺诈有没有储蓄卡欺诈呢有的比如储蓄卡被他人冒领。
2.1 下采样与过采样
这个项目里的样本数据异常样本非常少这时正常样本和异常样本的比例是不平衡的正常数据多不是件好事吗从采集的角度上看是的但从模型建立角度上看不是因为这样会导致模型认为数据都很好就无法因对异常情况那么只要让正常和异常数据的比例接近即可方法是下采样和过采样。 (1) 下采样。让正常样本变少一些可以变得和异常样本数量一样多。 (2) 过采样。造一些异常样本让异常样本变多一些这个造的方法是SMOTE数据生成策略。
2.1.1 过采样数据生成策略SMOTE
SMOTE Synthetic Minority Over-sampling Technique即合成少数类过采样技术少数类指的是样本数量较少的类别且合成的数据不能是一模一样的这个过程用到了KNN聚类算法计算每个少数类样本的K近邻在这个实战项目里就是异常类此算法过程如下 (1)对于每一个少数类样本计算其与所有其他少数类样本之间的距离并找到其K个最近邻居这个K被称作采样倍率K越大挑选的邻居越多。 (2)从这K个最近邻居中随机选择一个样本并计算该样本与当前样本的差异。 (3)根据差异比例生成一个新的合成样本该样本位于两个样本之间的连线上。合成新样本的计算公式是 x x x是自身样本数据 x ~ \tilde{x} x~是邻居的样本数据 x n e w x r a n d ( 0 , 1 ) ∗ ( x ~ − x ) x_{new} x rand(0,1)*(\tilde{x} - x) xnewxrand(0,1)∗(x~−x) 写成下面的形式也是一样的随着比例在0到1之间浮动新生成的数据也在 x ~ \tilde{x} x~ 与 x x x 之间浮动。 x n e w x ~ r a n d ( 0 , 1 ) ∗ ( x − x ~ ) x_{new} \tilde{x} rand(0,1)*(x - \tilde{x}) xnewx~rand(0,1)∗(x−x~) 我觉得下面这种形式应该看起来更舒服 x n e w a x b x ~ , ( a b 1 , a 0 , b 0 ) x_{new} ax b\tilde{x}, \quad (ab1, a 0, b 0) xnewaxbx~,(ab1,a0,b0)
(4)重复上述步骤生成指定数量的合成样本。
《解决样本不均衡问题SMOTE过采样详解 - FAL金科应用研究院的文章 - 知乎》
2.2 逻辑回归 Logistic Regression (aka logit, MaxEnt) classifier.逻辑回归又称为logit最大熵分类器 关键代码部分
# 指定算法模型并且给定参数
lr LogisticRegression(C c_param, penalty l1, solverliblinear)
# 训练模型注意索引不要给错了训练的时候一定传入的是训练集所以X和Y的索引都是0
lr.fit(x_train_data.iloc[indices[0],:],y_train_data.iloc[indices[0],:].values.ravel())第一行代码新建了一个分类器lr。 (1) C_param。惩罚力度在sklearn包中这个值越小代表惩罚力度越大值越大惩罚力度越小源代码的文档里是这么解释这个参数的C: Inverse of regularization strength正则化强度的反比。 (2) penalty l1。代表正则化惩罚项是 J J 0 α ∑ w ∣ w ∣ J J_0 \alpha \sum\limits_{w}{|w|} JJ0αw∑∣w∣。 (3) solverliblinear。源代码文档里的描述是Solver: Algorithm to use in the optimization problem即solver是一种使用在优化问题里的算法短期内我不追求看懂什么是liblinearliblinear论文是08年发的所以教科书是肯定绝对没提过这些东西的我只想知道liblinear究竟是用来做什么的Scikit-learn solvers explained 这篇文章对solver的这些算法做了解释我完全没有看懂简要总结了两种
solver含义讲解或参考论文newton-cgcg conjugate gradient 牛顿-共轭梯度法【数值分析6(3共轭梯度法)苏州大学】liblinear大型线性分类库。liblinear是一个用于解决线性分类和线性回归问题的开源软件库。它通过使用支持向量机SVM等算法来执行二元分类、多元分类和回归任务。liblinear支持L1和L2正则化并能够处理高维特征。它被广泛应用于文本分类、生物信息学、图像分类和人脸识别等领域。—— 大模型的回答LIBLINEAR: A Library for Large Linear Classification.pdfLIBSVM - WikipediaLIBLINEAR算法解读想看懂重点读liblinear使用总结
继续看第二行有了这个分类器lr后开始对训练集进行fit拟合操作y_train_data.iloc[indices[0],:].values.ravel()的意思是将 Pandas DataFrame 转换为 NumPy 数组并展平
df pd.DataFrame({num_legs: [2, 4, 4, 6],num_wings: [2, 0, 0, 0]})
print(example1:\n,df.iloc[df.index, :]) # better than two methods above.
print(example2:\n,df.iloc[df.index, :].values.ravel()) # better than two methods above.# example1:
# num_legs num_wings
# 0 2 2
# 1 4 0
# 2 4 0
# 3 6 0
# example2:
# [2 2 4 0 4 0 6 0]2.3 分类结果混淆矩阵
代码调用部分sklearn.metrics.confusion_matrix
# sklearn.metrics.confusion_matrix(真实标签值,预测标签值)
cnf_matrix confusion_matrix(y_test_undersample,y_pred_undersample)真实情况 \ 预测结果正例反例–正例PositiveTP(真正例)FN(假正例)此行可定义查全率 R T P T P F N R \frac{TP}{TPFN} RTPFNTP反例NegativeFP(假反例)TN(真反例)––此列可定义查准率 P T P T P F P P\frac{TP}{TPFP} PTPFPTP––
查准率真实值里有多少是预测对的所以真实值做分母这个指标更关注你预测的准不准如果你是三体人的巫师你可以少说话追求查准率否则就要被脱水了。 查全率预测值里有多少是确实真的所以预测值做分母这个指标更关注你找到的多不多如果你是地球人的医生那请你多查房追求查全率否则病人就要蔫了。
看看下面这个例子假设一个人积极揽活并且干活身兼销售和技术双职位销售拿下或拿不下项目技术完成或完不成项目但假设一个人的精力和客户关系都有限那么要么项目拿下的多成功的少要么拿下的少成功的多这样收益也反而均衡一鸣惊人和积少成多都有的不多拿下一个大项目和拿下多个小项目可以认为是等价的。
人员风格 \ 项目目标大项目Big小项目Small–一鸣惊人TB(完成·大)FS(失败·小)此行可定义项目拿下率 P T B T B F S P\frac{TB}{TBFS} PTBFSTB积小成多FB(失败·大)TS(完成·小)同上可定义项目拿下率–此列可定义大项目成功率 R T B T B F B R \frac{TB}{TBFB} RTBFBTB同左可定义小项目成功率–
这里的拿下率就可以类比为上面的查全率关注的是项目拿下的多不多 这里的成功率就可以类比为上面的查准率关注的是项目完成的多不多
下面我们来做一个对现实职场的探讨我觉得大可以将这类情况往人际交往、情场、官场和其它地方延伸去做一个验证看下是不是在中国的社会环境里适用国外也可以拿去套一套。 “好员工”是做的多 又做的好这类员工可能会拿一些回扣但领导对其带来的收益还是满意的所以睁一只眼闭一只眼。 “清员工”是做的少所以做的好在有些领导看来虽然做的事情少但每件事都狠抓落实并且到位有成效所以印象颇为不错。 “差员工”是做的多所以难免犯错这类员工虽然做的事情很多也有很多事情有成效但做的事多难免也踩的雷多犯下的错多虽然给公司带来了很多收益也造成了不小的损失时间一长就容易给领导留下不好的印象这种人在某些情况下容易被边缘化甚至是开除。 “平员工”是做的少却也会犯点小错但在领导的印象里这种人往往可能还要比上面那类“差员工”还要印象好些毕竟犯错不多也犯不了大错带来的损失不大但要是论提拔却也谈不上毕竟做的事不多。
2.4 过采样实战
代码运行结果表示下采样导致了许多样本被误杀这种宁肯错杀一千不肯放过一个的态度在保卫人民财产的行动中固然值得尊敬但给整个系统的负担太过繁重并且在实际操作中会浪费人力物力关注到实际没有问题的卡上导致真正应该被重点关注的异常信用卡记录可能没有及时被注意到从而加剧了信用卡诈骗现象。上面已经提到了SMOTE生成数据的原理下面是实操。
调用imblearn工具包使用SMOTE算法没装可以用pip install imblearn安装下关键代码含义
# 使用SMOTE算法来进行生成负例样本random_state是随机数种子作用是控制每次随机生成的结果一致
oversamplerSMOTE(random_state0)
# 将特征数据和标签传入得到oversample_features,oversample_labels
os_features,os_labelsoversampler.fit_resample(features_train,labels_train)imblearn.over_sampling.SMOTE
2.5 实战总结
下采样和过采样实战部分到此结束了机器学习问题的处理过程我们的妈妈才是大师。 (1) 分析问题检查数据。今天想吃什么菜挑菜选菜 (2) 清洗数据数据预处理。洗菜切菜 (3) 选择建模方法进行建模。蒸炸煎煮焖溜熬炖炒下锅 (4) 调参。油盐酱醋放多少 (5) 分析建模效果。今天味道怎么样吃的好不好吃的饱不饱
2.6 版本依赖排错
本项目的所有版本依赖错误的解决方法都在这《机器学习 信用卡欺诈检测 程序迭代错误》
三、
知识加油站
银行卡的分类 #mermaid-svg-kyp2w6IhoGH3cK8m {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m .error-icon{fill:#552222;}#mermaid-svg-kyp2w6IhoGH3cK8m .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-kyp2w6IhoGH3cK8m .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-kyp2w6IhoGH3cK8m .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-kyp2w6IhoGH3cK8m .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-kyp2w6IhoGH3cK8m .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-kyp2w6IhoGH3cK8m .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-kyp2w6IhoGH3cK8m .marker{fill:#333333;stroke:#333333;}#mermaid-svg-kyp2w6IhoGH3cK8m .marker.cross{stroke:#333333;}#mermaid-svg-kyp2w6IhoGH3cK8m svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-kyp2w6IhoGH3cK8m .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m .cluster-label text{fill:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m .cluster-label span{color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m .label text,#mermaid-svg-kyp2w6IhoGH3cK8m span{fill:#333;color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m .node rect,#mermaid-svg-kyp2w6IhoGH3cK8m .node circle,#mermaid-svg-kyp2w6IhoGH3cK8m .node ellipse,#mermaid-svg-kyp2w6IhoGH3cK8m .node polygon,#mermaid-svg-kyp2w6IhoGH3cK8m .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-kyp2w6IhoGH3cK8m .node .label{text-align:center;}#mermaid-svg-kyp2w6IhoGH3cK8m .node.clickable{cursor:pointer;}#mermaid-svg-kyp2w6IhoGH3cK8m .arrowheadPath{fill:#333333;}#mermaid-svg-kyp2w6IhoGH3cK8m .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-kyp2w6IhoGH3cK8m .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-kyp2w6IhoGH3cK8m .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-kyp2w6IhoGH3cK8m .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-kyp2w6IhoGH3cK8m .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-kyp2w6IhoGH3cK8m .cluster text{fill:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m .cluster span{color:#333;}#mermaid-svg-kyp2w6IhoGH3cK8m div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-kyp2w6IhoGH3cK8m :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 银行卡 借记卡(不可透支) 信用卡(可透支) 储值卡无储蓄功能金额固定用完需再次充值常用来送礼 转账卡转账、存取现金和消费) 专用卡专门用途、特定区域 中国人民银行已经规定商业银行发行全国使用的联名卡、IC卡、储值卡需要得到中国人民银行总行的审批见 《银行卡业务管理办法》 —— 中国人民银行 《银行卡种类》—— 西宁中心支行 【不是我针对谁但在座的各位都不会用银行卡】—— bilibili 《预付卡、购物卡、储值卡有什么区别卡券冷知识》
