深圳住房和建设局网站 龙华,wordpress管理员权限获取,滨江做网站,启东 网站开发一、数据挖掘概况
数据挖掘是指从大量的数据中#xff0c;通过统计学、人工智能、机器学习等方法#xff0c;挖掘出未知的、具有价值的信息和知识的过程。
典型案例#xff1a;
啤酒与尿布杜蕾斯与口香糖杜蕾斯与红酒 数据挖掘是一门交叉学科#xff0c;覆盖了统计学、数…一、数据挖掘概况
数据挖掘是指从大量的数据中通过统计学、人工智能、机器学习等方法挖掘出未知的、具有价值的信息和知识的过程。
典型案例
啤酒与尿布杜蕾斯与口香糖杜蕾斯与红酒 数据挖掘是一门交叉学科覆盖了统计学、数据可视化、算法、数据库、机器学习、市场营销以及其他多门学科的知识。 人们普遍认为数据挖掘是一项高大上的工作必须具备高深的分析技能需要精通算法熟悉程序开发但其实最好的数据挖掘工程师往往是那些熟悉和理解业务的人。
数据挖掘和数据分析区别
数据分析和数据挖掘的本质是一致的。
二、数据挖掘需要解决的常见问题 数据挖掘要解决的问题最终都可以转化为四类问题分类、聚类、关联性、预测
分类
得到分类型目标变量Y——属于有监督学习需要使用已知目标分类的历史样本来训练需要对未知分类的样本预测所属的分类
常见的分类方法决策树、贝叶斯、KNN、支持向量机、神经网络、逻辑回归等。 分类可以应用于“用户流失预测”“促销活动响应”、“用户信用评估”等商业问题分析上。
聚类
无分类型目标变量Y——属于无监督学习不是事先给定分类是根据数据特征制定的物以类聚思想 常见的聚类算法划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。 聚类可以应用于“目标市场细分”、“现有客户细分”等商业问题分析上。
关联购物篮分析
无目标变量Y——属于无监督学习基于数据项关联识别频繁发生的模式 常见的关联算法Aprior算法、Carma算法、序列算法。 关联分析可以应用于“哪些商品同时购买几率高”“如何提高商品销售和交叉销售”等商业问题分析上。
预测
数值型目标变量Y——属于有监督学习需有已知目标值的历史样本来训练模型对未知样本预测其目标值 常见的预测方法有简单线性回归分析、多重线性回归分析、时间序列分析等。 预测分析可以用于在“未来气温预测”、“GDP增长预测”、“收入、用户数预测”等商业问题上。
数据挖掘流程
业内经典的数据挖掘流程CRISP-DM数据挖掘方法论。分为六个步骤这六个步骤并不会直线进行经常回到前面的步骤因此该过程是一个循环的探索过程。 1.商业理解
确定商业目标了解商业背景、商业目标和成功标准等。确定挖掘目标数据挖掘目标、数据口径、建模时间窗口和模型成功标准。制定项目方案项目计划、建模工具、算法等
2. 数据理解
数据收集数据描述数据探索绘制图表质量描述摸清数据来源及真实性
3. 数据准备
完成在进行数据挖掘之前的准备工作将数据处理成一张大宽表也就是一维表。
数据导入数据抽取抽取符合条件的变量数据清洗缺失值、异常值、重复值处理等数据合并记录合并、字段合并、字段匹配等处理变量计算字段计算生成新的变量如均值和占比等
4. 模型构建
尝试不同模型将模型调至最佳参数。由于不同模型对数据要求不同在选好模型后可能会跳回数据准备阶段重新处理宽表。
准备模型的训练集和验证集选择使用建模技术建立模型模型对比
5. 模型评估
技术层面评估设置对造组进行比较设置评估指标命中率、覆盖率、提升度等。业务经验业务专家评估
6. 模型部署
根据模型挖掘的结果协助业务开展定期优化模型。
营销过程跟踪记录观察模型衰退变化以定期优化模型引入新的特征优化模型模型写成程序固化到平台
