昆明微信网站建设,网络推广方法技巧,网站文字很少怎么做优化,微信公众号服务号网站开发流程图工作需要#xff0c;涉及到一些聚类算法相关的知识。工作中需要综合考虑数据量、算法效果、性能之间的平衡#xff0c;所以开启新的篇章——机器学习聚类算法篇。 传统机器学习中聚类算法主要分为以下几类#xff1a;
1. 层次聚类算法 层次聚类算法是一种无监督学习算法涉及到一些聚类算法相关的知识。工作中需要综合考虑数据量、算法效果、性能之间的平衡所以开启新的篇章——机器学习聚类算法篇。 传统机器学习中聚类算法主要分为以下几类
1. 层次聚类算法 层次聚类算法是一种无监督学习算法按照样本 or 簇之间的相似性对数据进行递归式划分将数据样本从独立的点 逐步合并 成类簇最终生成一颗树形结构。主要分为自上而下、自下而上 和以BIRCH算法为代表的分层、平衡迭代 三种方法。
1.1 凝聚层次聚类自下而上 递归 的聚类方法 算法初始化将每个样本都作为单独的簇然后将相邻的簇、自下而上逐渐合并成更大的簇直到生成需要的簇数。 该类算法需要计算两个簇之间距离的度量通常使用欧式距离或者根据业务或数据类型自定义度量方法。
1.2 分裂层次聚类自上而下 递归 的聚类方法 算法自上而下递归地对样本整体进行聚类将所有样本归于一个簇然后依次对簇进行分裂直到每个簇只包含一个样本。
1.3 BIRCH算法 一种用于大规模数据聚类的层次聚类算法。该算法利用了B树结构来进行聚类并使用了CF树Clustering Feature Tree来存储聚类中心信息。 补充1.1和1.2两种算法都涉及簇之间的相似度 / 距离的计算or度量这是层次聚类算法设计的核心。在计算簇之间的距离度量时可以使用最短距离、最长距离、簇平均距离、重心距离、Wards方差最小化等每种距离度量方法都有其适用的数据类型和应用场景更细致可以根据业务和数据特征定制相似度 / 距离的计算方式。
2. 划分聚类算法 划分聚类算法通过迭代聚类中心达到类内间距小、类间间距大或者说 簇内点足够近簇间点足够远的目标最终算法将数据集划分为多个不相交的簇每个数据点只属于一个簇。 常用的方法包括K-means、K-medoids、K-means、二分K-means、C-means、
X-means、CLARANS和 CLARA等。
3. 密度聚类算法 基于密度的聚类算法是从密度的角度考虑样本之间的关系。该类算法通过计算数据样本分布的疏密情况从密度的角度考虑样本之间的关系并利用样本的密度和密度可达性来判断是否属于某个簇最终将高密度区域的点划分到同一个簇。这种方式可以处理具有复杂形状的簇和有噪声数据。 常用的算法包括DBSCANDensity-Based Spatial Clustering of Applications with Noise、OPTICSOrdering Points To Identify the Clustering Structure、DENCLUEDENsity-based CLUstEring等。 最近博主有复现 应用到实际业务中的密度聚类算法是密度峰值聚类DPC —— science《Clustering by fast search and find of density peaks》效果还不错
4. 基于网格的聚类算法 基于网格的聚类算法利用多分辨率的网络结构将数据空间划分为一个个的网格单元并将数据点映射到相应的单元中来进行聚类和类簇的划分。 该类算法简单、高效、适用于高维数据和大规模数据集。但是缺点是参数敏感、无法处理不规则分布的数据、处理精度也不高 代表算法有STING 算法、CLIQUE算法结合网格和密度的聚类算法、WAVE-CLUSTER 算法引入了小波变换不同的算法主要区别是采用了不同的网格划分方法核心步骤如下 a. 将数据空间划分为多个互不重叠的网格 b. 对每个网格内的数据进行统计找到高密度网格单元 c. 将相连的高密度网格单元进行合并合并为一个簇 d. 将低密度网格单元划分给距离最近的高密度网格单元并认定为一个粗
5. 模型聚类算法 该类算法主要包括基于概率的模型聚类和基于神经网络的模型聚类。这类算法利用统计模型来描述数据的分布并根据模型判断数据点是否属于同一个簇是否具有相同 / 相似的分布。 5.1 基于模型的聚类算法 为每个未知的簇假设一个模型然后寻找数据和模型的最佳拟合最后根据模型判断出的不同簇的分布结果进行聚类。例如基于概率的模型聚类算法采用概率生成的方法假定在同一个簇中的数据有相同的概率分布。最常用的是高斯混合模型Gaussian Mixture Models, GMM。 5.2 基于神经网络的聚类算法 主要利用神经网络的特点和能力进行数据聚类通常将结果映射为数据所属类簇的概率问题。常见的模型有自组织映射Self-Organizing MapsSOM、总体相似度神经网络Growing Neural GasGNG、流形学习聚类Manifold Learning-based Clustering、深度聚类Deep Clustering。 基于神经网络的聚类算法具有灵活性和强大的建模能力能够捕捉数据的复杂结构和非线性关系。然而它们通常需要更多的数据量、更多的计算资源和训练时间并且对参数设置和网络结构的选择较为敏感。相对的该类算法处理效率一般不高特别是数据量很少时聚类效果较差
