网站建设价格标准信息,焦作网站制作,网站备案的程序,鄂尔多斯建设招投标网站【人工智能概论】 用Python实现数据的归一化 文章目录 【人工智能概论】 用Python实现数据的归一化一. 数据归一化处理的意义二. 常见的归一化方法2.1 最大最小标准化#xff08;Min-Max Normalization#xff09;2.2 z-score 标准化 三. 用sklearn实现归一化 一. 数据归一化…【人工智能概论】 用Python实现数据的归一化 文章目录 【人工智能概论】 用Python实现数据的归一化一. 数据归一化处理的意义二. 常见的归一化方法2.1 最大最小标准化Min-Max Normalization2.2 z-score 标准化 三. 用sklearn实现归一化 一. 数据归一化处理的意义
多特征数据集常会遇到这样的问题不同特征间的取值范围往往有很大的差别甚至是存在数量级方面的差异这很有可能会导致深度学习算法精确度的降低因此对数据进行归一化处理是很有意义的。
二. 常见的归一化方法
2.1 最大最小标准化Min-Max Normalization
公式 x ′ x − m i n ( x ) m a x ( x ) − m i x ( x ) x^{} \frac{x - min(x)}{max(x)-mix(x)} x′max(x)−mix(x)x−min(x)这是一种线性映射的方法将原始数据线性映射到[0 1]的范围内 X为原始数据比较适用于数值比较集中的情况缺陷如果max和min不稳定很容易使得归一化结果不稳定
2.2 z-score 标准化
公式 x ∗ x − μ σ x^{*} \frac{x - \mu}{\sigma } x∗σx−μ其中μ、σ分别为原始数据的均值和方差。将原始数据归一化为均值为0、方差1的数据该方法要求原始数据的分布近似为高斯分布否则归一化的效果会变得很糟糕。
三. 用sklearn实现归一化
创建测试数据
# 创建数据
import pandas as pdimport numpy as npxnp.random.randint(1,1000,(10000,5))xpd.DataFrame(x)print(x)查看原始数据的均值与方差
# 查看原始数据的均值、方差print(原始数据均值)
display(x.mean())
print(原始数据方差)
display(x.var())最大最小标准化Min-Max Normalization
# 最大最小标准化Min-Max Normalizationfrom sklearn.preprocessing import MinMaxScalerx_minMinMaxScaler().fit_transform(x)x_minpd.DataFrame(x_min)display(x_min.mean())display(x_min.var())z-score 标准化
# z-score 标准化from sklearn.preprocessing import StandardScalerx_stdStandardScaler().fit_transform(x)x_stdpd.DataFrame(x_std)display(x_std.mean())display(x_std.var())
