用div做网站中间部分,win2008 iis配置网站,网站建设设计报告,大连哪家网站公司好文章目录 概要整体流程名词解释NumPyPandasMatplotlibre 技术细节数据清洗可视化 小结 概要
在本篇博客中#xff0c;我们将通过一个实际的案例#xff0c;演示如何使用Python进行数据清洗和可视化#xff0c;以分析国际旅游收入数据。我们将使用Python中的Pandas库来进行数… 文章目录 概要整体流程名词解释NumPyPandasMatplotlibre 技术细节数据清洗可视化 小结 概要
在本篇博客中我们将通过一个实际的案例演示如何使用Python进行数据清洗和可视化以分析国际旅游收入数据。我们将使用Python中的Pandas库来进行数据处理和清洗然后使用Matplotlib库来绘制饼图展示各地区2017年至2019年国际旅游收入总和的占比情况。 整体流程
将表头统一为一行。将地区字符串中的符号“”“ ”去除。删除空白行。删除重复行。表格中第二列数据B列等于第三四五列之和将第二、三、四、五列中的空值填充。使用mean填充第六列空值。使用中位数法填充第7列空值。使用四分位法对第8列数据进行异常值处理并将异常值设置为该列均值。使用除均值和中位数法以外的方法将第9和10列的空值填充。结果保留一位小数对数据绘制可视化饼图
名词解释
数据分析是指利用统计学和计算机科学的方法对收集到的数据进行分析、解释和探索从而发现数据中的模式、趋势和关联性提取有用的信息和知识并为决策和问题解决提供支持。数据分析可以应用于各个领域包括商业、科学、工程、医疗等帮助人们更好地理解数据、发现问题和机会并制定合适的策略和方案。
数据分析的主要目标包括
描述性分析对数据进行汇总和描述包括统计量的计算、图表的绘制等以便对数据有一个整体的了解。探索性分析通过可视化和探索性数据分析EDA探索数据中的模式、趋势和关系发现数据中的隐藏信息和规律。预测性分析利用统计和机器学习方法建立模型来预测未来的趋势和行为帮助做出更准确的预测和决策。解释性分析对模型和结果进行解释理解模型背后的原理和机制从而深入理解数据背后的规律和关联性。
数据分析通常涉及多种技术和工具包括数据清洗、数据可视化、统计分析、机器学习等。通过对数据进行系统和深入的分析可以发现数据中的价值和见解为组织和个人提供更好的决策支持和业务洞察。
NumPy
NumPy 是 Python 中用于科学计算的核心库之一提供了高性能的多维数组对象和各种数学函数。它是许多其他数据分析工具的基础如 Pandas 和 SciPy。NumPy 的核心是 ndarrayN-dimensional array对象可以用来存储和处理多维数组数据。它提供了各种函数和方法可以进行数组的创建、索引、切片、数学运算、线性代数运算等操作。
Pandas
Pandas 是 Python 中用于数据分析的核心库之一提供了快速、灵活且高效的数据结构和数据操作工具。它的主要数据结构是 Series一维数组和 DataFrame二维表格可以轻松处理结构化数据。Pandas 提供了丰富的函数和方法可以进行数据的加载、清洗、转换、分组、聚合等操作。它还支持对缺失值和异常值的处理以及数据的合并和拆分等高级操作。
Matplotlib
Matplotlib 是 Python 中用于创建可视化图表的主要库之一提供了广泛的功能和灵活性。它可以创建各种类型的静态图表如折线图、散点图、直方图等。Matplotlib 的设计灵感来自于 MATLAB因此其语法和用法与 MATLAB 相似。它支持绘制高质量的图表并且可以通过设置不同的样式和参数来定制图表的外观和风格。
re
re 是 Python 中用于正则表达式操作的标准库提供了强大的文本模式匹配和处理功能。正则表达式是一种强大的文本搜索和处理工具可以用来查找、替换、分割等。re 库提供了各种函数和方法可以用来编译和执行正则表达式以及进行各种文本操作。它通常用于处理复杂的文本数据如日志文件、网络数据等。
这些库在数据分析领域发挥着重要的作用通过它们的组合可以完成从数据加载到数据可视化的整个数据分析过程。
技术细节
首先安装Python和Jupyter Lab如果已经安装了这两个的话可以直接打开jupyter lab进行下一步
// 安装
pip3 install jupyterlab安装完成之后可以查看版本号看安装是否成功 然后打开cmd命令行进到你要打开的文件夹目录下输入jupyter lab打开通过以上步骤你就可以成功安装和启动 Jupyter Lab并开始使用它进行数据分析、机器学习、编程等工作了。
数据清洗
首先导入需要用来数据分析的依赖numpyPandasMatplotlib.pyplot,re。再从excel文件中读取Excel 文件数据并将读取的数据存储在名为 data 的 DataFrame 中。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import repath chuji.xlsx
data pd.read_excel(path, engineopenpyxl) # 数据读取将表头统一为一行将data的列名(表头)设置为指定的列表列表中的每个元素对应一个列名再删除第一行数据索引为 0 的行
data.columns [地区,规模/限额以上文化及相关产业营业总收入万元,规模以上文化制造业企业营业收入万元,限额以上文化批发和零售业企业营业收入万元,规模以上文化服务企业营业收入万元,限额以上住宿业企业营业收入亿元,限额以上餐饮业营业额亿元,国际旅游收入2017,国际旅游收入2018,国际旅游收入2019]
data data.drop(0)将地区字符串中的符号“”“ ”去除使用了正则表达式模块 re 中的 sub() 函数来替换字符串中的匹配项。lambda x: re.sub(r\s, , str(x)) if not pd.isna(x) else x 是一个匿名函数这个函数首先检查元素是否为 NaN缺失值如果不是则使用正则表达式 re.sub() 将字符串中的所有空格\s替换为空字符串从而去除空格。如果元素是NaN则返回原始值。最后使用 .apply() 函数将这个匿名函数应用于地区列中的每个元素从而实现去除符号“”和空格的操作。
data.iloc[:, 0] data.iloc[:, 0].apply(lambda x: re.sub(r\s, , str(x)) if not pd.isna(x) else x)删除空白行和重复行dropna() 方法来删除包含空值NaN的行axis0 参数指定了操作的轴向这里设为 0 表示按行进行操作。how‘all’ 参数指定了删除行的条件这里设为 ‘all’ 表示当行中所有元素都是空值NaN时才删除该行。drop_duplicates() 方法来删除重复行inplaceTrue 参数表示在原始 DataFrame 上进行操作不创建新的 DataFrame。
data.dropna(axis0, howall, inplaceTrue)
data.drop_duplicates(inplaceTrue)由于之前删除了空白行和重复行所以要重设索引使用 DataFrame 的 reset_index() 方法重新设置索引。参数 dropTrue 表示丢弃原始索引而不保留在 DataFrame 中作为新的列。重新设置索引后DataFrame 的索引会按照从 0 开始的顺序重新排列。
data.reset_index(dropTrue, inplaceTrue) # 重置索引填充二三四五列数据对第二列进行处理data.iloc[:, 1].isnull().any()检查第二列是否存在空值。如果存在空值则使用 fillna() 方法填充空值。填充值为第三、四、五列之和使用 data.iloc[:, 2] data.iloc[:, 3] data.iloc[:, 4] 计算。同时使用 astype(data.iloc[:, 1].dtype) 将填后的数据类型转换为第二列原始的数据类型以保持数据一致性。其它三列也是相同的处理方法
# 如果第二列为空值求和第三四五列
if data.iloc[:, 1].isnull().any(): data.iloc[:, 1] data.iloc[:, 1].fillna(data.iloc[:, 2] data.iloc[:, 3] data.iloc[:, 4]).astype(data.iloc[:, 1].dtype)
# 对第三列进行空值判断
if data.iloc[:, 2].isnull().any():data.iloc[:, 2] data.iloc[:, 2].fillna(data.iloc[:, 1] - data.iloc[:, 3] - data.iloc[:, 4]).astype(data.iloc[:, 2].dtype)
# 对第四列进行空值判断
if data.iloc[:, 3].isnull().any():data.iloc[:, 3] data.iloc[:, 3].fillna(data.iloc[:, 1] - data.iloc[:, 2] - data.iloc[:, 4]).astype(data.iloc[:, 3].dtype)
# 对第五列进行空值判断
if data.iloc[:, 4].isnull().any():data.iloc[:, 4] data.iloc[:, 4].fillna(data.iloc[:, 1] - data.iloc[:, 2] - data.iloc[:, 3]).astype(data.iloc[:, 4].dtype)第六列数据使用 mean() 方法获取列的均值使用 fillna() 方法填充第六列的空值。填充值为前面计算得到的均值 mean_value
mean_value data.iloc[:, 5].mean()
data.iloc[:, 5].fillna(mean_value, inplaceTrue)第七列数据使用 median() 方法获取列的中位数使用 fillna() 方法填充第七列的空值。填充值为前面计算得到的中位数 median_value
median_value data.iloc[:, 6].median()
data.iloc[:, 6].fillna(median_value, inplaceTrue)第八列数据首先计算第八列数据的四分位数和 IQR Q3 - Q1四分位间距计算第八列数据的第一四分位数25th percentile。计算第八列数据的第三四分位数75th percentile。接着计算异常值的上下界使用 np.where() 函数将超出异常值范围的值替换为该列的均值
Q1 data.iloc[:, 7].quantile(0.25)
Q3 data.iloc[:, 7].quantile(0.75)
IQR Q3 - Q1
lower_bound Q1 - 1.5 * IQR
upper_bound Q3 1.5 * IQR
data.iloc[:, 7] np.where((data.iloc[:, 7] lower_bound) | (data.iloc[:, 7] upper_bound), mean_value, data.iloc[:, 7])第九、十列数据参数 methodffill 表示使用前向填充法即用前一个非空值填充当前空值。参数 methodbfill 表示使用后向填充法即用后一个非空值填充当前空值。
data.iloc[:, 8].fillna(methodffill, inplaceTrue) # 前向填充第9列
data.iloc[:, 9].fillna(methodbfill, inplaceTrue) # 后向填充第10列所有结果保留一位小数使用 for 循环遍历索引范围从 0 到 10即遍历所有列。round() 方法是 Python 中用于四舍五入的函数参数 1 表示保留一位小数。
for i in range(0,10):data.iloc[:, i] data.iloc[:, i].round(1)可视化
在清洗和预处理完数据之后我们可以使用Matplotlib库来绘制饼图展示各地区2017年至2019年国际旅游收入总和的占比情况。
设置中文显示用于设置字体为中文以及解决坐标轴负号显示问题
plt.rcParams[font.sans-serif] [simHei]
plt.rcParams[axes.unicode_minus] False将每个地区2017年至2019年国际旅游收入的总和计算出来并存储在名为总收入的新列中
data[总收入] data.iloc[:, 1:].sum(axis1)创建了一个大小为10x8英寸的画布用于绘制饼图
plt.figure(figsize(10, 8))绘制了饼图其中data[‘总收入’]是各地区收入总和的数据labels是各地区的标签autopct%1.1f%%是指定了数据标签的显示格式startangle140是设置了起始角度为140度
plt.pie(data[总收入], labelsdata[地区], autopct%1.1f%%, startangle140)添加了饼图的标题
plt.title(各地区2017-2019年国际旅游收入总和占比)调整了布局使得图形更加美观
plt.tight_layout()保持饼图的长宽比相等然后plt.show()将绘制好的图形显示出来
plt.axis(equal)
plt.show()小结
通过本篇博客我们学习了如何使用Python进行数据清洗和可视化分析。首先我们使用Pandas库对数据进行了清洗和预处理然后利用Matplotlib库绘制了饼图展示了各地区2017年至2019年国际旅游收入总和的占比情况。这个案例展示了Python在数据分析领域的强大应用和灵活性 希望本文能够帮助读者更好地了解的Python在数据分析方面的使用如果有任何疑问或者建议欢迎留言讨论
