淘宝客网站一般用什么做的,程序员做网站给女朋友,北京市保障性住房建设投资中心网站,手机写文章用wordpress前言
本文是根据python官方教程中标准库模块的介绍#xff0c;自己查询资料并整理#xff0c;编写代码示例做出的学习笔记。
根据模块知识#xff0c;一次讲解单个或者多个模块的内容。 教程链接#xff1a;https://docs.python.org/zh-cn/3/tutorial/index.html 质量控制…前言
本文是根据python官方教程中标准库模块的介绍自己查询资料并整理编写代码示例做出的学习笔记。
根据模块知识一次讲解单个或者多个模块的内容。 教程链接https://docs.python.org/zh-cn/3/tutorial/index.html 质量控制
质量控制(Quality Control, QC)主要关注于提高代码质量、确保数据准确性和程序稳定性。
数据质量
数据质量是指数据满足其预定用途所要求的准确性、完整性、一致性、及时性和有效性的程度。良好的数据质量是数据分析、决策支持以及模型训练等过程成功的基础。把控数据质量主要包括以下几个方面
数据质量的要素
准确性数据是否正确无误没有错误或偏差。完整性数据集中是否存在缺失值或丢失的信息。一致性数据内部及跨数据集之间是否存在矛盾或不匹配。时效性数据是否是最新的能否反映当前状况。有效性数据是否符合预期的格式和范围如日期格式正确、数值在合理范围内。唯一性记录是否有重复。可追溯性数据的来源和变更历史是否清晰可查。
如何把控数据质量
数据验证规则定义一套数据验证规则比如字段格式、范围限制、唯一性约束等并在数据输入时或定期进行检查。数据清洗使用Python中的Pandas等库进行数据清洗包括处理缺失值、去除重复数据、纠正错误数据等。数据质量报告定期生成数据质量报告包括数据概况、缺失值统计、异常值检测等以便监控数据质量变化。自动化检查利用脚本或工具自动化执行数据质量检查任务提高效率并减少人为错误。数据治理建立数据治理框架明确数据责任人制定数据管理策略和流程确保数据从源头到应用的每个环节都有质量控制。用户反馈循环鼓励数据使用者反馈数据问题建立快速响应机制及时修正数据错误。持续监控实施数据质量监控系统对关键指标进行实时或定期监控一旦发现数据质量问题立即报警并采取措施。
通过上述方法可以在Python中有效地把控数据质量确保数据分析和决策基于可靠的数据基础之上。
数据清洗
数据清洗是数据预处理的关键步骤旨在识别并纠正数据集中的错误、不完整、不准确或无关的部分以提升数据质量确保后续分析或建模的准确性。 在Python中数据清洗通常借助pandas库完成。
示例
打开文件read_xxx()。常用的入参就是文件路径和编码如过有用到其他参数的用法临时再学就好了。
import pandas as pd# 打开一个名为test.csv的文件,没有就新建一个我就是新建的
df pd.read_csv(test.csv, encodinggbk)pd模块中还有很多read开头的函数自行尝试。 head(n5)函数获取指定行数信息 这个函数可以获取你拿到的数据的指定行数的部分默认值是五。 # 读取一下文件的信息,打印1行试试
print(df.head(1))这是打印出的数据 这是文件内容注意我们的是csv文件从Alice开始的才算是正式的数据 再换成打印3行试试因为我们数据就3行 可以看到数据全部打印了前面有012这个很好理解我不多解释了。 info()函数获取数据信息 函数用于展示DataFrame(简单理解为就是我们打开的数据)的结构、类型和内存使用情况。 使用起来很简单直接调用就好了。 参数说明 verbose默认为None如果设置为True或False将覆盖pd.options.display.max_info_columns的设置控制是否打印所有列的详细信息。如果DataFrame的列数超过max_info_columns默认行为是仅显示前后的部分列。buf默认为sys.stdout指定输出信息的目标可以是一个文件对象或者具有write()方法的任何对象。max_cols控制在详细输出中显示的最大列数。如果DataFrame的列数超过这个值且verbose未被显式设置那么将显示简略的摘要而非所有列的详情。默认值来自pd.options.display.max_info_columns。memory_usage控制是否显示DataFrame及其索引的内存使用情况。可以是布尔值(True/False)或者字符串deep。deep会更深入地计算内存使用包括嵌套结构的内存。默认情况下仅显示内存使用情况的摘要。null_counts在pandas的新版本中此参数已被移除因为现在默认总是显示非空值的数量。 返回值 info()函数本身不返回任何值而是直接打印输出到控制台或指定的缓冲区。输出内容通常包括 DataFrame的总行数和列数。每列的名称、非空值数量、数据类型。索引的类型和非空值数量。如果设置了memory_usageTrue或memory_usage‘deep’还会显示DataFrame及其索引的内存使用量。 print(df.info())稍微解释一下 类信息:class ‘pandas.core.frame.DataFrame’ 表明df是一个pandas的DataFrame对象。索引范围:RangeIndex: 3 entries, 0 to 2 表示DataFrame有3行数据索引是从0到2的整数序列。数据列详情:列出了每一列的名称Column、非空值的数量Non-Null Count以及数据类型Dtype。列1 (Name)3个非空值数据类型为object通常表示字符串。列2 (Age)3个非空值数据类型为int64整数。列3 (City)3个非空值数据类型为object通常表示字符串。数据类型汇总:dtypes: int64(1), object(2) 总结了DataFrame中各数据类型的列数。这里说明有1列是int64类型2列是object类型。内存使用:memory usage: 204.0 bytes 表示该DataFrame占用的大约内存大小。注意这里的“”表明计算可能不是完全精确的特别是当使用memory_usagedeep’时但对于估计内存消耗很有帮助。结尾的None这是因为df.info()函数实际上没有返回值返回None它直接将信息输出到控制台。当你在Python脚本或交互式环境中 调用print(df.info())时最终的None是由print函数打印出来的表示df.info()执行完毕并没有返回任何可供打印的实际内容。 isnull()函数获取缺失值对象 print(df.isnull)这个函数会返回一个和原来数据结构相同但是为布尔值的对象通过这个对象我们可以对数据中的缺失值进行操作。 简单修改一下原来的数据。 通过isnull函数我们可以明确看到哪一行哪一列有缺失值通过sum函数我们可以明确知道的哪一列缺失了几个值。 通过前后几次的输出对比可以明显发现我们已经将name一列的缺失值补充上去并且为我们设置的值x。 最后输出框中出现一堆红色的告警提示的是关于链式赋值chained assignment和 inplace 操作的问题。pandas 3.0版本中这种通过链式赋值进行的inplace操作可能不再有效因为中间对象可能被视为原对象的一个副本而不是原对象本身。 为了避免这个警告并确保代码在未来版本的pandas中也能正常工作您可以按照警告的建议采用以下两种方式之一df.method({col: value}, inplaceTrue)或者df[col] df[col].method(value)。 换成我们的代码就是 # 方法1
df.fillna({Name: x}, inplaceTrue)
# 方法2
df[Name] df[Name].fillna(x)dropna()函数删除有缺失值的行 # 直接删除含有缺失值的行
df.dropna(inplaceTrue)drop_duplicates()函数删除重复数据 df.drop_duplicates(inplaceTrue)astype()函数类型转换 # 将某列转换为整型
df[column_name] df[column_name].astype(int)注意如果列有缺失值可能会导致转换失败别问我怎么知道的。 文本数据清洗.str # 去除空格
df[text_column] df[text_column].str.strip()
# 大小写
df[text_column] df[text_column].str.lower()这个就不单独运行了看函数名就知道啥作用 replace()函数替换特定值 df[column_name].replace(old_value, new_value, inplaceTrue)数据清洗的方法还有很多想写完不太可能写一些常用的简单的认知一下即可。
结尾
数据质量不止数据清洗这一项还有其他很多项但是基本都是配合着一起来的。这里只是初步认知不需要讲那么多。大概都了解了就进到项目那一块去等你写出一个项目比如一个小游戏后成就感足以让你继续向下努力学习了这里太深入讲只会浪费热情耐心。
