继续上节课我们来讲下去
第3章 数据表清洗
本章介绍的是对数据表中的问题进行清洗，主要内容包括对空值、大小写问题、数据格式和重复值的处理。这里不包含对数据间的逻辑验证。
1. 处理空值(删除或填充)
我们在创建数据表的时候在price字段中故意设置了几个NA值。对于空值的处理方式有很多种，可以直接删除包含空值的数据，也可以对空值进行填充，比如用0填充或者用均值填充。还可以根据不同字段的逻辑对空值进行推算。Excel中可以通过“查找和替换”功能对空值进行处理，将空值统一替换为0或均值。也可以通过“定位”空值来实现。
Python中处理空值的方法比较灵活，可以使用 Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充。下面的代码和结果中可以看到使用dropna函数后，包含NA值的两个字段已经不见了。返回的是一个不包含空值的数据表。
除此之外也可以使用数字对空值进行填充，下面的代码使用fillna函数对空值字段填充数字0
我们选择填充的方式来处理空值，使用price列的均值来填充NA字段，同样使用fillna函数，在要填充的数值中使用mean函数先计算price列当前的均值，然后使用这个均值对NA进行填充。可以看到两个空值字段显示为3299.5
2. 清理空格
除了空值，字符中的空格也是数据清洗中一个常见的问题，下面是清除字符中空格的代码。
3. 大小写转换
在英文字段中，字母的大小写不统一也是一个常见的问题。Excel中有UPPER，LOWER等函数，Python中也有同名函数用来解决大小写的问题。在数据表的city列中就存在这样的问题。我们将city列的所有字母转换为小写。下面是具体的代码和结果。
4. 更改数据格式
Excel中通过“设置单元格格式”功能可以修改数据格式。Python中通过astype函数用来修改数据格式。
Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式。下面的代码中将price字段的值修改为int格式。
5. 更改列名称
Rename是更改列名称的函数，我们将来数据表中的category列更改为category-size。下面是具体的代码和更改后的结果。
6. 删除重复值
很多数据表中还包含重复值的问题，Excel的数据目录下有“删除重复项”的功能，可以用来删除数据表中的重复值。默认Excel会保留最先出现的数据，删除后面重复出现的数据。
Python中使用drop_duplicates函数删除重复值。我们以数据表中的city列为例，city字段中存在重复值。默认情况下drop_duplicates()将删除后出现的重复值(与Excel逻辑一致)。增加keep='last'参数后将删除最先出现的重复值，保留最后的值。下面是具体的代码和比较结果。
原始的city列中beijing存在重复，分别在第一位和最后一位。
使用默认的drop_duplicates()函数删除重复值，从结果中可以看到第一位的beijing被保留，最后出现的beijing被删除。
设置keep='last‘’参数后，与之前删除重复值的结果相反，第一位出现的beijing被删除，保留了最后一位出现的beijing。
7. 数值修改及替换
数据清洗中最后一个问题是数值修改或替换，Excel中使用“查找和替换”功能就可以实现数值的替换。
Python中使用replace函数实现数据替换。数据表中city字段上海存在两种写法，分别为shanghai和SH。我们使用replace函数对SH进行替换。
第4章 数据预处理
本章主要讲的是数据的预处理，对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并，排序，数值分列，数据分组及标记等工作。
1. 数据表合并
首先是对不同的数据表进行合并，我们这里创建一个新的数据表df1，并将df和df1两个数据表进行合并。在Excel中没有直接完成数据表合并的功能，可以通过VLOOKUP函数分步实现。在Python中可以通过merge函数一次性实现。下面建立df1数据表，用于和df数据表进行合并。
使用merge函数对两个数据表进行合并，合并的方式为inner，将两个数据表中共有的数据匹配到一起生成新的数据表。并命名为df_inner。
除了inner方式以外，合并的方式还有left，right和outer方式。这几种方式的差别在我其他的文章中有详细的说明和对比。
2. 设置索引列
完成数据表的合并后，我们对df_inner数据表设置索引列，索引列的功能很多，可以进行数据提取，汇总，也可以进行数据筛选等。设置索引的函数为set_index。
3. 排序(按索引，按数值)
Excel中可以通过数据目录下的排序按钮直接对数据表进行排序，比较简单。Python中需要使用ort_values函数和sort_index函数完成排序。
在Python中，既可以按索引对数据表进行排序，也可以看制定列的数值进行排序。首先我们按age列中用户的年龄对数据表进行排序。使用的函数为sort_values。
Sort_index函数用来将数据表按索引列的值进行排序。
4. 数据分组
Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组，或者使用“数据透视表”来完成分组。相应的 Python中使用where函数完成数据分组。
Where函数用来对数据进行判断和分组，下面的代码中我们对price列的值进行判断，将符合条件的分为一组，不符合条件的分为另一组，并使用group字段进行标记。
除了where函数以外，还可以对多个字段的值进行判断后对数据进行分组，下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。
5. 数据分列
与数据分组相反的是对数值进行分列，Excel中的数据目录下提供“分列”功能。在Python中使用split函数实现分列。
在数据表中category列中的数据包含有两个信息，前面的数字为类别id，后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分，并将拆分后的数据表匹配回原数据表中。
今天先更新到这里啦，大家伙儿先自行消化下，明天继续。
强迫症学习的同学想多学习找我拿走自己学习就可以啦。
加哟加油！！！
获取方式：
转发+关注啦，最后麻烦私信“学习资料”获取！
私信方式：
第一步，点击头像。
第二部：头像旁边有一个私信按钮，发送{学习资料}即可！
