数据处理方案
打开csv文件要另存为xlsx,不能直接保存为csv,不然之前修改的都不会保存
快捷键
- ctrl+a:选中单元格后按快捷键,全选,选中所有连续数据
- shift+方向键:选中单元格后按shift+方向键,可以向那个方向选中一个单元格(一个一个添加)
- ctrl+shift+方向键,选中单元格后按ctrl+shift+方向键,可以向那个方向选中连续单元格,直到选到断开的单元格(整行整列操作)
- ctrl+f查的替换 :*表示零位或多位,?表示一位
二维表转置:复制-右键-选择性粘贴-转置
单元格输入前缀0:1:单元格格式设置为文本。2:在数字前输入单个单引号,这个是假数字,会影响排序和计算。可以通过点击左边感叹号转换成数字。
多条件排序:选中数据-【数据】菜单栏-排序
差不多1mb约等于1-2w条数据 超过40-50mb的时候,数据量比较大。
处理的数据质量上四个方面的问题
-
完整性
• 例如某一列中有缺失值
• 例如重要的特征字段的缺失 -
唯一性
• 例如同样信息的数据列有不同来源,出现重复的情况
• 例如相同数据被重复记录
去重:数据-> 数据工具-> 除重复值 -
合法性 (异常,逻辑错误,合法合规性)
例如数据中的购买数量为负值,或则顾客年龄为200岁
-
一致性
同一列数据或内容的格式、单位、命名方式等需要一致
如不同的日期格式:2018年3月1日;3/1/2018
数据验证
业务场景:分析师提供规范的表格字段和规则,给到相关部门进行数据的录入填充,比如下拉列表限制内容(序列),逗号隔开,规范输入内容。数据-数据工具-数据验证。
自定义单元格格式,自定义类型三个分号 后面跟自定义的内容
合并计算补充效果:文本去重
适用于多张表的格式相同(列字段相同),但数据不同。
【数据】-【数据工具】-合并计算
注意:合并计算的本质功能是对数字内容进行函数计算操作的,连带着对 文本、日期 这些维度内
容拥【即数字列的最左列(最左列)、上方(首行)】有去重效果
故一定一定要注意:由于本质还是对数字内容做计算操作(即函数必须有选择),故源数据表必
须带有数字的东西在要去重的内容的右侧 或 下方,否则合并会无效
--- 即若无数字内容的情况下,则自己添加辅助列/行即可--- 在要去重的文本列或行 的 右侧 或 下
方 添加数字内容 (其实就是你去重的内容 一定要处于 数字内容的上方或左侧)
比如:对编号进行去重,由于编号列的右侧没有数字,故手动添加一个数字后(辅助列),进行
合并计算
数字主要是为了求和操作(函数操作,合并计算必须,本质还是对数字内容进行计算操作,
所有没有数字给其做计算,就会报错)
这样对该表中 最左列、首行 就附带了 去重的效果了【其实得到就是按标题行 或 标题列 进
行了分组汇总的效果】
当有多行要合并计算的时候,可以从最后一列开始计算,如果从第一行开始,下面的计算会影响上面的数据
自定义单元格格式,自定义类型三个分号 后面跟自定义的内容。
excel函数
- 统计计算相关
四则运算
+-*/,mod
聚合函数
- sum(求和区域或某些单元格,跨单元格用逗号分开)
- average()平均值
- max()
- min()
计数(统计个数)
- count()[只能选择数值内容的单元格]
- counta()[单元格任意内容]
带条件的聚合
带条件的计数
countif()
算术符号的判断使用
等于=
不等于<>
大于>
小于<
大于等于>=
小于等于<=
countif(计数判断的区域,条件),其中条件是自己编写必须用双引号引起
区域内大于4000的非空单元格计数
=countif(区域,">4000")
countifs(条件1判断的区域,条件1,条件2判断的区域,条件2,...)
带条件的求和sumif(s)
sumif()
情况一:条件判断区和求和的区域相同的时候,sumif(条件区/求和区,条件)
情况一:条件判断区和求和的区域不相同的时候,sumif(条件区,条件,求和区)
sumifs(求和区,条件1判断区域,条件1,条件2判断区域,条件2...)
排名/排序
rank/rank.eq
rank/rank.eq写法一样,rank兼容老版本,randk.eq目前多用 其排名方式:并列且跳过重复,即有5个人,并列第二有2个,得到的名次值:1,2,2,4,5 若想得到1,2,2,3,4这种,并列不跳过重复的排名效果,其方式需要辅助表进行匹配操作, power query
rank/rank.eq(进行排名的值内容,排名判断的区域,【排序方式 0--降序(默认)】 1--升序)
四舍五入函数round
round(值,小数位)
- 逻辑相关
if(条件,满足条件的返回值,不满足条件的返回值) --条件不需要引号
and,or多条件之间关系连接函数,默认返回true/false
and(条件1,条件2,...)
or(条件1,条件2,...)
日期时间函数
- year(日期)
- month(日期)
- day(日期)
- date(年,月,日)
- hour(时间)
- minute(时间)
- second(时间)
- time(小时,分钟,秒)
- weekday(日期)返回日期为一周的第几天,excel里周日为1
- weeknum(日期)返回一年中的第几周
- now()返回系统详细时间
- today()返回系统年/月/日格式的时间
- 季节的换算公式:roundup(month(日期)/3)
数据处理小结
1.处理重复值
- 数据工具法 数据项->删除重复值
- 函数法 countif() : 针对 与某对象的重复次数总计
- 高级筛选[附带删除重复项的功能]
- 条件格式->突出显示单元格规则->重复值
2.数据缺失处理
- 删除
- 插补
- 不处理
对于特殊值填充上【对空值进行统一内容替换】批量填充
查找和选择->定位条件->定位空值,填充为“xxx”,按下ctrl+enter批量填充
删除行:选中后右键->删除
3.数据合并处理
- 字段之间合并:CONCAT(text1,[text2],……)和&连接符
补充函数:column(要查找的列):功能是查看所选择的某一个单元格所在第几列,即它是 第几列,返回列值,返回的永远是距离A列的位置 此函数的查找默认从表的A列开始进行计算的,故需要注意外层vlookup的选择区域,因 为vlookup函数的区域不是固定从A列开始的,而是根据查找的值进行调整的;故需要自 行判断好该区域距离A列差了多少的偏移量,到时候需要优化你的公式
4.数据处理
- 转置粘贴
- 格式转换
日期格式
TEXT(value, format_text):文本格式化函数 --- 将其他类型【数值】转换为文本或日期
数值类型
value(text): 表示将文本类型的数字内容转换成数值类型
abs(数值)---数字上 有负数的情况(录入有误的情况导致 ,有 - 符号),需要做取正操作
文本格式
英文内容更改文本大小写
- 大写转小写:lower(text)
- 小写转大写:upper(text)
- 首字母大写:proper(text)
删除文本中的空格和非打印字符(单元格中的回车/断行)
非打印字符(单元格中的回车/断行)的处理
单元格中的回车/断行操作:alt+enter
- 如果是做了自动换行的 可以直接取消
- 或使用函数 clean(text) ,特别是手动进行换行的数据上
clean(text):用于文本中不能被打印的字符(回车)
删除空格的处理:
情况一:所有的空格均要清除,特别是中间有空格的时候
substitute:去除所有空格 文本替换函数,参数(文本,要替换的旧文本,替换的新文本)
情况二:该内容的中间空格属于分隔符,必须有,即中间空格不做处理,但在数据表的格式上的 内容值因为个人习惯或拆分导致有前后空格 --- 虽然不影响整体字段的选择,但格式视觉上不 行,也会影响到提炼等操作上 trim(text):删除单元格中的前后空
5.字段删除【数据清洗】 删除之前要考虑和检查是否会被公式所引用到单元格,若有则需要带有公式操作的结果列先复制--原地粘贴成【值】。
6.数据拆分
- 方式一:函数法
- 方式二:【数据】-【分列】
7.数据处理
excel开启自动备份功能:文件--选项--保存
数据分析
文件-加载项-Excel加载项--分析工具库
1.【数据】-【数据分析】-描述统计
回归分析
一元线性回归:y=ax+b