数据多了，难免重复，重复数据，就像杂草，影响分析，降低效率，怎么筛选，成了难题，今天聊聊，几个方法，帮你轻松搞定。
1、明确筛选目标，确定重复标准
筛选之前，先想清楚，什么是重复，比如两行数据，所有字段，完全一致，这叫绝对重复，很好判断，但有时候，部分字段相同，比如手机号一样，姓名不同，这算重复吗，所以第一步，必须定义好，你的重复标准，是看关键字段，还是全部匹配，标准不同，方法就不同。
2、利用工具函数，进行快速去重
现在工具很多，都很方便，比如Excel里，就有功能，选中数据列，点击“数据”，找到“删除重复项”，一键就能完成，非常快捷，如果是数据库，比如SQL，写句命令，SELECT DISTINCT，也能去重，Python的话，用pandas库，drop_duplicates，函数简单，效果明显，这些工具，能省很多时间。
3、编写条件公式，实现精准筛选
有时候，重复很隐蔽，需要条件判断，比如，合并两列信息，作为唯一标识，再用公式查找，在Excel里，可以用COUNTIF函数，统计出现次数，大于1的，就是重复项，标记出来，一目了然，这样筛选，更加灵活，能应对复杂情况，确保没有漏网之鱼。
4、建立核查流程，预防数据重复
筛选是事后处理，最好能预防，在数据录入时，就设置校验，比如系统里，强制唯一性，避免重复提交，定期备份，对比历史数据，也能发现问题，养成好习惯，数据质量高，后续工作顺，事半功倍。
筛选重复数据，方法很多，关键看需求，简单情况用工具，复杂情况写公式，同时做好预防，数据自然干净，分析结果，也更可靠。
