项目开发环境准备

操作系统windows开发工具PyCharmAnconda 5.1Jupyter Notebook第三方模块包Numpy 1.13.3Pandas 0.20.3Beautifulsoup 4.6.0Matplotlib 2.1.2Pyecharts 0.1.8Python版本3.6

目录Catalog

项目背景说明明确分析需求及思路获取数据数据清洗和转换数据分析及结论项目总结

项目说明

某技术服务公司随着公司发展扩张、数据量剧增，企业意识到数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为日益倚重的技术手段。公司打算成立数据分析部门，需了解目前市场上对数据分析师的招聘情况。51job、智联是企业常驻的招聘平台，其招聘信息能较大程度上反映出市场对数据分析师职位的需求情况及能力要求。

获取数据

本项目采集了51job、智联招聘两个网站的数据，以51job为例：

先获取每页每个招聘信息的详情页的链接，再从每个详情页里获取需要的信息获取所有职位详情页的链接

2.从每个招聘信息详情页获取需要的字段内容

少量链接异常，用try-except直接跳过，另外有些字段信息不全，用if-else判断

3.数据显示大致效果如下

数据清洗和转换

重复职位的删除最低薪资最高薪资转化为均值或中位数、单位转化为统一学历/经验的筛选及分类处理筛选技术名词空值填充重复职位的删除

2.薪资单位处理

3.薪资转换为均值并填充空值

4.薪资单位转换

5.统计技术名词

6.学历、经验的筛选及分类处理

数据分析及展示

1、一线城市对“数据分析师”职位的需求

预料之中，北京需求量最大，上海居中，广州、深圳次之

2、一线城市“数据分析师”职位的薪资分布情况

前三城市平均薪资差距较小；相比之下，广州较低（后面会分析其原因）

3、四个一线城市对“数据分析师”职位的学历要求

学历要求以本科为主，大专其次，企业虽然对学历没有很高的要求，但是最好在本科以上，数据分析师还是需要具备一定的理论基础

4、各城市对学历要求的差异

各城市都以本科要求为最高。相较其他城市，上海对大专及大专以下需求占比明显最低，本科要求最高，硕士及以上排第二，说明上海对学历有一定的要求。广州对大专及大专以下需求占比都是最高，而对本科、硕士及以上的需求占比最低，广州对学历要求较低，一定程度上解释了为什么广州平均薪资相对较低。

5、各城市对工作经验要求的差异

随工作经验年限增长，各城市需求占比都逐渐降低，可能因为招人成本比较高。相比较其他城市，深圳对1年以下需求最少，1年以上各阶段需求都属于最高，可以看出深圳对工作经验有一定要求。相比较其他城市，广州对3年以下需求较大，但是对3年以上、5年以上的需求占比都为最低，对经验要求较低也能一定程度上解释平均薪资低的原因。

6、不同时间段对工作经验要求的差异

7月份对1年以下工作经验的需求量百分比明显上涨，可能因为毕业季，企业打算对应届生进行招聘。相比其他时间段，1-3月份企业对3年以上甚至5年以上工作经验的人更高兴趣，对1年以下工作经验的需求稍小一点。

7、学历、经验与平均薪资的关系

相对本科来说，硕士及以上学历在薪资方面没有明显优势，但专科学历相比差距较大；薪资随工作经验增加而有一个稳定的增长，企业似乎更看重分析师的实践经验，后期找工作应多注重经验的积累。

8、四个一线城市对“数据分析师”职位的技能要求

SQL和Excel几乎是每个数据分析师要掌握的基础技能，大多数企业有自己的数据库，因此读取和处理数据还是以数据库和Excel为主。Python、R是两个最热门的开源数据分析工作，因此掌握其中一种语言会让数据分析师具备有力的竞争优势。

项目总结Summary

从地域来看，四个城市平均薪资都较高，其中北京、上海需求量最大，越来越多企业意识到数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为日益倚重的技术手段。 从总体需求来看，企业更加看重分析师的工作经验，随着工作经验的增加，其对应的薪资也有可观的增长。 从能力的角度，数据分析师需要掌握SQL，Excel，R，Python四个必备的工具（R和Python可以选择其一为主要工具），新人可以注重BI，PPT等office工具的技能。