新闻中心
DA/DE/DS/BA傻傻分不清楚?一文详解全知道(dad bad sad诗歌仿写)
Linkedin在最新相关职业的调查中发现,机器学习和数据科学工程师已经超过传统软件工程师,跃升为最高薪群体,年薪中位数高达$129,000。
IBM预测:未来几年,企业对数据科学类岗位需求量将猛增28%。美国湾区的科技公司和纽约华尔街无疑是对这方面人才需求最迫切的地方。
除此之外,机器学习和数据科学工程师在西雅图、洛杉矶、华盛顿和波士顿也都炙手可热。在各行各业的H1B审核越来越严格的情况下,数据科学类岗位H1B持有数呈大幅上升趋势,同时,收入也在逐年增长。
时下, 数据科学(Data Science)无疑是出国留学申请最为火热的专业之一,随着赴美国留学读Data Science的学生越来越多,美国数据科学专业申请竞争也日趋激烈。
中秋期间圈内饭局,接触到了腾讯,快手和百度的HR,然后同样的问题是,你们那有美国DS、DA和BA回国就业的同学,可以内推一下。
那什么是数据科学呢?
简单来说,数据科学就是通过历史数据的分析,解读,建模和对未来的预测,帮助我们更好的做决定。
目前,数据科学的主流,一方面是「A/B Test」,另一方面是「Machine Learning」。
所谓A/B test,就是对照试验。
比如说,经过测试,我们发现将CTA按钮从绿色更改为红色可将点击次数提高21%。
在网站优化领域,这就会带来巨大的增长。
很多公司都会选择用A/B test来收集数据,通过用户行为结果数据不断对其用户体验进行仔细更改,从而做出最佳决策。
Machine Learning
比如,有一个电商品牌想要开拓市场,我们首先需要收集各方面信息,比如消费者对网站/应用程序的行为、过去购买的商品、喜欢或添加到购物车的商品、品牌偏好等。
这个时候,数据科学家可以通过建立不同的模型,根据新的数据调整模型,从而决定市场战略,和确定品牌的商业战略。
邦媛野野
数据处理一般分为5个步骤:
1、明确问题 Business Understanding
首先,我们需要知道要未来解决的问题是什么,通过什么样的数据,可以解决这些问题。
常见职位:Business Analyst (BA) 商业分析师Data Analyst (DA) 数据分析师
要求的能力:在这里需要你拥有「分析问题」和「解决问题」的能力,一般不要求很高的「数据分析」或者「编程」的Tech背景。
2. 抓取数据 Data Acquisition
目标定下来了,接下来就要去找相应的数据啦。
金融行业,可以从Wind, Bloomberg等资源找数据,也可以通过网络爬虫去抓取数据,从而来分析信息。
常见职位:Data Analyst (DA) 数据分析师Data Engineer (DE)数据工程师
要求的能力:SQL,python/Java等
3. 数据清理 Data Cleanup
数据的清理工作非常重要,我们需要提取出有用的数据,为下一步的分析做更充分的准备。
要求的能力:掌握SQL,Python,R,Mathlab等熟练运用Numpy / Pandas 等数据包
常见职位:Data Analyst (DA) 数据分析师Data Engineer (DE)数据工程师
4. 建模分析 Modeling&Analysis
这一步是数据分析的核心,数据分析师 Data Analyst (DA) 一般会对历史的数据进行分析和描述,而数据科学家 Data Scientist (DS)通常是通过建模去预测未来。
要求的能力:需要掌握Machine Learning中的监督和非监督学习、NLP、深度学习等各种模型。
也需要拥有不错的数理基础,熟练掌握建模、统计、时间序列等知识点。
常见职位:Data Analyst (DA) 数据分析师Data Engineer (DE)数据工程师Data Scientist (DS)数据科学家
5. 执行 Deployment
我们一般会对数据进行可视化的分析,更清晰的提取出数据中表达的各种商业insights。
要求的能力:比如Tableau,Excel,Power BI等。对Tech背景要求相对偏低。
常见职位:Business Analyst (BA) 商业分析师Data Analyst (DA) 数据分析师.
DA/DE/DS的具体介绍
数据科学专业主要有三类职业方向:
DS --Data Analyst 数据分析师DE --- Data Engineer 数据工程师DA -- Data Scientist 数据科学家DA 是entry level的职位,入门比较简单,适合刚接触数据科学的同学,需要掌握Data handling,Data modelling 和 Data reporting的知识。
DA需要知道如何利用numeric data帮助公司做决策,告诉这个公司在下一个阶段如何投资,在哪个地方如何改进,将分析的结果转化为合适的商业方案。
DA的核心是「找寻和解决问题」,所以需要熟练掌握Python和R,A/B Test、Model、SQL,Tableau等。
DE 就像是软件工程师,不过是围绕着大数据领域的工程问题,需要你对computer science和programming的知识有深入的了解。
DE需要去处理raw data,开发大数据的 ETL (提取, 转换, 存储) Pipeline来处理数据,设计Data structure去match data model,进行Data clean。
DS 这个职位是从DA中分离出来的。
DA就是传统的数据分析,但是当Machine Learning 和 AI发展的越来越好的时候,我们就可以用Machine learning和Deep Learning的技术,帮助公司做数据分析。
DS的工作内容主要是建模,需要掌握很强的统计和Machine Learning知识,需要懂得如何将复杂的商业问题转化为统计和机器学习可以解决的问题.
然后据此Build Data Pipeline,设计很好的 data model支持公司的战略决策,match business的KPI等。
DA和DS都需要Data Warehousing(数据仓库)的知识。
DA更侧重reporting和statistics方面的内容,而DS侧重于data optimization和decision making的知识。
BA和DA/DS有什么不同?
BA,DA,DS都需要掌握统计,R,Python,SQL, A/B Test等知识。
BA一般不会亲自对数据进行建模分析,主要使用SQL和Excel,但是掌握的要求相对来说比较低。
DA工作几乎都是和数据打交道,从数据中找问题和解决问题,将分析的结果转化为切实可行且能有所成效的商业方案。
DA比较适合数学、统计学功底好的同学,对统计,R,Python,SQL, A/B Test的要求比BA高。
BA需要strong business acumen, 会有很多的「跨部门沟通的工作」,对技术对背景要求低一些,适合爱Social,沟通技能强的同学,而DA和高层打交道和沟通的机会要相对少一些。
DS的核心集中在Model和Python等技术上,所以需要深度了解R,Python,SQL,Machine Learning以及Tensorflow。
对于DS来说,还需要掌握Big Data、Coding、Machine Learning,Experimental、算法等知识。
免费咨询 规划 干货资料
10G英语学习和留学申请资料