新闻中心
数据分析和大数据的区别?(数据分析和大数据区别)
如果咱们去抠一下字眼的话,大数据涵盖了数据分析的一部分,而数据分析的概念更为独立一些。
那么为什么你报了数据分析的专业,但是要给你上大数据的课呢?这是因为懂得大数据技术是你进行数据分析的一个前提。
好,我们先谈谈大数据到底在做些什么?首先理解大数据的开始,要先了解为什么会提出大数据的概念。从IT远古时代开始,数据的存储和处理就是一个永恒的话题,关系型数据库一直是稳定的存在,我们的处理几乎都在业务程序的联机事务(OLTP)中完成,业务实现过程会有一些统计分析的事情,或者通过定时任务完成,或者通过事件触发机制完成。慢慢地,银行业务、电信业务,需要独立的数据仓库,进行独立的OLAP分析业务,这时候的数据仓库依然是由关系型数据库构成的雪花型状,开始进行很慢的数据挖掘分析。
到了Google的大数据时代,就不同了。数据不再静静躺在数据库里面成为数据坟墓。新的数据不断涌入,所有数据有了生命周期,数据变得流动起来了。我们需要存储的不再是经过前期固定设计后有损的数据,而是直接将无损的原始态数据实现保存,因为更强悍的分布式并行数据处理技术可以更高效的吃掉这些数据,完成所需的数据结果,数据在一定阶段内长期保存,但是在生命周期的设定下,可以接收销毁,实现存储的成本最优化。
那么大数据的技术就形成了几个大类:实时数据流计算、海量批处理、分布式存储优化以及数据治理。大数据的技术又和数据分析形成了一种互相支持的角色,数据分析平台的数据源来自于大数据平台的供给,而数据分析的结果又称为新的数据提供给大数据平台。这就形成你中有我,我中有你的局面。
数据分析过程首先是数据科学,科学是发现自然的现象,数据的科学就是发现数据的规律和现象,好为我们提供更优选的公式和算法,下来就是通过数据分析技术对数据科学的模型公式进行具体操作,来反哺或证实科学的准确率。数据分析技术一方面可以针对指标来进行统计,特别常用于实时流分析的过程,在大数据处理过程,能更快的给出结果,但是数据统计依然需要批量处理过程中为准确性提供保证,可以研究一下lambda架构;数据分析技术的另一层面就是机器学习,在数据层面,有时候也叫数据挖掘,更准确讲机器学习涵盖了数据挖掘。我们做预测,我们做回归,我们做聚类,我们做关系,等等。这就是开始所说的数据分析定位会表现得更为独立一些,而大数据又涵盖了数据分析的一部分内容,恰恰交集的这部分水乳交融不可分割。
关注
@读字节(大数据) 了解更多大数据知识