概述当你对任何人说起“流”这个字眼时，很多人都会认为指的是“流媒体”，如 Netflix、Hulu 上的电视节目、Spotify 上的音乐等。只有很少的人才会想到是指“流数据”，虽然流数据更重要。按需媒体数量的稳步增长，个人移动设备的持续普及，以及工作和生活中“永远在线”文化的兴起，是流数据迅速成为21世纪初关键数据趋势之一的主要原因。通过管理和利用流数据中所包含的信息流，企业可以挖掘出具有可操作性的、按需的深入洞察，以帮助他们提供实时服务，改善客户体验，并提高运营效率。使用混合云或多云平台和领先的分析工具，可帮助企业从其流数据的处理过程中挖掘出更高的价值。何为流数据？"流数据"这一术语是指实时连续产生的数据。它有时也被称为"连续实时分析"。在企业范围内，数据可能会从成百上千个不同的数据源同时流入。这些数据源包括从应用程序和网站到连接物联网（IoT）的各种设备和传感器。生成流数据的常见场景包括电商购物、社交媒体活动、服务器交易和位置的追踪等等。正因如此，流数据的特点是事件驱动，而非查询或请求驱动，用于聚集、清洗和分析这些数据的处理技术属于事件数据处理的范畴。单一数据流往往包含数千甚至数百万条记录。虽然企业无需下载数据就可以进行利用，但仍需考虑数据的存储和处理问题。

数据流的重要性：关键优势和使用案例当然，流数据管道和各种用于整理、过滤和检查每个流中数据的技术，并非企业数据分析的唯一方式。但近年来，随着对实时服务的需求激增，它们已变得极为重要。想象一下欺诈检测这样的应用场景。客户不希望自己的钱落入骗子之手，银行和债权人也希望在保护客户的同时，尽可能少地承受财务方面的影响。这就是为什么各大银行和信用卡公司希望对所有客户的交易拥有持续、实时的可见性。这是发现信用卡或借记卡上的可疑活动模式并按需启动拦截的最佳方式，而这正是通过利用流数据实现的。像批处理这样更传统的数据摄取和分析方法，在现代分析中虽然并非完全无用，但欺诈检测显然非其用武之地，因其工作速度远远不够。结果或洞察必须实时或接近实时地到达，只有流分析流程和工具才能满足这一需求。流数据处理架构正是为处理持续不断的事件流而建立的，因其能够很轻松地扩展（特别是当该架构的组件是基于云的时候），并迅速检测出模式，进而挖掘出重要的深入洞察。人工智能（AI）和机器学习（ML）是大多数数据流分析工具的关键要素。除欺诈检测外，实时大数据流可产生巨大价值的主要领域包括：

边缘计算：在边缘节点处理流数据，并将其实时整合，使最终用户的关键业务应用程序能够实现最低的延迟。

IT 和安全：借助实时分析，监控IT系统也更为简单。沿着类似的思路，将流数据分析用于安全信息和事件管理（SIEM），能够确保对关键指标和模式的全面可见性，这有助于网络安全专业人士发现漏洞或主动威胁。

金融：从对信用分数的常规检查到高风险的实时股票交易等金融领域的工作任务，都可以通过流数据实现。

工业维护：利用从机器性能监测的传感器中实时收集的数据，设备管理者可以制定预防性维护政策，最大限度地减少停机时间，并延长设备寿命。

最近的实际使用案例更具体地证明了流数据分析的价值：沙特电信公司（stc）

stc的移动电信服务致力于为4,100多万用户创造个性化体验，而流数据对此至关重要。该公司使用来自数字、移动和语音渠道的实时客户互动数据，这种数据流带来的深入洞察有助于减少呼叫设置时间，防止不成功切换导致的掉线，最大限度地提高语音连接质量，并提升互联网连接和带宽速度。

优质服务和运营效率有助于维持客户满意度，提升客户对升级、向上销售的意向，以及对交叉销售的接受度。与此同时，stc也能提高收入，扩大客户群，并创造令人兴奋的新增长机会。

法国航空公司

法国航空公司是法国的旗舰航空运营商，每年服务于约1亿客户，并一直致力于适应客户不断变化的需求和整体体验。当乘客在预订、办理登机手续、抵达或改签时，法航的分析团队利用流数据来分析从预订前的数据（例如网络搜索）到行程结束后的沟通和非结构化社交媒体数据。这使法航能够快速识别每位客户的理想促销机会，最大限度地减少和管理客户流失，并优化网络和呼叫中心体验。

流数据处理的潜在挑战流数据管道会持续地、大规模地提供信息。信息量的具体情况可能会瞬时激增 —— 前一分钟还是更多传统数据架构就能招架的数据量，而下一分钟就会是威胁到系统平稳运行的海量数据。这方面的例子包括交易时间快结束时的股票购买和销售高峰，以及晚间在线游戏的激增。在此类和其他类似的情况下，如果数据流的设计未考虑到可扩展性，那么顺序、一致性和可用性都会受到影响，重则导致严重的服务中断。此外，由于典型的流媒体应用程序依赖于数据集成，即从许多不同的数据源和位置中进行提取，因此，单一故障点可能会给整体企业数据生态系统带来麻烦。每一位从事流处理的数据工程师、科学家和管理人员都必须为这种可能性做好准备，并努力设计一个能够消除这种可能性的系统。同样关键的是要注意到，在流处理方面不存在“放之四海而皆准”的工具。开源工具经常会被用到，而且可能非常有用，但它们必须与合适的补充性技术结合使用，包括多功能数据分析引擎。哪怕只是其中一个组件无法与同类产品实现互操作，流数据"解决方案"自身也会变成问题之所在。充分发挥流数据分析的作用过去几年内，流数据分析对许多企业来说已变得非常重要。随着人工智能和机器学习等技术日益普及，消费者和企业用户都期望在自己生活的更多方面进行实时操作，流数据的价值必然也是有增无减。5G 的兴起和物联网的持续广泛采用等趋势也将推动流处理的价值上升。这就是为什么说，现在对于您的机构，采用可靠且具有互操作性的数据流技术解决方案是如此重要，这样才不会在不久的将来落伍。处理和抽取、转换和加载（ETL）工具是流数据操作的基础，开源工具很好地扮演了这些角色。同时，数据湖作为一种理想的低成本存储方法，适用于大多数流分析用例中涉及的大量数据存储。在 ETL 操作和存储阶段之间，像 Teradata Vantage 这样以云为先的数据分析平台是必要的，其可助力企业了解数据流，并从中获得最具影响力和可操作性的见解。Vantage 为企业提供流分析工作负载的全面可视性。该平台将工作负载带入云端，进而利用对低延迟实时处理至关重要的云端弹性资源。它兼容所有主要的公有云供应商及其流数据工具，以及开源解决方案。企业将 Vantage 与 Teradata 的数据流架构（DSA）备份解决方案一起使用，可通过消除冗余和减少存储负担，进一步优化流处理。全面利用流数据的力量，在短期和长期内都能够提高运营效率和客户体验。欲进一步了解 Vantage 作为流数据架构一部分的能力，请查阅 Teradata 的官方博客。我们的专家撰文主题涵盖与 AWS Glue Streaming ETL 和 Kinesis Firehose 的兼容性。点击“阅读原文”进一步了解 VantageEND

Teradata 是领先的多云互联的企业级智能数据平台公司，可大规模解决全球最复杂的数据挑战。我们通过将数据转化为最大资产来帮助企业释放价值。欢迎您随时通过如下任一渠道联络我们。

网站：https://www.teradata.com.cn

电子邮箱：GCA.Marketing@Teradata.com

微信公众号：Teradata天睿大数据分析

微博：@Teradata天睿

知乎：Teradata天睿大数据分析

销售热线：400 661 2025

往期推荐:

采用 VantageCloud Lake 及数据分析服务，Teradata 助力纽约巨人队为球迷提供超凡的赛事体验

Teradata VantageCloud：湖仓融合、湖仓一体的领导者（上篇）

Teradata VantageCloud：湖仓融合、湖仓一体的领导者（下篇）

VantageCloud 开放分析框架加速模型训练和评分

Teradata CX 1-2-3：连接客户旅程，极致客户体验1.关注“ Teradata天睿大数据分析”微信公众号2.在菜单栏点击您感兴趣的话题转载是一种动力，分享是一种美德