技术的进步带来商业模式的改变,越来越多的企业正利用数据技术,获得核心竞争力。比如:通过对数据的有效分析,建立更丰富的业务场景;通过更全面的数据挖掘,获得更及时、准确的市场洞察力等。预计,企业通过数据“借力使力”的趋势,将会一直持续下去。
数据分析机构IDC预测:到2025年,全球数据圈的规模将增加两倍。可能很多人会觉得,这不是啥新鲜事,因为自从大数据概念被提出以来,每年都有大量被创建、采集或者是复制的数据集合。只不过,现在有一个新的变化,就是更强调数据的来源和流动性。
换言之,在移动互联网、物联网和边缘计算的影响下,实时数据大幅增长,导致企业大量创建和复制数据的需求增加。另外,数据处理和分析的行为往往是在设备、网关和云中的各个点进行。所以,当前的大数据已被分布式流动式数据概念取代。当然,大的趋势不会变,最终会有越来越多的数据转化成有效商机,特别是人机互动产生的数据,能带来新的商业模式的变革 。
为了拥有更多可利用的数据,企业需要有一种更有效的方法,来管理跨平台数据问题。尤其是从边缘到云端的数据,要有能够处理、存储和优化不同来源数据的能力,并且要按照不同的类型、维度、有效性对数据进行分类。企业要把云、边缘数据和企业内部数据打通,包括借助人工智能和机器学习模型不断优化,最终形成一个完整的业务逻辑和流程。此种背景下,全面数据管理成为一大挑战!
为了有效应对全平台数据管理问题,越来越多的企业开始关注Data Fabric(数据管理架构),尤其是随着数据量在边缘计算场景的不断增加,以Data Fabri为核心的数据管理架构已成为事实标准。
什么是Data Fabri?
根据定义来看,Data Fabri可以把分布在不同区域的数据通过一个自适应、灵活和安全的架构,进行集中管理。这种架构的优势是,不仅让用户更轻松、透明地访问数据,还能拥有实时、一致性的数据访问体验。同时,这种集成的数据架构本身,使得运营商能够跨不同平台管理数据,包括迁移和访问不同流程、不同地理位置、不同结构以及不同形式的数据。
本质上讲,Data Fabri既是数据进出不同平台的“管道”和“转换器”,也是企业数据运营战略的新方法。用户可以充分发挥云、本地和边缘端的优势,集中管理任意位置的数据,包括:本地数据中心、公有云、私有云以及在边缘运行的多种类型的网关和设备上的数据。
如何将Data Fabric应用于边缘计算?
边缘计算虽然是云计算的延伸版,将计算从云端迁移到临近用户的一端处理,从一定程度上避免了数据在网络中的长距离传播,但在网络边缘生成和实时数据处理仍是一大挑战,尤其随着边缘设备的多样化,本身就存在着一定的复杂性。
比如:在工业设备联网过程中,我们往往采用智能设备,包括使用PLC联网模块,远程控制工厂中的工作流程;同时,通过传感器、RFID标签确定货物和集装箱的位置。过去,这些行为和流程都在本地的数据中心完成;但是现在,需要迁移到云中进行处理。并且,有些处理可能会发生在网关的一侧。
由于数据中心是物理机部署,在架构的灵活性调整方面,体验会差一些;但云可以,因为云是虚拟化应用,可灵活调配资源。如果我们仔细分析下云的定义,就会明白为什么Data Fabric成为用户的必需品。云,虽然带来了资源的弹性扩缩容能力,但与数据中心一样,也是用户处理与应用程序相关的数据。确实,我们不必关心Salesforce云、Oracle云或者其他任何云所在的实际位置,但我们的数据必须在各种云之间有效传输,能满足不同的业务操作,让数据永久性保存。由于不同云平台的管理本身就存在复杂性,企业必须确定哪些数据在哪个区域完成,并且每个应用程序都要对应一个操作,每个操作都有相应的数据处理和内存管理权限。而Data Fabric的重点是应对各种复杂性问题,比如把Spark作为云中数据架构的关键要素,支持不同云平台之间的数据流转。
边缘计算正在成为云计算的“新阵地”,所以需要和云技术一样的标准,同时在边缘端设计特定的网络架构时,还要考虑到与5G 、WLAN 6等技术结合。其实。边缘端和云一样,每个设备上都运行着更丰富、更智能的应用程序以及网关,最终让数据中心无处不在,我们可以在工厂车间、衣帽间、飞机上、货轮上等任意位置运行和管理核心数据。而实现这一切的前提是,要在云、本地以及边缘端构建Data Fabric新型数据管理架构。
构建Edge Data Fabric 的关键点有哪些?
为了处理边缘设备提出的数据需求,在构建Edge Data Fabric时,必须遵守几个核心准则:
(1) 要能够访问不同的网络端口,包括:http、mttp、无线电网络、制造网络等;
(2) 要能在多种操作环境中运行,最重要的是符合 POSIX标准;
(3) 引入API和关键协议方案,包括使用 REST API 最新协议;
(4) 提供 JDBC/ODBC 数据库连接能力;
(5) 具备处理流数据的能力,能够支持Spark、Kafka等。
Edge Data Fabric正处于拐点
虽然,边缘计算的起源可以追溯到1990年代内容交付网络时代,但真正迎来市场的拐点是现在!
为了让企业获得真正的智慧化能力,我们必须摆脱传统的“客户端-服务器”的局限,在边缘端处理业务。可以说,单一位置数据集中的时代已经一去不复返了,未来大多数数据将停留在边缘。而随着边缘端智能化进程的加快,我们的业务也会变得更自动化,企业将通过自动化的策略和手段来处理各种问题,或者把机器学习 (ML)和其他自动化流程与业务进行关联。
可能有人会问,企业为什么不把所有的业务迁移至云端?很简单,这样做需要大量的带宽!每次数据流量的激增都会带来贷款的增加。另外,不把数据迁移到云的一个重要原因是,会出现延迟,即便是在5G网络下,也解决不了网络延迟问题。还有,数据隐私和安全问题,也会催生Edge Data Fabric的加速落地。
------ End ------ |