协会走进理事沙龙活动之

——“走进网银互联”

Data Tech2017浙江大数据建模与创新应用大赛

圆满落幕

　   如今的企业必须向顾客提供始终如一的高价值体验，否则会失去顾客。他们正在求助于大数据技术。通过大数据分析，组织可以更好地了解他们的客户，了解他们的习惯，并预测他们的需求，以提供更好的客户体验。

　　但是，大数据转换的路径并不简单。传统数据库管理和数据仓库设备变得过于昂贵，难以维护和规模化。此外，他们无法应对当今面临的挑战，其中包括非结构化数据，物联网(IoT)，流数据，以及数字转型相结合的其他技术。

　　大数据转换的答案是云计算。参与大数据决策的IT专业人士中有64%的人表示已将技术堆栈转移到云端，或正在扩大其实施。根据调研机构Forrester公司的研究，另外23%的企业计划在未来12个月内转向云端。

　　利用云计算的好处是显著的。调查对象最常引用的优势是IT成本较低;竞争优势;开拓新见解的能力;建立新客户应用程序的能力;易于整合;有限的安全风险;并减少时间。

　　大数据在云端的挑战

　　虽然云计算的好处是巨大的，但转移大数据可能会带来一些挑战：具体来说：

　　数据集成：66%的IT专业人士表示，数据集成在公共云中变得更为复杂。

　　安全性：61%表示关注数据访问和存储。

　　传统设施：64%的人表示从传统基础设施/系统过渡过于复杂。

　　技能：67%的人表示担心大数据所需技能和建设基础设施的技能。

　　克服云计算挑战的4个步骤 组织如何克服这些挑战并将其转化为机会?以下是利用云计算进行大数据转换的四个关键步骤：

　　(1)数据集成

　　如果组织具有多样化且复杂的数据生态系统，那么并非所有的云或大数据技术都可以无缝地集成数据。选择需要复杂数据转换的目标技术可能并不理想。在选择任何技术之前完成数据管道分析。这样可以降低创建不连贯数据和不兼容系统的风险。

　　(2)安全性

　　如果组织的数据是机密和专有的，或者需要解决严格的安全和合规性要求，则可能会对数据放在云端有所担心。在这种情况下，具有高度自定义网络和加密功能的单租户的私有云解决方案可以为组织提供所需的大数据功能，以及专用环境的安全性。

　　另外，请记住，公共云并不意味着“不安全”。AWS和微软Azure等领先供应商提供云原生安全认证解决方案，并提供包括磁盘级加密和严格的授权，以及认证技术的选项。云计算中的数据安全性正在快速成熟。许多具有严格的安全和合规要求的组织已经成功地利用公共云上的大数据技术。

　　(3)原有传统系统

　　从原来的传统基础架构的转型总是涉及到数据迁移，通常会涉及这三个路径的其中一个： ·提升和转移：将现有工作负载转移到云基础设施即服务，只是利用云计算，存储和网络功能，无需复杂的应用程序重写，同时提供可扩展基础架构的优势。

　　·随着时间的推移，停用原有系统的数据：将现有数据保留在旧系统上，并将新数据直接发送到基于云计算的新平台，无需数据迁移。新功能和功能被设计为云就绪。

　　·复杂的数据转换：这涉及数据驱动应用程序的现代化，最适用于应用程序接近生命周期。其示例包括从大型机，AS / 400和较旧的关系数据库管理系统转移到新的数据库，如Hive，Hadoop和HBase。

　　(4)技能

　　大数据实现取决于不同的技能，包括开发人员，管理人员，云计算和大型数据架构师。市场对这些专家供不应求，所以组织经常要求内部人员或合同人员超越其核心能力进行工作，这会减慢实现的速度。选择以交钥匙为基础提供这些功能的供应商是更为经济的。确保它在专用环境和公其云上大规模管理多个复杂的大数据环境。

　　结论

　　大数据的应用已经成为许多行业的巨大差异。成功开展业务的公司已经在行业中脱颖而出，这些公司不能面对落后的风险。云计算提供了最快，最安全，最具前途的大数据转换途径。 不要担心数据集成，安全性，传统系统或技能阻止组织进行正确的移动。这些都比人们想象的要容易得多。

　　“互联网+”、物联网和人工智能已经成为中国“十三五”业务创新的新动能和业务发展的新引擎。“互联网 +”加速了中国市场云计算的普及。中桥调研咨询的数据显示，在过去 3 年，中国云计算得到了快速普及与发展，目前约有 80% 的企业用户将 IT 运行在混合云环境中。云计算的目标用户已由最初的新兴的初创企业发展到囊括不同规模和不同行业的众多企业级用户，并且这些企业用户将云作为 IT 的核心支撑，逐步用云计算替代传统的数据中心，实现“IT云化”。

　　与此同时，人工智能将进一步加速云计算市场和技术格局的改变。根据中桥调研咨询的数据显示，约有 40% 的企业已经或计划在未来两年内部署人工智能。工信部发布的《“互联网 +”人工智能三年行动实施方案》中不仅将人工智能作为国家战略，同时还指出要打造人工智能基础资源与创新平台，基本建立人工智能产业体系、创新服务体系、标准化体系，推动基础核心技术实现突破。

　　近年来，物联网发展迅猛。在《国务院关于推进物联网有序健康发展的指导意见》中明确指出，将物联网作为战略性新兴产业的一项重要组成内容，推进物联网的应用和发展，有利于促进生产生活和社会管理方式向智能化、精细化、网络化方向转变。

　　人工智能和物联网的发展将带动海量终端以及海量数据交互分析需求的快速攀升。因而，边缘应用部署效率、数据的实时采集与分析能力，将成为人工智能时代企业实现业务创新、通过人机协同、人工智能提高运营效率的关键点。因此，如何将人工智能和物联网转化为业务新引擎，对融合云和边缘端数据计算分析的性能提出了新的要求。由此而催生了雾计算平台和技术的发展，并成为云计算的延伸。那么，如何“腾云驾雾”，实现动态跨“云”与“雾”的优化计算和分析，将是企业智能创新能力快速提升的关键因素。

　　新应用推动云计算快速演进

　　根据中桥调研咨询最近对中国企业 CIO 的调查数据显示，有 84% 的 CIO 都认为，目前云计算的演进过程可以分为三个阶段，即云计算 1.0 阶段，主要应用对象是中小企业，通过云计算实现从“无”到“有”的IT 使能;进入云计算 2.0 阶段，云计算成为企业级用户核心应用的 IT 补充资源;当企业跨入云计算 3.0阶段时，云计算成为企业 IT 的核心资源。云原生应用、人工智能和物联网成为用户业务的主要驱动力。

　　相对于云计算的前两个阶段，云计算3.0的两大特征是：

　　具有企业级高可用、高可信、负载可移动性的特点，防止“云孤岛”的产生。

　　雾计算成为云计算的外延。跨“云”和“雾”实现应用部署、数据采集和数据分析处理的能力成为云计算 3.0最重要的衡量指标。

　　当前，大多数中国企业正处于云计算 2.0 阶段，并逐步向云计算 3.0 阶段演进。随着云计算的快速普及，有越来越多的企业把选择将业务部署在混合云上。

　　数字经济时代，企业在向数字化转型的过程中，如何通过将传统业务数据与人工智能、物联网数据实现交互、处理、分析，以提高企业的核心竞争力，决定着企业通过新技术突破创新的能力。大数据、人工智能、物联网等新技术的快速发展，推动着云计算与边缘计算在架构和技术上的融合，以满足高性能计算、大数据分析的应用需求，以及智能终端对数据的快速采集、边缘端对数据的实时分析和处理的需求，使跨云平台和边缘计算架构实现统一高效管理，最大限度地挖掘企业在人工智能时代的业务创新能力和发展潜力。通过对云计算的持续演进，企业不仅能得到阶段性的云投资回报，还能获得不断升级云计算的能力、云和边缘技术融合的能力，以及通过云生态圈和云平台提供云服务的能力。

　　数字化转型的趋势推动着企业向云计算 3.0 阶段迈进，在这个过程中，企业业务更侧重将全业务数字化、全业态数字化和全产业数字化平台的融合，以提升企业整体的智能化水平。根据中桥调研咨询最新的调研数据显示(图 1)，数字化转型为用户带来的最大价值是“大数据、物联网、人工智能作为新的生产要素，提高了企业的生产效率，加速产业升级”。企业用户在从云计算 2.0 向 3.0 阶段过渡的过程中，边缘计算和作为云计算外延的雾计算满足了用户对大数据、物联网、人工智能开发与应用的需求。在海量智能终端的应用场景中，将所有数据上传到云进行处理，将带来网络成本和性能压力，很难满足实时处理对低延迟的需求。因此，向云计算 3.0阶段演进，实现跨云平台和边缘计算的统一管理，将有助于企业在数字化转型过程中运用大数据、物联网、人工智能等新技术，把握机遇，创造新的业务价值。

图1：数字化转型为企业业务带来的价值

　　人工智能和物联网 驱动“云”向“雾”延伸

　　人工智能和物联网成为目前技术和应用发展的两大热点。随着计算技术的进步和大数据、云计算的兴起，人工智能近两年出现了井喷式的发展。同时，万物相连已不再是梦想，物联网市场前景看好。

 　　物联网和人工智能的发展将带来价值数以亿计的数据。分布广泛的传感器、智能终端等每时每刻都在产生大量的数据。尽管云计算拥有“无限”的计算和存储资源池，但云数据中心往往是集中化的且距离终端设备较远，当面对大量的分布广泛的终端设备及所采集的海量数据时，云不可避免地遇到了三大难题：

　　网络拥塞，如果大量的物联网和人工智能应用部署在云中，将会有海量的原始数据不间断地涌入核心网络，造成核心网络拥塞;

　　高延迟，终端设备与云数据中心的较远距离将导致较高的网络延迟，而对实时性要求高的应用则难以满足需求;

　　可靠性无法保证，对可靠性和安全性要求较高的应用，由于从终端到云平台的距离远，通信通路长，因而风险大，云中备份的成本也高。

　　因此，为满足物联网和人工智能等应用的需求，作为云计算的延伸扩展，雾计算(Fog Computing)的概念应运而生。雾计算最早由思科提出，它是一种分布式的计算模型，作为云数据中心和物联网设备 / 传感器之间的中间层，它提供计算、网络和存储设备，让基于云的服务可以离物联网设备和传感器更近。雾计算主要使用边缘网络中的设备，可以是传统网络设备，如网络中的路由器、交换机、网关等，也可以是专门部署的本地服务器。这些设备的资源能力都远小于一个数据中心，但是它们庞大的数量可以弥补单一设备资源的不足。

　　在物联网中，雾可以过滤、聚合用户消息，匿名处理用户数据以保证隐秘性，初步处理数据以便实时决策，提供临时存储以提升用户体验，而云则可以负责大运算量或长期存储任务，与雾计算优势互补。通过雾计算，可以将一些并不需要放到云上的数据在网络边缘层直接进行处理和存储，提高数据分析处理的效率，降低时延，减少网络传输压力，提升安全性。雾计算以其广泛的地理分布、带有大量网络节点的大规模传感器网络、支持高移动性和实时互动以及多样化的软硬件设备和云在线分析等特点，迅速被物联网和人工智能应用领域的企业所接受并获得广泛应用，例如，M2M、人机协同、智能电网、智能交通、智能家居、智能医疗、无人驾驶等应用。

　　与边缘计算(Edge Computing)不同的是，雾计算可以将基于云的服务 , 如 IaaS、 PaaS、 SaaS，拓展到网络边缘，而边缘计算更多地专注于终端设备端。雾计算可以进行边缘计算，但除了边缘网络，雾计算也可以拓展到核心网络，也就是边缘和核心网络的组件都可以作为雾计算的基础设施。

　　“云”和“雾”典型案例和应用场景

　　融合云平台和雾计算，一方面可通过云降低传统 IT采购、管理和运维的开支，将 IaaS、 PaaS、 SaaS作为云服务输出;另一方面，通过雾计算可保证边缘端数据的实时搜集、提取和分析速度，提高网络资源部署使用和管理效率，有助于提高人机协同效率，为企业业务创新、服务品质提升提供技术支持。以下是四个行业“云”和“雾”的典型案例和应用场景。

　　工业

　　GE基于 Pivotal Cloud Foundry打造了 Predix 物联网 PaaS平台，结合戴尔智能仿真技术，实现了“数据双胞胎”。基于云计算，GE 实现了飞机发动机生产过程中的调优，同时，基于雾计算，GE 实现了飞机飞行过程中的“自愈”。 GE Predix 作为物联网 PaaS 平台，还助力制造企业将大数据、物联网和人工智能转化为智能制造能力，实现数据创新。GE Predix 平台，融合云计算和雾计算以及”数字双胞胎“，帮助制造企业实现“虚拟 - 现实”的设计生产融合，并为其提供云计算服务。

　　农业

　　Chitale Dairy是一家乳制品厂。基于戴尔科技虚拟化技术，Chitale Dairy实现了 ERP云部署。他们基于雾计算，通过为奶牛装上传感器，进行近实时数据采集分析、处理，实现精细化运营，保证乳制品生产全流程的监控、管理、优化。同时，Chitale Dairy 通过基于云的乳业生命周期管理平台，实现了乳制品生产流程自动化管理，通过物联网和大数据分析，对每头奶牛从食料、喂养、健康、牛奶质量和产量进行全流程监控分析，实现精细化和自动化乳业生产。将云的整体业务管理和雾端的优化农场间协作以及奶源监控管理紧密连接起来，在提高乳制品生命周期管理效率的同时，提升了协同和协作效率，加速企业业务创新的速度。

　　服务业

　　TopGolf 是一家高尔夫俱乐部。通过采用戴尔科技的虚拟化和超融合技术，形成了高尔夫数字化高端服务输出能力。他们通过向数字化转型，打破了传统高尔夫的业务模式。通过物联网，将 RFID 芯片嵌入高尔夫球里，实现对每次击球、每个队员和赛事进行实时监控，并基于雾计算，实时跟踪和分析每个击球动作和球的路径，实现实时积分。 TopGolf 的业务模式融合了云计算和雾计算，实现了跨数据中心、云和边缘应用的实时数据监控、交互和管理，满足赛事实时监控、场上场下互动、赛前球员积分分析、社交媒体、会员个性化数据管理等大数据分析的需求。

　　交通业

　　在智能交通中，可通过传感器搜集信息，进行实时数据分析和交通部署，以提高公共安全。通过雾计算，智能交通控制系统中的一个雾节点可以共享收集到的交通信息，以缓解高峰时段的交通拥堵、定位交通事故，并可以通过远程控制缓解交通拥堵区域的交通状况。同时，在每个用户的电话和公共交通中，基于雾计算的应用程序允许用户在没有持续网络连接的情况下，共享并通过附近的用户下载内容。此外，自动化车辆的安全系统、道路上的监控系统以及公共交通的票务系统，都可以从传感器和视频数据中收集大量信息。聚合后的数据将传输到云上，根据用户的需求进行数据提取和分析，再基于雾计算实现边缘数据实时分析，从而为用户快速提供精准信息，以保障公共交通的畅通和安全。

　　人工智能和物联网面临的挑战

　　作为人工智能的关键技术，物联网驱动着边缘技术的演进。随着物联网时代的到来，各种家庭电器、医疗设备、海量传感器、穿戴设备之间的数据交互将产生大量的数据。根据中桥调研咨询最新的调研数据显示(图 2)，当前中国用户部署物联网最大的挑战在于，跨不同终端、技术和系统实现数据的收集、交互、分析和处理的时效性。

图2：部署物联网的最大挑战

　　对于企业用户而言，物联网和人工智能最大的价值在于跨海量的终端和传感器，实现数据实时采集、整合、分析。然而，随着企业的快速发展，终端数量、设备和协议种类的不断增加，如何跨 ModBus、 BACnet、 ZigBee等不同协议，实现数据聚合、转换和分析，提高网络资源使用效率，提高 IT 自动化管理能力，挑战 IT 传统技术，成为企业在部署人工智能和物联网过程中最大的考量因素和面临的挑战。此外，在保证数据传输性能和安全性的前提下，网络的有效管理以及雾计算和大数据分析能力，决定着物联网业务的稳定与安全。在物联网和人工智能起步阶段，跨不同终端和系统，快速实现数据收集、交互、分析和处理对用户而言至关重要。

　　戴尔人工智能和物联网方案及产品

　　戴尔构建人工智能和物联网生态圈

　　人工智能和物联网涉及到许多技术，包括云计算、雾计算、边缘计算、传感技术、数据中心以及终端联接技术等。没有任何一家公司能够独立将产业链的上下游完全打通。因此，一个汇聚了各领域中优质技术力量的生态圈就显得至关重要。

　　戴尔作为开放雾联盟(Open Fog Consortium)的核心成员，致力于推动开源雾计算的发展。借助开源雾计算参考架构，戴尔智能边缘计算，以及物联网嵌入工业 PC、物联网网关、边缘管理器，用户能够快速实现从“云”到“雾”的延伸，将人工智能和物联网转化为业务增长点。

　　戴尔以开放标准的硬件为基础，结合主流软件，搭建物联网和人工智能参考架构。同时，戴尔联合生态圈合作伙伴，一同推动物联网的快速部署与完善。例如，戴尔和中科院自动化研究所联合打造的深度学习平台，简化了人工智能数据采集、应用开发和训练，为中国用户提供人工智能云服务平台。

　　SAPLeonardoEdgePlatform&戴尔IoT网关

　　SAP Leonardo 是一个整合多领域技术的数字创新系统和体系，通过在系统中融入物联网、人工智能、大数据、机器学习等技术，帮助企业用户实现快速创新，进而满足其在数字化时代的需求。戴尔Leonardo IoT 网关边缘设备是Leonardo生态系统中首个经SAP认证的IoT边缘设备。戴尔选择 SAP Leonardo Edge Platform 是因为它提供了一系列完整的解决方案，可以与人实现连接，实现实时的智能化的信息处理。戴尔Leonardo IoT网关边缘设备，将Leonardo认证的戴尔 IoT 网关与 SAP 解决方案相结合，可以使用户在几分钟内集成 IoT 边缘设备，实现对各种不同物联网网络的集成和智能管理，帮助 SAP 客户以最快的速度利用现有的不同终端、设备、传感器，实现物联网业务转型，通过互联网网络智能管理，提高物联网管理的覆盖率。此外，SAP 软件和戴尔硬件的强强联合，将提升端到端SAP 物联网的部署效率，满足客户”腾云驾雾“的业务发展需求。

　　戴尔混合云

　　通过业务数据、用户数据、传感 / 智能终端的数据交互，驱动混合云在物联网和人工智能领域成为 IT新常态。目前，用户更青睐于将业务关键型应用放在私有云上，将其他应用部署在公有云上。对于云原生应用来说，应用的可移动性是保证业务不被云绑定，避免产生“云孤岛”潜在风险的关键。

　　Pivotal Cloud Foundry 作为智能化转型中广为采用的云平台，保证应用和负载的高可移动性。 GE 和西门子分别基于 Pivotal Cloud Foundry 搭建了智能制造数字化服务平台，提供针对 IoT 的 PaaS 服务。同时，基于 VMware Cloud Foundation 以及 VMware & AWS 的战略联盟、微软 Azure Stack，戴尔科技给用户提供了灵活的任意云、多云(不同公有云)和混合云 ( 公有云和私有云 ) 的架构选择。

　　此外，戴尔未来就绪企业云联盟(FRECO)针对中国企业在数字化转型过程中对跨云部署管理，以及安全管控的个性化需求，打造云生态平台，让用户通过全栈式混合云解决方案，实现从架构到服务的跨云集中统一管理。戴尔通过物联网参考架构，为用户提供跨云计算和雾计算架构，快速实现“云”到“雾”的外延，提高云计算在物联网和人工智能领域的投资回报率。

　　戴尔IoT网关

　　如何经济、安全地实现物联网传感器、设备和终端的连接，对于用户而言至关重要。这需要网关具有强大的处理能力，能够将不同协议的数据(ModBus、 BACnet、 ZigBee 等)实现标准化。

　　戴尔 IoT Edge 网关基于 Intel 技术，配备多个 I/O 端口和 Intel Atom 处理器，运行熟悉的操作系统和软件堆栈，并具有内置的安全和管理功能。此外，它还配置了 Trusted Platform Module (TPM) 芯片，有助于保护网络终端。

　　戴尔 IoT Edge 网关将制造企业的数据分析移动到网络边缘，使其更接近数据源头，并且边缘分析允许在生成数据后立即对现有的和新生成的数据进行实时分析。因此，用户可以快速识别生产过程中出现的任何新问题，产生警报并采取纠正措施。 此外，结合云可扩展的数据存储和密集型处理器的深度学习算法，为制造企业的数据存储和分析提供了更强大的保障。戴尔 IoT Edge 网关可帮助企业降低生产废料率以及机器和其他资产耗损率。

　　戴尔终端管理器

　　戴尔终端管理器(Edge Device Manager，EDM)为戴尔 IoT Edge 网关和嵌入式 PC 提供强大、简单和安全的远程管理，为用户提供关键的系统管理功能，帮助用户实现入门学习、配置、监控以及维护戴尔的 IoT 硬件。功能强大但简单的 EDM 能够大量安全地注册戴尔边缘网关和嵌入式 PC，实现升级、计划任务，以及实时监控和配置的自动化。此外，用户通过 EDM 的集中报告和控制多个站点位置，可更轻松地进行远程设备管理。

　　人工智能和物联网将是企业用户下一轮 IT 战略重点。如果说全业务数字化加快了私有云的普及，全业态数字化使混合云成为协作创新的业务平台，那么，与人工智能和物联网紧密相关的全产业数字化将驱动云计算向雾计算的延伸。跨“云”和“雾”的动态资源配置，跨多协议的数据采集、转化和分析，云的“雾”外延，成为决定云计算长期投资回报，以及云计算是否能支撑未来人工智能和物联网发展的关键。

　　相对于传统应用，人工智能和物联网的工作负载特点更适合于云原生应用的部署。混合云成为支撑人工智能和物联网的新 IT 常态。然而，如何保证负载的高可移动性，防止 “云孤岛”的产生，同时评估哪种云更能满足“云”到“雾”的外延，将成为用户评估下一代云技术的核心指标。

　　戴尔科技通过给用户提供灵活的混合云方案和技术，结合 OpenFog 参考架构，以及 SAP Leonardo Edge Platform，让用户可以快速实现从“云”到“雾”的延伸。同时，戴尔 IoT 网关让用户可以跨多种技术、协议，实现数据采集、转换和分析。通过智能网关识别，提高物联网业务的稳定性和安全性。此外，戴尔边缘管理器以及智能终端结合超融合和高性能服务器，可为用户提供端到端的“云”和“雾”平台和方案，让企业能够智能地提升最终用户的使用体验。戴尔科技通过强大的技术和方案组合、跨云和雾的参考架构和产品组合，让用户在数字化转型过程中，获得持续的 IT 升级能力，提高从 B2C(业务到消费者)到 C2B(消费者个性化驱动)，再到 D2B(数据驱动业务)的智能创新升级能力。

       定义云深度学习平台什么是云深度学习?随着机器学习的发展，单机运行的机器学习任务存在缺少资源隔离、无法动态伸缩等问题，因此要用到基于云计算的基础架构服务。云机器学习平台并不是一个全新的概念，Google、微软、亚马逊等都有相应的服务，这里列举几个比较典型的例子。

　　定义云深度学习平台什么是云深度学习?随着机器学习的发展，单机运行的机器学习任务存在缺少资源隔离、无法动态伸缩等问题，因此要用到基于云计算的基础架构服务。云机器学习平台并不是一个全新的概念，Google、微软、亚马逊等都有相应的服务，这里列举几个比较典型的例子。

　　第一个是Google Cloud Machine Learning Engine，它底层托管在Google Cloud上，上层封装了Training、Prediction、Model Service等机器学习应用的抽象，再上层支持了Google官方的TensorFlow开源框架。

　　亚马逊也推出了Amzon machine learning平台，它基于AWS的Iaas架构，在Iaas上提供两种不同的服务，分别是可以运行MXNet等框架的EC2虚拟机服务，以及各种图象、语音、自然语言处理的SaaS API。

　　此外，微软提供了Azure Machine Learning Studio服务，底层也是基于自己可伸缩、可拓展的Microsoft Azure Cloud服务，上层提供了拖拽式的更易用的Studio工具，再上面支持微软官方的CNTK等框架，除此之外微软还有各种感知服务、图象处理等SaaS API，这些服务都是跑在Scalable的云基础平台上面。

　　相关厂商内容

　　基于卷积神经网络在手机端实现文档检测 阿里巴巴集团千亿级别店铺系统架构平台化技术实践 携程第四代架构之软负载 SLB 实践之路 解读百度PB级数据仓库Palo开源架构 相关赞助商

　　与100+国内外技术专家探索2017前瞻热点技术

　　以上这些都是业界比较成熟的云深度学习平台，而在真实的企业环境中，我们为什么还需要实现Cloud Machine Learning服务呢?

　　首先国外的基础设施并不一定是国内企业可以直接使用的，而如果只是本地安装了TensorFlow，那也只能在裸机上进行训练，本地默认没有资源隔离，如果同时跑两个训练任务就需要自己去解决资源冲突的问题。因为没有资源隔离，所以也做不了资源共享，即使你有多节点的计算集群资源，也需要人工的约定才能保证任务不会冲突，无法充分利用资源共享带来的便利。此外，开源的机器学习框架没有集群级别的编排功能，例如你想用分布式TensorFlow时，需要手动在多台服务器上启动进程，没有自动的Failover和Scaling。因此，很多企业已经有机器学习的业务，但因为缺少Cloud Machine Learning平台，仍会有部署、管理、集群调度等问题。

　　那么如何实现Cloud Machine Learning平台呢?

　　我们对云深度学习服务做了一个分层，第一层是平台层，类似于Google cloud、Azure、AWS这样的IaaS层，企业内部也可以使用一些开源的方案，如容器编排工具Kubernetes或者虚拟机管理工具OpenStack。有了这层之后，我们还需要支持机器学习相关的功能，例如Training、Prediction、模型上线、模型迭代更新等，我们在Machine Learning Layer层对这些功能进行抽象，实现了对应的API接口。最上面是模型应用层，就可以基于一些开源的机器学习类库，如TensorFlow、MXNet等。

　    整个Cloud Machine learning运行在可伸缩的云服务上，包行了模型开发、模型训练，以及模型服务等功能，形成一个完整的机器学习工作流。但这并不是一个闭环，我们在实践中发现，线上的机器学习模型是有时效性的，例如新闻推荐模型就需要及时更新热点新闻的样本特征，这时就需要把闭环打通，把线上的预测结果加入到线下的训练任务里，然后通过在线学习或者模型升级，实现完整的机器学习闭环，这些都是单机版的机器学习平台所不能实现的。

　　打造云深度学习平台主要包含以下几个组件：首先是客户端访问的API Service，作为服务提供方，我们需要提供标准的RESTful API服务，后端可以对接一个Kubernetes集群、OpenStack集群、甚至是自研的资源管理系统。客户端请求到API服务后，平台需要解析机器学习任务的参数，通过Kubernetes或者OpenStack来创建任务，调度到后端真正执行运算的集群资源中。如果是训练任务，可以通过起一个训练任务的Container，里面预装了TensorFlow或MXNet运行环境，通过这几层抽象就可以将单机版的TensorFlow训练任务提交到由Kubernetes管理的计算集群中运行。在模型训练结束后，系统可以导出模型对应的文件，通过请求云深度学习平台的API服务，最终翻译成Kubernetes可以理解的资源配置请求，在集群中启动TensorFlow Serving等服务。除此之外，在Google Cloud-ML最新的API里多了一个Prediction功能，预测时既可以启动在线Service，也可以启动离线的Prediction的任务，平台只需要创建对应的Prediction的容器来做Inference和保存预测结果即可 。通过这种简单的封装，就可以实现类似Google Cloud-ML的基础架构了。

　　架构上进行了分层抽象，实现上也只需要三步。

　　第一步是创建一个Docker镜像，下面的Dockerfile例子是从TensorFlow项目中截取出来的，官方已经提供了一个可以运行的Docker镜像，通过加入定制的启动脚本就可以实现开发环境、模型训练以及模型服务等功能。

　　第二步是实现一个标准的API服务，下面是一个Python实现的实例，用户发送一个启动训练任务的请求，服务端可以解析请求的参数和内容，并将任务提交到Kubernetes等后端集群中。

　　第三步是生成Kubernetes所需的文件格式，下面的JSON文件大家也可以在GitHub中找到，实现了将分布式TensorFlow任务提交到Kubernetes集群中运行。

　　我们通过简单的三个配置就可以完成机器学习任务从本地到云端的迁移过程，也就是实现了Cloud Machine Learning服务。前面提到云深度学习平台需要支持资源隔离和资源共享，这是如何实现的呢，其实Kubernetes本身就有这个抽象，用户可以在请求时申明需要的CPU、内存、甚至是GPU资源，通过cgroups、namespace等容器技术来实现资源隔离，而kube-scheduler实现了资源调度和资源共享等功能。实现自研或者公有云的Cloud Machine Learning平台，开发者可以很容易提交训练任务、创建模型服务等，但在一个真实的机器学习场景中，只解决计算资源的隔离和调度是远远不够的，我们还需要重新思考如何集成数据处理、特征工程等问题。

　　重新定义云深度学习平台TensorFlow是一个可用于深度学习的数值计算库，基于TensorFlow可以实现MLP、CNN、RNN等机器学习模型，但有了它是不是就不需要Spark呢?他们的关系是什么?

　　在生产环境中，我们发现TensorFlow并没有完全取代已有的大数据处理工具，我们需要用Spark做数据分析和特征工程，还需要数据仓库等服务去存储和查询结构化数据。TensorFlow是一个非常优秀的深度学习框架，但在真实场景中用户还需要一些PowerGraph处理的图关系特征作为输入，这都是单独一个框架无法解决的。对于用户的建模流程如何组织、如何做数据清洗、如何做特征抽取、如何上线训练好的模型、如何预估模型效果，这些可以使用Azure ML Studio工具去完成，而且是TensorFlow所缺乏的。

　　前面我们介绍了Cloud Machine Learning，可以实现一个类似Google的分布式、高可用、带集群编排的计算平台，但这远远不够，因为我们还需要使用大数据处理的框架，包括MapReduce、流式处理、图计算等框架。TensorFlow只是整个机器学习流程里面做模型训练其中一部分，我们可能还需要Kubernetes做CPU、GPU的管理和调度。如果我们要完成一个机器学习的业务，就需要同时掌握TensorFlow、Spark、Hadoop、Hive、Kubernetes等框架的原理和应用，而不只是提供一个Google Cloud-ML或者AWS服务就够了，这也是我们要重新定义Cloud Machine Learning的原因。

　　前面在客观上我们需要这么多知识，但主观上我们希望有什么呢?我们更希望有一个从数据处理到模型训练再到模型上线的一个全闭环服务，而不仅仅是机器学习框架或者通用计算平台，我们希望不写代码就可以做特征抽取的工作，我们希望机器学习的工作流是很容易描述的，而不需要通过编写代码的方式来实现，我们需要一个很灵活的基础架构可以支持各种异构的计算资源，我们希望平台是可拓展的可以实现自动Failover和Scaling。 除了前面提到的Google、微软、亚马逊做的云机器学习平台，我们还需要从IaaS、PaaS、SaaS多维度上提供使用接口，满足不同层次用户的使用需求，另一方面这应该是低门槛的产品服务，让任意的领域专家都可以轻易使用。

　　后面我们会介绍在真实场景下如何改造Cloud Machine Learning平台，并且介绍第四范式对外提供的低门槛、分布式、高可用的先知机器学习平台。

　　第四范式的云深度学习实践经验第四范式先知平台是一个基于Cloud的全流程机器学习产品，用户通过Web登陆到先知平台就可以使用模型调研、预估服务的功能，并且可以通过拖拽的方式来描述机器学习的工作流 。

　　它的使用步骤如下，第一步是数据预处理，用户不需要写Spark代码而只需要拖拽出一个图标，我们称之为一个算子，然后就可以提交数据清洗等数据预处理任务了。通过拖拽数据拆分算子，可以将数据集拆分为训练集和测试集两部分，其中一部分留在左边用于特征抽取。一般来说，用Spark、Mapreduce等开源工具也可以做特征抽取，但对编程技能和工程能力有一定的要求，我们通过定义特征抽取的配置或者脚本，让用户可以不写代码也可以实现对原始数据集的特征工程。然后，连接我们自主研发的高维逻辑回归、高维GBDT等模型训练算子，也可以连接基于开源的TensorFlow或者MXNet等框架实现的算法。最后，经过模型训练得到模型文件后，用刚刚拆分出来的测试集进行模型预测，还可以使用通用的模型评估算子进行AUC、ROC、Logloss等指标的可视化展示。

　　在先知平台上，用户只需要通过构建流程图的方式，就可以实现数据处理、模型训练等功能，真正解决真实场景下机器学习业务的问题。在先知平台的最新版本中，提供了以极高的效率生成特征工程配置脚本，获取自主研发的LR、GBDT算法的最佳参数等AutoML特性。这些特性能够大幅降低在获取一个有效建模方案过程中的重复性劳动，也可以有效辅助数据科学家获得对数据的初步理解。在一些场景下，能够获得媲美甚至超越专家建模的效果。

　　目前先知平台主要解决以下几个目标场景：

　　简化数据引入，平台不要求数据必须使用分布式存储，也可以直接从RDBMS这类的SQL数据库中导入训练样本数据。

　　简化数据拆分，用户不需要写Spark代码，只需要提供数据拆分后的存储路径，并且支持按比例拆分或者按规则拆分两种模式。

　　简化特征抽取，平台支持连续特征、离散特征的抽取和组合，对于连续特征支持自动化的多分桶算法，我们也会归纳常用的特征抽取方法并且封装成脚本或者配置，用户只需了解对应的配置而不需要自己编码实现具体的逻辑。平台还可以根据已有的特征配置自动进行特征组合拓展，提升模型效果。

　　简化模型训练，平台可以支持开源的机器学习算法实现和第四范式自主研发的超高维度LR算法，这个LR算法实现了Parameter server可以解决几十亿、上百亿特征维度的高速分布式训练问题。对于学习率、正则化参数等可以做到自动调优。另外，平台还提供了线性分形分类器等扩展算法，可以无须人为干预的更加有效利用数值类特征。

　　简化模型评估，得到模型预估结果后，我们可以计算模型的ROC、Logloss、K-S等指标，不同模型计算指标的方式是类似的，用户就不需要重复编写实现代码，直接通过拖拽算子调用即可，以上都是先知平台所解决的问题。

　　简化模型上线，对于常见的高维LR/GBDT模型，可以一键发布为线上服务实例，不仅简化了模型的部署和运维，而且上线实例还包括大部分的特征工程逻辑，无须手动再次开发特征处理逻辑的线上版本。

　　目前，先知平台已经成功应用于银行、金融和互联网等各行各业，基于“先知平台”的反欺诈模型能够帮助银行在毫秒级识别可疑交易，同时在新闻、视频、音频等内容推荐场景下，“先知平台”也成功大幅度提升关键业务指标。此外，在赋能企业利用机器学习升级运营效率的同时，更有意义的是，“先知平台”也极大地降低了机器学习的使用门槛。

　　作为一个针对全流程机器学习业务的人工智能平台，先知封装了从数据处理、模型训练到模型上线和反馈更新的系统闭环，用户不再需要很强的编程技术和工程能力，领域专家和业务人员都可以通过推拽方式进行建模和上线，帮助企业快速实现从数据收集到业务价值提升的终极目标。

　　随着专利算法的不断更新，更加实时高效的极致工程优化，未来先知平台将进一步降低人工智能工业应用的门槛，帮助越来越多的企业享受人工智能服务。

　  这几年，云计算在IT技术领域大放异彩，成为引领技术潮流的新技术。不过云计算的发展并不是一帆风顺，也面临着不少严峻问题，尤其是安全问题，安全问题已经严重影响到了云计算的普及，不少人对云计算持怀疑态度，不愿将隐私数据信息交由云计算来处理。的确，云计算的到来，给IT系统尤其是数据中心带来了极大挑战，在不同层面都要面临新的安全问题。那么，云计算面临着哪些安全威胁呢?本文就来详细说一说，只有正视这些问题，才能解决这些问题，让云计算不再是襁褓中的婴儿，变得强壮起来。云计算技术面临着四个方面层次的安全威胁。

　　认证层次

　　云计算支持海量用户认证与接入，对用户的身份认证和接入管理必须完全自动化，为提高认证接入管理的体验，需要云简化用户的认证过程，比如提供云内所有业务统一的单点登录与权限管理。支持移动性和分布式网络计算也是云计算的重要特征，这增加了用户认证管理的难度，为了实现用户随时随地都可以访问云计算资源，就要接受来自不同位置，不同客户端的登录访问，如果认证入口被入侵者攻破，如同攻打一座城池时，攻破了大门一样，必将长驱直入，拿下这座城池了。入侵者一旦进入内部云计算系统，必然可以掌握内部资源，做一些破坏或者窃取的坏事，给云计算用户带来严重损失。入侵者通常利用租用的虚拟机发起攻击，或者攻击虚拟化管理平台，利用操作系统或网页漏洞，非法截获用户数据，非法获取用户密码，非法获取敏感信息。所以把好云计算的大门非常重要，不然所有的数据都呈现给了非法入侵者，要做好身份验证，甄别正常用户，对于一切不合法用户说不。

　　数据层次

　　云计算要处理海量数据，而且这些数据还采用的分布式计算，即很多数据计算是由处于各处的计算资源共同完成的，这样有大量的中间数据需要通过网络传递，这个过程是没有保护的，存在极大的安全隐患。不仅是处理中的数据，存储在数据中心里的数据也存在安全威胁，这些数据可以加密保存，用户可以通过客户端加密数据，然后将数据存储到云中，用户的数据加密密钥保存在客户端，云端无法获取密钥并对数据进行解密。还有当用户从云中推出后，该用户的数据空间可以直接释放给其它用户使用，这些数据如果不及时清空，其它用户就可获取到原来用户的私密信息，数据存在泄露可能。云计算缺乏对数据内容的辨识能力，拿到数据后往往直接计算，缺少检查和校验机制，这往往会使一些无效数据或者伪造数据混在其中，一方面可能影响计算的结果，另一个方面也占用大量计算资源，影响云计算效果。

　　虚拟层次

　　云计算将虚拟化技术运用得淋漓尽致，可以说没有虚拟化技术，云计算就失去了存在的意义。然而，虚拟化技术本地放大了安全威胁，将系统暴露于外界。虚拟机动态地被创建、被迁移，虚拟机的安全措施必须相应地自动创建、自动迁移，可虚拟机本身就是可以在二层网络中任意迁移，安全防护很难针对虚拟机做防护，尤其在迁移的过程中。虚拟机在没有安全措施或安全措施没有自动创建时，容易导致接入和管理虚拟机的密钥被盗、相应的服务遭受攻击、弱密码或者无密码的账号被盗用，虚拟化增大了安全威胁，且没有很好的手段去防护。众所周知，Hypervisor为虚拟化的核心技术，可以捕获 CPU指令，为指令访问硬件控制器和外设充当中介，协调所有CPU资源分配，运行在比操作系统特权还高的最高优先级上。一旦 Hypervisor被攻击破解，在Hypervisor上的所有虚拟机将无任何安全保障，直接暴露在攻击之下，这将给系统带来极大隐患。

　　网络层次

　　云计算依仗网络来完成分布式计算，云计算本质就是利用网络，将处于不同位置的计算资源集中起来，然后通过协同软件，让所有的计算资源一起工作完成某些计算功能。这样在云计算的运行过程中，需要大量的数据通过网络传输，在传输过程中数据私密性与完整性存在很大威胁，而传统计算就不会涉及，传统计算直接将数据放到某个特定服务器上来完成计算，只要这个服务器有安全防护，基本可以保证计算过程不受干扰。在云计算过程中，则要考虑网络安全因素，目前有人提出量子通信，就是为了解决网络数据传输过程中的安全问题，若能在云计算计算过程中，数据传递过程中数据进行量子加密，将极大提升安全防护能力，减小安全威胁。云计算必须基于随时可以接入的网络，便于用户通过网络接入，方便地使用云计算资源，这使得云计算资源需要分布式部署路由、域名配置复杂，更容易遭受网络攻击。对于IaaS，DDoS攻击不仅来自外部网络，也容易来自内部网络。包括隔离措施不当造成的用户数据泄漏，用户遭受相同物理环境下其他恶意用户攻击等等，传统网络面临的攻击，在云计算环境中都存在，并将威胁放大，所以需要针对云计算所在的网络环境制定安全防护方案。

　　云计算可能遭受的威胁绝大多数来自以上介绍的四种威胁，不同层次的威胁，其相应的安全保障措施也不同。很多安全技术专家针对不同层次的威胁，也展开了相关技术研究。就当前云计算环境的安全威胁，依然拿不出令人信服的安全防护手段，这使得人们对云计算的安全问题很是担忧。云计算若不能很好地解决掉新技术所带来的安全威胁，就无法真正获得广泛的用户支持，难以推广普及。