欢迎来到杭州市云计算与大数据协会

热门推荐
联系方式
  • 2664758533
  • 0571-87758272
  • jd@hzcca.org zly@hzcca.org
  • hzyxmsc

您的位置:首页>>热门推荐

  • 中国移动联手深信服共推VR云,加速5G+VR产业应

        11月23日,以“和创未来,智连万物“为主题的2017(第五届)中国移动全球合作伙伴大会,在广州保利世贸博览馆隆重举行。

      本次大会,中国移动发布业界领先的VR云解决方案,该方案由中国移动牵头, 联手深信服、英伟达等业界具有顶尖技术能力的公司合力打造。

    blob.png 

      中国移动5G聚焦多领域开展创新合作,在虚拟/增强现实领域,中国移动VR项目经理李可认为:“用边缘网络进行VR渲染,可以大幅提升画面质量与用户体验,同时降低头盔价格,从而推动VR设备普及。”

    blob.png 

      作为被行业定义为未来5G杀手级应用的VR,一直是中国移动重点关注的技术。VR游戏云解决方案的诞生,正是中国移动在未来5G应用领域的一个深度探索预研项目,探索VR在5G下的应用价值和效果体验,并以此作为技术框架来构建一个交互式的VR游戏体验大型平台,让用户足不出户即可享受身临其境的高端游戏快感。

      本次大会发布的VR游戏云解决方案集合了业界顶尖的云、管、端技术,其中云平台由深信服打造。

      深信服通过超融合+桌面云方案构建了VR云基础设施,该方案深度融入英伟达GPU技术,从而实现3D游戏的渲染和交付,为用户提供超预期的游戏体验。

    blob.png 

      深信服所构建的VR云平台核心功能包括:

      超融合技术实现对VR游戏所需的计算、存储、网络和GPU资源的统一管理。

      自研的SRAP桌面协议实现对3D游戏画面及动作的实时捕捉,并快速交付给用户,轻松应对超大型3D游戏体验。

      基于深信服云计算技术所构建的VR云解决方案,不仅让VR游戏体验更流畅、更清晰,而且整个平台充分展现了简单、稳定、安全、易用的特性,受到中移动及合作伙伴的广泛认可。

    blob.png 

      5G的应用领域越来越清晰,GPU的应用也日趋广泛。作为产业发展的领导者,中国移动联合合作伙伴群策群力,共建生态,可以预见,在不远的将来VR云将成为人们的日常应用,甚至于AI云的诞生也不再是空谈。此次深信服作为中国移动的紧密合作伙伴,展现了深信服在5G+AI创新应用上的探索与贡献。

      深信服基于超融合架构的云计算解决方案凭借自身强大的技术实力和广泛的业界合作, 在AI领域已经迈出坚实的一步。未来,深信服云计算将持续助力AI融合解决方案产业化,成为5G+AI生态中的重要一环。

      关于深信服云IT

    凭借深信服十多年的网络安全技术基因,深信服云 IT包含企业级云、桌面云、分支云、公有云“四朵云”业务,能够为用户提供从数据中心、分支网络到桌面终端完整的、安全的云计算产品、解决方案及服务,致力于让企业的关键应用上云更简单、IT服务更高效、让每个组织的IT更具价值创造力。

    ——CCTIME飞象网


    查看详情
  • 云系统管理是IT专业人员面临的一大挑战

      公共云管理工具的发展和应用至今已有一段时间,但是成本控制和管理是云计算管理人员将要面临的一大挑战。

      将业务迁移到云端的企业起初将安全作为首要考虑,但逐渐认识到还面临着更大的挑战。跨异构平台管理性能和控制成本的问题可能让经验丰富的云用户感到棘手。

      因为很少有企业质疑是否应该将其业务和信息放入公共云中,所以公共云的采用量正在稳步增长,而目前遇到了一些问题。

      为了有效地管理云部署,IT部门需要了解云系统管理与传统系统管理的区别,通过各种供应商提供的工具来选择合适的管理平台。

    blob.png 

      市场研究机构Enterprise Management Associates(EMA)公司的管理研究主管Torsten Volk表示,公共云的应用目前已经十分广泛:79%的企业至少采用一个公共云服务,而35%的企业采用的公共云服务超过四个。云采用正在以健康的速度增长。Volk表示,2017年,19%的企业计划将剩余数据中心应用程序迁移到公共云中。

      由于云计算已经成为商业运营的核心,IT问题已经转移。EMA公司表示,控制公共云成本成为2017年企业的首要问题。Volk说,在很多情况下,企业面临的问题包括云部署,资金浪费,不可预知的账单,以及供应商锁定。

      处理管理孤岛

      部分问题是跨组织的不同团队对不同的公共云平台拥有管辖权。在某些情况下,企业的业务部门可以完全控制。DevOps组织经常管理他们自己的云服务。而IT支持是分散的。有些组织按平台分组,一组运行Amazon Web Services(AWS)部署,另一组运行Microsoft Azure。在其他公司中,IT人员监控所有云应用程序。

      调研机构Gartner公司研究副总裁Mindy Cancila表示:“云管理系统已经以一种孤立的方式进行部署。因此,应用程序,管理工具和业务流程都混杂在整个组织中,造成效率低下。”

      寻求帮助纠正这个问题的企业会感到不知所措。云系统管理已经成为一个没有定形的短语。随着数据中心技术的发展,市场上出现了各种各样的管理工具。不同的产品提供的各种功能有时重叠,有时却没有共同的线程。

      传统上,系统和网络管理主要集中在两个方面:性能和可用性。BMC Software,CA Technologies,HPE,IBM,微软公司等厂商提供的工具可以监控服务器、网络和存储系统处理信息的速度。而其历史数据使组织能够确定故障点。

      企业对这种能力的兴趣已经消退。虚拟化和云计算大大改变了计算机基础设施处理信息的方式。现代工作负载不再依赖于特定的硬件,他们动态地在不同的系统中迁移。如今,流量模式变化如此之大,以至于监控物理服务器的网络流量的措施是有限的。

      不过,传统管理供应商已经调整了他们的产品,以提供对私有云和公共云的洞察力。过去曾经使用这些云系统管理工具的企业对此最感兴趣。用户界面通常是一致的,并且客户了解如何与供应商交互。

      此外,Abiquo,Flexiant,Embotics和Egenera等供应商也提供了私有云平台。这些工具专注于特定的硬件,并逐渐得到增强,以支持更广泛的平台,其中包括公共云系统。

      公共云加剧了管理的复杂性

     

      公其云供应商(如AWS,Microsoft和Google)提供了其他监控选项。这些云计算提供商开发了管理自己服务的工具。他们的工具提供迁移和监视功能,但是这些平台是特定的,这日益成为一个重要的限制因素。

      而且,公共云也带来了系统管理的新方法。越来越多的企业不得不证明云系统管理成本的合理性。公共云比替代品成本更低的概念并不成立,而企业对系统定价一直保持宽松的态度,他们经常发现这些服务的成本高于预期。作为回应,供应商提供了一些财务管理工具,如Cloudability,Cloudyn和Digital Fuel。

      变革的快速步伐

      各种云系统管理工具都提供了一整套功能。首先,技术人员花费大量的时间来管理计算基础设施。IT技术人员可以采用一些产品从统一的成本和性能数据的单一界面进行工作。

      如今,企业发布软件的速度越来越快,只需按几个按钮即可完成新的部署。

      DivvyCloud公司首席运营官Peter Scott说:“几年前,我们合作的一家游戏公司每个月都进行100到125次更改,而如今这家公司每小时需要进行数千次更改”。

      云系统管理工具支持降低不合规风险和可能的安全漏洞的治理框架。在这里,管理工具可确保各个系统使用一致的功能集。

      这种功能吸引了圣路易斯的一家系统集成商World Wide Technology。该公司每周都有500名开发人员与运行超过35,000个系统的客户一起工作。直到2015年底,该公司难以统一管理云计算软件。该公司云计算自动化业务负责人Jim Melton表示:“我们希望确保新的工作负载能够以一致的方式创建。”该公司最终选择了思科公司的CliQr主动管理软件的新版本。

      采用云系统管理工具也可以使企业能够控制成本。RightScale公司首席执行官Michael Crandell表示,在越来越多的案例中,DevOps的员工将启动一个测试系统,运行测试并保持运行。这些工具识别了不必要的开支,以便企业可以将未使用的系统以降低云成本。

      由于这些好处,企业正在越来越多地购买这些工具。Gartner公司的Cancila说:“现在企业对采用云管理工具十分感兴趣。”

      控制混乱的业务

      控制混乱需要进行大量的工作。首先,企业必须掌握他们拥有多少云应用程序。通常,运行的云应用程序比IT人员预期的要多,所以进行盘点是一个很好的开始。

      为了更紧密地管理云计算,IT部门需要拥有监督权力。 DivvyCloud公司的Scott说:“我们看到企业的CIO正在介入,并负责云管理选择。”

      IT负责人必须协同工作,这个部门需要依靠高层的支持来实现一致的业务流程,但是采购审批通常仍然来自企业管理人员和管理部门,比如法律和财务部门。

      云系统管理工具需要跟上新API支持的不断变化的特性。例如,这些工具可以使用已建立的接口,但不能使用新的云服务,例如Amazon Lambda或Azure功能。

      市场出现整合的迹象

      近几年来,很多新公司进入云管理领域,也使市场一直动荡不安。 Gartner公司的Cancila说:“云管理市场将很快进入收购模式。2016年3月,思科公司以2.6亿美元大举收购了CliQr。2017年1月,惠普公司收购了Cloud Cruiser。”

      云管理行业可能会得到进一步的整合。VMware的跨云服务计划通过收购vSphere来实现,AWS和IBM Bluemix提供管理功能。EMA公司的Volk预计,微软公司将加强其尚未发布的AzureStack,以便与第三方系统和云服务协同工作。AWS和微软这两个行业巨头将给其他供应商带来巨大的压力,甚至像IBM和思科这样的公司。

      越来越多的企业正在转向云端。现在,他们需要为这些平台开发严格的管理功能。鉴于动态的市场格局以及面临多种选择,确定正确的云系统管理工具对企业来说往往是一个难题。

     


    查看详情
  • 云计算托管将在2018年成为主流

          自1991年互联网诞生以来,尽管传统托管模式存在很多弱点,但网络托管却几乎没有变化。调研机构普华永道的Paul Lantsbury概述了掌握决策的方法。

      实用主义者表示不需要云计算托管,并引用了“如果没有破坏,就不要修复”这样的格言,但是这个格言并不适用,因为传统的托管模式一直存在问题。

      共享托管

      采用共享托管,组织就可以得到其想要的东西。如果每月的支付金额是每月3美元,那么组织将获得一台拥有数百个网站的服务器,并且具有在其网站上同时使用三个用户的处理能力。共享托管的价格较低,但这是它唯一的优势。

    blob.png 

      只要组织的网站开始对同一服务器上的其他共享托管账户产生负面影响,那么其虚拟主机将要求“升级”到虚拟专用服务器(VPS)账户。

      虚拟专用服务器(VPS)托管

      虚拟专用服务器(VPS)上的托管是一种折衷,它比专用的服务器便宜,但是为组织的网站保证了CPU和其他服务器资源的共享。

      在虚拟专用服务器(VPS)托管中,使用软件物理服务器划分为多个虚拟专用服务器。如果物理服务器上的任何一个网站崩溃或遭到黑客入侵,都会影响该服务器上的每个虚拟专用服务器(VPS)。

      专用服务器托管

      采用专用的服务器,组织可以自己控制,但是其价格很高。组织还可以在其专用主机服务器上安装所选择的任何软件,并将自己的整个服务器安装到网站上,并且其网站不会受到其他网站上的高流量级别的影响。

      云计算托管与传统数据中心托管

      所有的传统数据中心托管有三个明显的缺点:

      很难扩展。即使有专用的服务器,当组织的设备达到能力极限时,需要升级到更高的配置,这将花费更多费用。

      可能被12-36个月的合约捆绑。

      功能强大的服务器的费用非常昂贵。

      云计算在这些关键领域如何更好地托管?

      扩展 - 如果组织需要更多的处理能力,只需要添加更多的内存或固态硬盘容量就可以解决问题,然后再进行缩减。使用云计算服务器托管,使其像移动滑块一样简单,如下所示。

    blob.png 

     

      12个月的合同 –组织每次支付一个月的云计算托管费用。没有比这更灵活的了。如果其用户群增长,只需添加更多的服务器容量。如果组织增加其推广活动力度,只需升级其服务器,直到需求再度减少。

      高成本 – 组织的云托管账户资源一次订购一个月,所以组织不必为高规格的服务器支付更多的费用,而只能使用一年的三个月。

      选择云计算托管提供商

      查看用户对云计算托管提供商的评论是组织选择托管供应商的第一步。与传统数据中心的托管一样,客户的评价是衡量托管公司服务的最佳方式。

      不要听从附属公司的偏见,如果组织通过链接购买托管服务,托管服务商很少公开宣称他们获得佣金是多少。而应该查看大量受访者的客户满意度调查的评论。

      一个服务和信誉良好的公司会有很高比例的回头客和令人印象深刻的客户服务。

      组织提前确定自己需要的功能。如果不需要采用数据中心的服务器,那么采用其他的服务。大多数企业所需要的是达到99.9%的正常运行时间。并且还有其他成本更低的方法来获得保护,而不是寻找提供100%正常运行时间的托管服务商。

      寻求获得诸如短期折扣,网站迁移和免费SSL证书等额外服务,但更重要的是要检查实际的停机时间以及每次停电的时间长度,以获得提供服务套餐的现实想法。

      通过采用云计算托管服务,组织可以灵活地使用专用服务器来支付虚拟专用服务器(VPS)托管账户的费用。比共享托管区得有更多的管理,而一个服务良好的托管服务将提供网站指南来提供帮助。

      与其他云计算应用程序一样,云计算托管的知名度也越来越高,为其在未来12个月的采用铺平了道路。

     


    查看详情
  • 云计算市场发展仍存在七大障碍

          如果说中国IT界最火的词,那非云计算或云莫属。不管是新兴的云服务商,还是传统的软件提供商,以及科技公司,都在大吵“云计算”。但是,我们看到这个市场依然发展缓慢,进度不是特别快。虽然我们看到有些企业已经上云或者考虑上云,但是云计算市场依然存在着一些障碍。

    blob.png 

      一、市场常见的困惑

      虽然新技术来势汹汹,但是我们看到很多企业,包括个人都处于观望状态。因为我们不知道,快速采用这个新技术是否能带来好处,以及如何采用更简单。云计算服务与市场持续不断地发展,在IT领域中是显而易见的。

      不管的演进意味着持续的改变,但也带来不少的困惑和不确定性,这也是目前云计算服务市场无可逃避的现状和事实。

      市场的复杂度与太过广泛的产品和服务,让企业却步,无法得到预期的结果。至于各类不同云方案的差异性、数据保护措施、测试与价格策略等方面,还是有很多方面会让用户感到困惑和疑虑。

      二、定价差异化

      市场中,传统、保守且僵化的定价策略随处可见,与云计算最基本的适用性、灵活性与可延展性等特色背道而驰。

      客户因为选择了最便宜或最简单的市场方案,而没有考虑到是否适合自己的长期需求,结果做出了错误决定。

      而错误的决定会让用户产生很大的挫败感,进而成为云计算市场上的错误示范。

      三、缺乏中立的市场

      云计算技术的演进是相当重大的变革,也造成云计算市场的激烈竞争。而云计算方案的问世也无疑是IT工程领域发展的重大里程碑。在云计算的演进过程中,想要使云计算市场像过去一样保持积极的发展,有赖诸多组成要素的不断改良,但因为缺乏中立的市场,也形成了目前市场垄断的现象。

      四、缺乏技术标准

      由于云计算市场仍然处于持续发展及演化中,因而与形成最佳实践和技术标准仍有明显差距。

      从长远来看,能够提供涵盖透明化技术标准、互操作性与兼容性特色的解决方案提供商,才能在IT市场原有众多具有历史性的品牌中脱颖而出。

    blob.png 

      五、提供商及厂商的锁定策略

      锁定策略的出现与中立市场的缺乏有非常紧密的关联性,因为大型提供商常常投入大量的精力在建立客户对其产品环境的依赖性上,因而发生市场垄断的局面,这种情况与云互操作性与兼容性的准则相违背。

      六、担忧数据保护与法规框架的合规性

      使用云计算意味着在客户端和服务商之间会有数据的互动行为。在选择采用何种云方案时,云服务功能与操作性的特质就会引发数据保护与数据安全的议题,也成为需要优先评估的重点之一。

      七、购买云服务之前无法测试

      对用户来说,在购买产品之前进行测试是一个重要的需求。尤其在云服务上执行安全测试更是重要,因为云方案可能是黑客明显的攻击目标。

      然而,相关条件与惯例仍然无法允许用户在转移到云方案之前,先行测试云服务的适用性。

     


    查看详情
  • 云计算将死亡

    blob.png 

       云将会走向终结。我知道,这是一个大胆的结论,也许听起来有点疯狂。但请容忍我,让我说下去。一直以来,都有这样的一个传统观点:运行服务器的应用程序,无论是Web应用还是移动应用的后台,未来都会在云端。亚马逊、谷歌和微软在他们的云服务中添加了多种工具,让在其中运行的软件服务变得越来越简单方便,因此,在AWS、GCP或Azure上托管代码是你能到的最好的事情——它方便、便宜、容易实现自动化,你可以灵活地控制规模……

      那么,为什么我要预测这一切都会结束呢?有这么几个原因:

      第一,它无法满足长期的扩展要求。

      构建一个可扩展、可靠、高可用性的web应用程序,即使是在云中,也是相当困难的。如果你做得不错,让你的应用获得了巨大成功,那么庞大的规模将会耗尽你的金钱和精力。即使你的业务非常成功,你最终也会达到云计算的极限:计算机的计算速度和存储容量的增长速度超过了网络的带宽。

      忽略网络中立的争论,这对大多数人来说可能不是问题(除了Netflix和亚马逊),但很快就会出现这个状况。随着我们的视频质量从HD到4K到8K,我们正在所需要的数据量正在大幅增长,而且,很快就会出现VR数据集。

      这之所以是一个问题,主要是因为我们组织网络的方式。有许多用户想要获得内容和使用程序,而只有相对较少的服务器拥有这些程序和内容。比如,当我在Slack上看到一张搞笑的照片时,想向坐在我身边的20个人分享,但他们都必须从托管服务的服务器上下载,服务器需要发送20次这个照片。

      随着服务器转移到云端,比如亚马逊或谷歌的数据中心的亚马逊或谷歌的计算机,靠近这些地方的网络需要有令人难以置信的吞吐量来处理所有这些数据。此外,还必须有大量的硬盘来存储每个人和CPU数据,然后通过网络将数据传输给每一个想要的人。随着流媒体服务的兴起,情况变得更糟。

      所有这些活动都需要大量的能量和冷却,使整个系统效率低下、价格昂贵,对环境也不利。

      第二,它是集中而脆弱的。

      集中存储我们的数据和程序的另一个问题是可用性和持久性。如果亚马逊的数据中心被一颗小行星撞了,或者被龙卷风摧毁了怎么办?或者,如果它在一段时间内停电了,那又会怎样呢?存储在其机器上的数据现在不能暂停访问,甚至不能永久丢失。

      我们通常通过将数据存储在多个位置来缓解这个问题,但这只意味着更多的数据中心。这可能会大大降低意外损失的风险,但你非常非常关心的数据又该怎么办呢?你的婚礼视频,你孩子成长的照片,或者重要的公共信息来源,比如维基百科。所有这些信息现在都存储在云端——在Facebook、Google Drive、iCloud或Dropbox等网站上。当这些服务停止运营或失去资金时,数据会发生什么变化?即使它们不会发展到这一步,但也限制了你访问自己数据的方式,你必须去使用它们的服务,当你和朋友们分享的时候,他们也必须通过这项服务。

      第三,它需要信任,但没法提供保障。

      使用云服务,你要让朋友相信,他们得到的数据是你发送的,而且这个数据是通过值得信任的中间人传递过来的。在大多数情况下,这都能够良性运转,也可以接受,但我们使用的网站和网络必须要注册才能合法运营,监管部门有权力强迫它们做很多事情。在大多数情况下,这是一件好事,可以用来帮助解决犯罪或从网络上删除非法内容,但也有很多情况下,这种权力被滥用。

      就在几周前,西班牙政府竭尽所能阻止加泰罗尼亚地区的独立公投,其中采取的措施就包括封锁信息网站,告诉人们该去哪里投票。

      第四,它让我们的数据更容易遭受攻击。

      高度集中的互联网真正可怕的一面是个人数据的集中化。那些为我们提供服务的大公司都有大量的数据——这些数据包含了足够的信息,可以预测你将要购买什么,你会投票给谁,你可能会买房子,甚至你可能会有多少孩子。这些信息足以用你的名义去办理一张信用卡、一笔贷款,甚至是用你的名字买一所房子。

      而且,你也可能会同意。毕竟,你选择了它们的服务,你就只能信任它们。但这不是你需要担心的。你需要担心的是其他人。今年早些时候,信用报告机构Equifax丢失了1.4亿名客户的数据,这是历史上最大的数据泄露事件之一。这些数据现在已经公开。我们可以把这看作是一个十年一次的事件,如果我们更加小心的话,这种情况本可以避免,但越来越明显的是,像这样的数据泄露很难完全避免。而且一旦出现就过于危险,无法容忍。真正阻止这类事件再发生的唯一办法是,一开始就不收集这么大规模的数据。

      那么,什么将取代云呢?

      主要由客户端-服务器协议(如HTTP)支持的互联网和基于对中央机构(如TLS)的信任的安全性是有缺陷的,并且会导致一些基本上难以解决或无法解决的问题。现在是时候去寻找更好的东西了——一个没有其他人能完全存储你的个人数据、大媒体文件遍布整个网络的模型框架、整个系统完全是点对点和无服务器的(我不是指那种云托管意义上的“无服务器”,我的意思是真正的没有服务器)。

      在这个领域,我已经阅读了大量的文献,并且已经非常确信点对点是我们未来不可避免的发展方向。点对点网络技术是用协议和策略来取代我们所知道的网络的构建模块,解决我上面提到的大部分问题。目标是完全分布式的,永久冗余的数据存储,每个参与网络的用户都在存储其中一些可用数据的副本。

      

    blob.png 

     

      如果你听说过BitTorrent(比特流),那么下面这些内容听起来应该会很熟悉。在BitTorrent上,网络用户不需要任何中央机构授权就可以将大数据文件分成更小的块或片段(每个块都有一个唯一的ID)。要下载一个文件,你只需要一个“神奇”数字,也就是一个哈希(hash),即内容的指纹就行了。然后,你的BitTorrent客户端将会按照“内容指纹”找到那些拥有文件片段的用户,并从他们那里把一个个文件片段下载下来,直到你拥有所有的片段。

      一个有趣的点是如何去匹配用户。BitTorrent使用了一种名为Kademlia的协议。在Kademlia,网络上的每个对等点都有一个唯一的ID号,其长度与唯一的块ID相同。它会将一个带有特定ID的块存储在一个节点上,该节点的ID与该块的ID“最接近”。块和网络对等点的随机ID,在整个网络中存储的分布应该是相当一致的。不过,块ID并不需要随机选择,而是使用一种加密散列——这是块本身内容的唯一指纹,这是有好处的。保证这些块是可寻址的。这也使得验证块的内容更加容易(通过重新计算和比较指纹),并能够保证用户不可能下载原始的数据之外的其他数据。

      另一个有趣的特性是,通过将一个块的ID嵌入到另一个块的内容中,你可以将二者以一种不会被篡改的方式连接在一起。如果链接块的内容发生变化,它的ID将会改变,链接也会被破坏。如果修改了嵌入式链接,那么包含块的ID也会随之改变。

      这种将一个区块的ID嵌入到另一个区块的机制,使得创建这样的区块链成为可能(比如为比特币和其他加密货币驱动的区块链),甚至是更复杂的结构,通常被称为有向无环图(Directed Acyclic Graphs),简称DAG。(在Ralph Merkle发明了这种链接之后,通常被称为“Merkle链接”。所以,如果你听到有人在谈论Merkel DAGs时,你大概能知道他们在说什么。)Merkle DAG的一个常见例子就是Git存储库。Git将提交历史和所有目录和文件都保存在一个巨大的Merkle DAG中。

      这就导致了基于内容寻址的分布式存储的另一个有趣特性:它是不可变的。内容无法改变。取而代之的是,新的修订被存储在现有的修订版本旁边。在两次修订之间没有变更的块会被重用,因为根据定义,它们具有相同的ID。这也意味着相同的文件不能在这样的存储系统中复制,转化为高效的存储。所以在这个新网络上,每一张独一无二的搞笑图片都只存在一次(尽管在整个群体中有多个副本)。

      像Kademlia,Merkle链和Merkle DAG这样的协议,给我们提供了建模文件层次和修订时间线的工具,并在一个大型的P2P网络中分享它们。已经有一些协议使用这些技术来构建符合我们需求的分布式存储。看起来很有希望的是IPFS。

      名称和共享问题

      好了,通过以上这些技术,我们可以解决我在开始时提出的一些问题:我们在连接到网络的设备上得到分布式的、高度冗余的存储,这些设备可以记录文件的历史,并在需要的时候保留所有版本。这(几乎)解决了可用性、容量、持久性和内容验证问题。它还解决了带宽问题——因为都是使用点对点传输数据,因此不会出现服务器承受不了的情况。

      我们还需要一个可扩展的计算资源,但这并不难:现在每个人的笔记本电脑和手机都比大多数应用程序所需要的功能更强大(包括相当复杂的机器学习计算),而且计算通常都是可伸缩的。因此,只要我们能让每一台设备都为用户做必要的工作,就不会出现大问题。

      所以现在我在Slack上看到的搞笑图片可以来自坐在我旁边的同事,而不是来自Slack的服务器(在这个过程中没有跨越任何“海洋”)。不过,为了发布一张搞笑照片,我需要更新一个通道(channel)(也就是说,通道将不再是我发消息之前的样子了,它将会发生改变)。这个听起来相当简单的事情却是整个体系中最难的部分。

      最困难的部分:实时更新

      一个实体的概念会随着时间的推移而改变,这实际上只是人类专属的想法,让世界在我们的头脑中拥有秩序感和稳定。我们还可以把这样的实体看作是一个身份或名称,随着时间的推移,它会呈现出一系列不同的价值(这是静态的,不可改变的)。(Rich Hickey在他的演讲中解释得很好,戳此观看)。在电脑中模拟信息是一种更自然的方式,会产生更自然的结果。如果我告诉你一件事,我就再也不能改变我对你说的话了,也没办法让你忘却。例如,美国总统是谁,不会随时间而改变;只是会被同样性质(身份和名字)的其他事实(人)所取代。在Git的示例中,一个ref(分支或标记)可以在不同的时间点指向(持有一个ID和一个值)不同的提交,并提交一个提交来替换当前所持有的值。Slack通道也代表了一种身份,随着时间的推移,它的价值也在不断增长。

      真正的问题是,我们并不是唯一一个拥有通道的人。很多人试图发布消息和改变通道,有时是同时进行,需要有人来决定结果应该是什么。

      在中心化的系统中,当前几乎所有的web应用程序,都有一个中央实体来决定这个结果,并对事件进行序列化。然而,在一个分布式系统中,每个人都是平等的,因此需要有一种机制来确保网络上能够达成共识。

      对于一个真正的分布式网络来说,要想解决这个问题,最困难的问题就是我们今天正在使用的所有应用。它不仅会影响并发更新,还会影响其他需要“实时”更新的更新——随着时间的推移,“真相的单一来源”正在发生变化。这个问题对于数据库来说尤其困难,它也会影响到其他关键服务,比如DNS。以分散的方式为特定的块ID或一系列ID注册一个人的名字意味着每个参与者都需要同意一个现有的名称有一个特定的含义,否则两个不同的用户就可以看到两个不同的文件在同一个名称下。基于内容的寻址解决了机器的问题(记住一个名字只能指向一个特定的匹配内容),而不是人类的问题。

      在处理分布式的共识方面,有一些主要的策略。其中一个问题是,选择一个相对较小的“群体”经理,他们的机制是选出一个决定真相的“领导者”(如果你感兴趣的话,看看Paxos和Raft协议)。所有的变化都要经过这些经理。这实质上是一个集中式的系统,可以弥补网络中的中央决策实体或中断(“分区”)的丢失。

      另一种方法是像比特币区块链这样的基于验证的系统,在这种系统中,通过让用户解决一个“难题”来编写一个更新(例如,在Merkle链中添加一个有效的区块)来达成共识。这个“难题”很难解决,但很容易就能查到,如果冲突仍然存在,还需要一些额外的规则来解决。其他几个分布式的区块链使用了基于验证的共识,同时减少了解题所需的能源需求。如果你感兴趣的话,你可以在BitFury这份白皮书中读到的相关的证据。

      针对具体问题的另一种方法是围绕着CRDT——无冲突的复制数据类型,这在特定情况下根本不会遭受共识问题的困扰。最简单的例子是一个递增的计数器。如果所有更新只是“添加一条”,只要我们确保每次更新只应用一次,顺序就不重要,结果将是相同的。

      这个问题似乎没有一个明确的答案,可能永远也不会只有一个答案,但有很多聪明的人正在努力解决这个问题,而且已经有很多有趣的解决方案可供选择。你只可以对其进行权衡。这种取舍通常体现在你“瞄准”的群体的规模上,并从你愿意让渡的共识中挑选出的一种特性——可用性或一致性(或者,从技术上讲,是网络划分,但在一个高度分布的系统中,这似乎很难避免,就像我们正在讨论的系统一样)。大多数应用程序似乎都支持可用性而不是即时的一致性——只要状态在合理的时间内是一致的即可。

      公共文件网络中的隐私问题

      需要解决的一个明显问题是隐私问题。即如何在不公开的情况下将内容存储在分布式的集群中呢?如果它能够隐藏东西,那么内容地址存储是一个不错的选择,因为为了找到某样东西,你需要知道它的内容的散列。所以本质上我们有三个层次的隐私:公共的、隐藏的和私密的。对于第三个问题的答案似乎是在密码学中 - 对存储的内容进行强加密并且要有“外在”的共享密钥(比如用纸分享、NFC设备传输或者扫描二维码等)。

      依赖于加密技术一开始可能听起来很冒险(毕竟,黑客总是会发现漏洞),但实际上并没有比我们今天做的更糟糕。事实上,这在实践中有可能会更好。企业和政府通常以无法与公众分享的方式存储敏感数据(包括数据所涉及的个人)。相反,只有拥有这些数据的组织所雇用的数量不多的员工才能够访问,而且至少在密码方面受到保护。通常情况下,如果你能访问存储这些数据的系统,你就可以拥有所有这些数据。

      但是,如果我们转而以一种本质上是公开的方式来存储私人数据,那么我们就不得不保护它(使用强大的加密技术),这样对任何获得访问权限的人来说都是不好的。这个想法与安全相关软件的开发者开源代码的初衷是一样的,这样任何人都可以查看并发现问题。知道安全系统是如何工作的,不应该帮助你打破它。

      这种对访问的控制一个有趣特性是,一旦你授予某人访问某些数据的权限,他们就会永远对数据进行修改。当然,你可以随时更改加密密钥。这也并不比我们今天的情况更糟,尽管它可能并不明显:只要获得一些数据的访问权限,任何人都可以复制它。

      这一领域的有趣挑战是,在一群需要随时间推移而改变的人群中建立一个能够验证身份并共享私有数据的良好系统。例如,在一个私有的Git存储库中有一组协作者。这绝对可以通过一些私钥密码和旋转密钥的组合实现,但让用户获得流畅的体验可能是一项挑战。

      从云到雾

      尽管要解决一些难题,我们从云计算中迁移出去,将会是一个非常令人兴奋的未来。首先,在技术方面,我们应该从点对点网络中获得相当多的改进。内容可寻址存储可以在不受信任的授权情况下,提供对内容本身的加密验证,并进行永久的托管(只要有人对它感兴趣),我们应该能看到其速度的显著提升,即使是在远离数据中心的发展中世界的边缘(甚至是在另一个星球上)。

      在某个时候,甚至连数据中心都可能成为历史。消费设备变得如此强大,无处不在,计算能力和存储空间几乎随处可见。

      对于运行web应用程序的企业来说,这一变化将会节省巨大的成本。企业也将能够减少对宕机风险的关注,更多地关注增加客户价值,让所有人受益。我们仍然需要云托管服务器,但它们只是众多同类服务器中的一种。我们还可以看到更多样化的应用程序,在这些应用程序中,并非所有的应用程序都是一样的——在同一个应用程序中,有面向消费者的和后台的,而差别只是访问权限不同而已。

      对企业和客户来说,另一个巨大的好处是对客户数据的处理。当不再需要集中存储大量的客户信息时,丢失这些数据的风险就会降低。软件工程界的领导者们(如Erlang的创始人Joe Armstrong,他的谈话很值得关注)长期以来一直认为,在互联网上,客户向企业的程序发送数据的设计是一种退化,企业应该向客户发送程序,以让他们能够执行私人的数据,而这些数据不会被直接共享。这样的模式似乎更安全,并且也不会以任何方式阻止企业收集他们所需的有用的用户指标。

      而且,当前没有什么方式能阻止混合的服务模式,这些服务不透明,并保留了私人数据。

      这种类型的应用程序架构似乎是一种更自然的方式,来提供大规模计算和软件服务,而且也更接近于开放信息交换的想法,任何人都可以方便地向他人转发内容,并控制可以发布和访问的内容,而不是由拥有服务器的私有实体来控制。

      对我来说,这是非常令人兴奋的。这就是为什么我想要组建一个小团队,在几周内,用上面提到的一些技术来构建一个简单的移动应用,来证明概念,并展示可以通过点对点网络来做些什么。目前我所拥有的唯一一个足够小的想法,能够相对快速、足够有趣,足以证明这种方法的特性是一个点对点的、真正无服务器的克隆版Twitter,但这并不特别令人兴奋。

     


    查看详情

浙ICP备11056009号-1

版权所有:杭州市云计算与大数据协会 电话:0571-87758272 传真:0571-87758273 技术支持:浙江鸿程计算机系统有限公司