“推拉”结合：互联网应对流量压力

　　今天，我们已经进入到了一个“无处不网络”的时代。IT产业以及互联网的发展速度超出了我们的想象。在这样的发展速度和规模之下，我们对于互联网的依赖度和要求也越来越高，这使得互联网架构本身面临着前所未有的压力。在这一背景之下，针对互联网流量优化和应用优化的技术，获得了极大的发展空间。

　　不可否认，互联网已经成为人们日常生活和社会经济正常发展不可或缺的部分。与此同时，随着各类移动智能终端的日益普及，以及各类无线移动接入技术的广泛部署，移动互联网正在成为新兴的增长点。而云计算、物联网、移动互联网等相关产业的兴起，更是极大地扩展了互联网的内涵和外延。

　　现状：流量持续增长 网络面临挑战

　　互联网规模的扩大、业务种类的增多以及用户数的攀升，直接导致了网络流量的迅猛增长。根据Cisco Visual Networking Index (VNI) Forecast的预测，2015年全球互联网总流量将是目前的四倍，达到每年约966 Exabytes，相当于2.5亿张DVD的容量。同时，更多的视频数据将在互联网上传输，预计到2015年，每秒钟将会通过互联网传输100万分钟视频，而传送3D电视和高清视频的流量，则会增长14倍。在用户数方面，预计到2015年互联网用户将增长到30亿户。平板电脑、手机及其他智能终端设备的普及，使得2015年的网络互联设备总数将达到150亿台，而这又进一步带动移动互联网的流量攀升。根据预测，2015年这一数字将达到2010年的26倍，每月高达6.4 Exabytes。

　　互联网和移动互联网业务规模与商业价值的快速扩张，带来了网络流量的指数级激增，给传统的网络管理带来了诸多的挑战。

　　1. 网络拥堵，QoS缺失。由于“带宽杀手业务”(如P2P、视频、下载等)的泛滥，大量数据在网络上被无序重复传输，使得传统依赖于互联网的应用系统传输速率慢、用户体验差、关键业务带宽缺乏保障。而运营商单纯的网络容量扩容速度远远赶不上流量的增长，从而不能改善网络拥堵的现状。

　　2. 投资成本激增，网络投资回报率低。新的互联网业务和应用，使得互联网公司能够从终端销售、应用下载、流量分成、广告收益等多个方面获得丰厚的回报。而与之形成鲜明对比的是，视频、音乐、游戏占用了越来越多的网络带宽，运营商为此支付了高额的建网与扩容成本，投资回报率却大幅降低。

　　3. 助长互联网免费经济模式，影响网络健康发展。互联网免费经济模式造成了网络经济产业链的严重失调，“流量经济”得不到价值体现。互联网的长期发展应该创造对版权的保护、对信息流的定位及区分，从而为电信运营商、内容与服务提供商以及用户等带来经济效益。

　　探索：

　　流量优化和应用优化

　　流量的无序激增和IP网络天生的技术缺陷，加剧了网络运营商“管道化”趋势，使网络成为“哑”管道，严重影响了互联网生态链的健康发展。为了解决流量增长带来的问题，IT业界和学术界已经开始探索网络流量管理的办法，并且通过运用CDN、缓存及流量控制管理等技术手段，实现网络流量从无序化向有序化发展，提升网络带宽的利用率和有效性，提高网络投资回报率，推动互联网络健康发展。

　　现有主流的互联网流量优化技术主要包括内容分发网络(Content Delivery Network，CDN)和基于缓存的流量管理系统。

　　内容分发网络是美国麻省理工学院研究小组所提出的用于解决网络拥塞的方案。研发者随后在1998年成立了Akamai公司，目前这一公司已经成为全球规模最为庞大的CDN服务商之一。CDN网络的诞生，大大改善了互联网的服务质量，因此，传统的大型网络运营商纷纷开始创建自己的CDN网络。2000年，蓝汛在国内较早建立了专门的CDN服务网络China Cache。截止目前，CDN网络已经被广泛部署于全球各大骨干网络中。

　　内容分发网络的目的，是通过在现有互联网中增加一层新的网络架构，将互联网中的内容推送到最接近用户的网络“边缘”，使得用户可以从具备更低延时、更高传输率以及更优质量特性的本地服务器中获取到所需要的内容，从而达到解决互联网网络拥塞状况，提高用户获取资源效率，减少响应时间的要求。作为新兴的网络加速技术，CDN技术综合采用了分布式缓存/复制、负载均衡、流量工程和访问重定向等技术。国内利用了CDN技术的网络流量优化厂商包括蓝汛、网宿科技等。

　　内容分发网络系统一般由内容缓存设备、内容交换机、内容路由器、内容管理系统等部分组成。

　　流量缓存技术最早应用于互联网web系统中，随着网络应用类型和流量模型的变化，流量缓存技术也被广泛应用到了视频服务、P2P服务等众多领域中。2004年，英国的Cachelogic公司率先将流量缓存技术应用于视频服务、P2P服务等互联网领域。2006年，以色列的OverSi、美国的PeerApp、中国的东方网信等公司相继推出了各自的流量缓存技术产品。

　　流量缓存系统的基本思想就是以“存储换带宽”。这一设计理念是指在网络“边缘”部署缓存服务器，用以缓存互联网内容，并利用海量存储实现流量的本地化。通过利用缓存内容服务的后续请求，过滤掉重复的网络流量，从而有效缓解互联网出口流量压力，并大幅提升用户体验，帮助运营商从容应对互联网流量的冲击。从技术原理上来分析，CDN解决的是可管理内容在互联网上有效传输到用户的问题，而流量缓存解决的是用户访问互联网海量内容的流量优化和本地加速问题。与采用CDN技术进行流量优化相比，缓存技术具有投资少、见效快的特点，其适用的对象包括电信、广电等宽带运营商，也包括网络视频等大型互联网内容运营企业。

　　传统的流量缓存系统主要是面对Web流量进行缓存。随着互联网视频以及P2P应用的持续增长，现有的缓存系统也在不断地向综合化缓存方向发展，并能够对互联网上的主流Web、在线视频和P2P等大流量应用同时提供缓存。

　　一般来说，流量缓存系统可以采用旁路或者串入方式进行部署，旁路部署的方式通常采用分光和镜像两种方法复制网络流量。流量缓存系统通常和深度包检测DPI(Deep Packet Inspection)设备进行集成部署，从而为用户提供“疏堵结合”的流量优化方法。

　　CDN和流量缓存系统因其自身的特点，在诸多的互联网流量优化技术中脱颖而出，获得了较快的发展，已经在运营商和互联网用户中获得了广泛的部署。

　　技术：

　　“推拉”机制

　　CDN能够利用最近的网络资源来服务用户请求，加快远程访问速度，减少远程访问带宽，分担网络流量，实现热点内容主动传送、自动跟踪和自动更新，且发布的内容受到版权保护。

　　缓存技术的优点是能够利用缓存流量来减少网间重复流量，减轻网络出口拥塞。缓存数据直接服务于用户，加快了用户请求的响应时间，另外，缓存副本能够保证在远程服务器发生故障的情况下继续为用户提供服务，从而使得网络具有高可用性。同时，缓存系统的投资更低，各地运营商也可自主部署。

　　CDN技术是一种将互联网传送内容送达到最终用户的机制，可简称为“推”机制；而缓存技术则代表了一种最终用户从互联网主动抓取内容的机制，可简称为“拉”机制。随着互联网内容的爆炸式增长，由于人工推送存在局限性，单纯依靠主动推送方式是不能够及时反映互联网流量热点状况的，而采取用户主动发起的“拉”机制，更能够符合现有网络发展的趋势。此外，缓存系统的部署通常采用旁路方式，当系统发生故障时也不会对原有网络产生影响。

　　在可以预见的未来，移动互联网、物联网以及云计算将成为推动互联网网络流量及应用优化市场增长的主要驱动力。艾瑞咨询数据显示，2011年中国移动互联网市场规模已经达到393.1亿元，同比增长97.5%，预计2015年市场规模将达到4252.7亿元，2011~2015年年复合增长率将达到81.4%。根据工信部预测，我国物联网市场规模在2015年将达到5000亿元规模。在云计算领域，计世资讯发布的调研数据预测，2011年~2015年中国云计算市场年复合增长率在50%以上。移动互联网、物联网和云计算的高速发展，将直接推动互联网流量和应用优化服务需求的激增。受以上因素影响，2011年中国互联网网络流量及应用优化市场规模已经达到了73.1亿元，预计到2016年市场规模将达到211.2亿元，2012~2016年复合增长率为23.6%。

　　CDN技术2000年前后就被引入国内，是目前应用最广泛的互联网网络流量优化技术。网宿科技2011年CDN收入规模达到3.4亿元，增长82.8%；蓝汛在2011年的CDN业务收入规模也达到6.2亿元，增长56.5%。这两家厂商目前已经占据了国内整个CDN市场近50%的份额。

　　缓存技术虽然起步较晚，但是保持了爆发式的发展势头，在未来几年将保持较快的增长速度。目前在国内进行缓存技术开发和应用的企业中，东方网信起步较早，技术相对成熟，市场占有率较高。2009年后，随着市场对缓存技术的逐渐认可，国内陆续有厂商进入缓存市场，包括思朗特、阿尔卡特朗讯、美勋智、华为等。思朗特、美勋智企业规模较小，目前主要集中在中小ISP市场，产品基于国内应用环境开发，本地化程度高。阿尔卡特朗讯在收购Velocix后，利用缓存技术弥补了其流控产品在市场竞争中的短板。华为也借助缓存技术实现了现有产品的优化组合。

　　展望：内容交换改变架构

　　未来的互联网需要具备更好的可扩展性和高效率的内容分发能力，因此，面向内容的网络将是未来网络架构演进的一个重要方向，其优势主要有三点。

　　首先，将CDN、P2P系统中通过预设方式产生的内容索引和内容缓存，变为随着内容产生和分发而在网络上随时进行的行为。同时，将针对特定应用的CDN、P2P系统，变为针对网络上各种内容的内容存储、缓存分发网络，提高了内容的分发效率和范围。

　　其次，打破了只能利用特定CDN、P2P系统内已划定副本的限制，使网络上存在的内容副本都能被利用，并遵循就近性、带宽最大、负载最轻等原则，选择合适位置的副本来实现内容分发效率的最大化。

　　第三，嵌入网络的缓存可以使路径上传输过的内容留下副本，减少网络上所传输的重复内容。

　　目前，国内已经有学者提出了内容交换网的概念。内容交换网这个概念代表了更适合内容分发的一种新型的网络架构。内容交换网的核心思路是对内容的交换，其本质是通过对内容的标识、索引、查找、存储和缓存实现内容在节点之间的高效传输，利用P2P、CDN、Cache等技术的优势，实现具备分布式、高效、低成本、提升QoS、高可靠性、可管可控以及可扩展特性的，基于IP层之上的应用层内容交换网络。

　　在未来相当长的一段时间内，受移动互联网、物联网、云计算等产业的快速发展影响，传统基础数据网络环境难以满足爆发式网络流量递增的情况还将持续存在，互联网网络流量及应用优化市场也将随之保持增长趋势。内容交换网络作为结合了CDN和缓存技术优点的下一代网络流量优化技术，将逐步成为未来发展的主流。

　　工业和信息化部电信研究院 蒋林涛