云邮,为业务铺路
- 来源:信息方略 smarty:if $article.tag?>
- 关键字:云邮,业务 smarty:/if?>
- 发布时间:2013-10-31 12:55
目前我国证券公司多使用自建邮件系统进行日常办公及业务邮件处理。证券公司定期或不定期为其客户提供专业性的分析研究成果及指导意见,此成果大多以电子文档的形式通过电子邮件投递给客户,尤其目前各类营销服务工具繁多,但EDM仍为主要营销服务方式。研究报告的发送不仅给邮件系统的软硬件资源带来巨大压力,也容易造成办公网络拥堵从而影响其他业务的开展。由于企业办公网络往往并非针对此类大压力业务所设计,若为应对此类业务独立搭建一套系统,在系统闲置时会造成大量的资源浪费。
全球技术研究和咨询公司Gartner分析师预计,包含技术的消费化、虚拟化和大幅增加的用户流动性等在内的五大趋势,将会促使企业迅速采用云服务。云计算技术正在企业中紧锣密鼓部署的时代,尤以金融业务性质的企业来说,业务响应高效、运维成本低的特点,更使云技术部署诱惑力难以抵挡。
需求凸显
邮件发送速率慢、送达率低,是很多公司面对的难题。邮件的发送速率和邮件服务器的性能及网络带宽有直接关系。由于受带宽及服务器性能的限制,不管如何优化邮件服务器的数据处理性能,邮件都无法及时发送。并且由于受国内外各反垃圾邮件组织对邮件规则限制所致,许多邮件都被当做垃圾邮件而屏蔽掉,致使邮件无法送达。
如何在高效、高可扩展的前提下,实现“节流”,这在当今更新换代速度飞快的时代,是各类系统广受关注的焦点。邮件系统往往存在建设成本、运行成本高的问题,邮件系统的架设,从服务器、网络设备、邮件系统软件的采购,网络带宽的开通,到日常运营维护,处处都要投资。并且设备、软件及网络带宽升级的投入也增加了邮件系统的运营成本。邮件系统扩展性差,外围系统对接的困难也普遍存在。传统的邮件系统,往往只作为单一的邮件系统进行应用,只负责日常往来邮件的处理及简单的第三方SMTP接入,并且受软件系统的限制,对于邮件处理过程中需要的大量数据统计及数据传输则很难实现。
应云而生
基于不定期的大量群发邮件,且发送邮件带有超大附件的情况下,民生证券经过多方技术论证,最后决定基于灵活性更强、具有高可用性的公有云平台资源来构建一套群发邮件系统。在系统建设初期,根据业务部门对邮件系统建设的总体需求及要求,由技术部门牵头,组成了项目建设团队。
系统的设计及建设总体分为两个阶段:第一阶段,就是完成“发送”的建设。系统实现邮件发送的正常化和常规化,满足员工及外围系统的对接,实现邮件发送的有效性、及时性及送达率;第二阶段,是完成“量化”的建设。利用云计算的特性,系统实现个性化管理需求及统计、监控需求。在满足日常应用管理的基础之上,根据外围系统的需要,实现个性化统计、监控及数据的实时传输。
民生证券股份有限公司技术总监颜阳介绍说:“云邮借助了万兆光纤的接入,没有采用任何本地存储。云主机一律通过块存储模式将外部存储通过万兆光纤接入计算单元。这样的好处是如果云主机出现了问题,数据和承载数据的云主机操作系统将保持完好无损。”同时磁盘冗余度可高达100%,热备盘设备中存有32块热备盘,RAID控制器发现磁盘逻辑报警即会立刻自动调用热备盘进行替换。仅此一项的32块热备盘的规模就超过部分中低端云计算厂商平台的正常能力。除了超高的安全度之外,千片磁盘同时也提供了超强的单点性能。云主机可以通过VSP获取超过100000IOPS的性能,这为大批量邮件的转发提供了坚实的基础。
由此解决了多数企业邮件系统部署过程中最为棘手的安全问题。
为了追求高稳定性,民生的云平台设备均采用冗余设计,从电力、网络设备到服务器都采用M+N模式,整个平台不存在单点故障。整体云平台经过严格的测试,可提供99.99%可用的服务,并经过人保认证,获得高额保险,投资高达千万人民币。单台磁盘量高达千块,相比较12至24块硬盘左右的企业级存储,不管从冗余安全度还是设备性能上都高出数倍至数百倍;所有板卡和模块均采用双活机制,是世界上仅有的几种SLA高达100%的运营级存储设备之一,由此,云计算硬件资源保证了群发平台的稳定性。
Gartner调研副总裁MatthewCain在谈及云计算邮件系统时指出,云邮面临的最大两方面费用,之一即存储空间。民生的邮件群发平台构建在云平台上之上,因此群发平台的扩展能力取决于云平台的扩展能力,云平台并未采用相对廉价的机架式服务器结构,而采用了全刀片结构,高效了空间利用。通过刀片结构,民生云邮有能力在单点提供更多的内存和计算性能,更高的密度也进一步降低了单点故障的可能性。当大量的群发业务发生时,在几分钟内就可以扩展出几十台主机并入现有的群发平台。
关于系统运维,民生采取了平台日常监控的方式。对于流量监控,监控平台对每一台邮件发送服务器进行流量监控,采集单台流量及总流量的实时信息。根据阀值设置,动态分配每台邮件发送服务器的流量配置,做到资源的充分利用。在主机存活方面,监控平台对每一个服务器进行监控,当各主机间出现网络链接异常或服务器运行异常情况时,会及时发出报警,通知工作人员对主机进行检查。
监控平台对每一个服务器的CPU、内存、硬盘的使用率进行监控,并分别设置阀值,当使用率达到阀值后会发出报警邮件,通知工作人员对主机进行检查。任意一台出现异常而无法正常工作时都会及时切换至备用服务器,保证邮件系统正常运行。系统配置18台发送服务器集群,若其中一台服务器出现异常并不会影响整个集群的运行。
由于采用了公有云的构架,相对于自建邮件系统的内部运维压力得到大大的减轻。在云服务端有专业的运维团队对平台进行7*24小时运维,保证平台的稳定运行。对于邮件系统私有云平台,建立了完善的监控机制及应急恢复措施,一旦发生硬件故障,会在极短的时间内启动备份系统进行邮件发送,并且对邮件集群的关键数据,如邮件发送队列,DNS缓冲条目等进行分析,并且系统会每天对国际上垃圾邮件过滤组织的黑名单进行定时扫瞄,确保IP地址的有效性,保证邮件的送达率。
探索前进
云计算技术在企业中的应用处于不断摸索、逐渐成熟的阶段,尤其对于具有金融性质的企业来说系统建设意义重大,同时也困难重重。在第一阶段的建设中,民生的云邮也遇到了很多挑战,其中,如何在短时间内完成十万级带大附件的邮件投递就是问题之一,保持公司自有办公网出口带宽不增加,最大限度节省办公网带宽使用量,并在保证发送及时性的前提下确保邮件投递送达率。
每逢特定时段(季末、半年末、年终),由于研报量的大幅增加,邮件的发送量也会突增。对于云平台来说,提供弹性计算能力是云平台的一个特色之一,在系统设计初期,系统前端的服务器配置了完善的任务分配机制,当邮件发送量增加的时候,可以对新加入发送集群的云服务器合理的分配发送任务。并且在网络带宽出口上,也可以实现“按需调整,动态分配”的原则,以满足在此阶段,邮件发送的及时性要求。为保证系统稳定、高效的运行,整个邮件平台先后共架设了20多台云服务器,并且可以根据业务的情况随时动态增加服务器,采用前中后台独立模式,构建邮件发送集群。与此同时,在业务不繁忙期间配以独享百兆,业务繁忙期间更可以临时增加到千兆级别的互联网带宽作为邮件接收和发送的通道,确保邮件能以最快的速度投递到目标地址,由此云技术弹性的优势得到充分发挥。
民生云邮实现了“一次上传,分拆入列,批量发送。”邮件的投递速度与邮件服务器的互联网带宽大小成正比,同邮件服务器自身数据处理性能也有很大的关系。根据需求,在既满足邮件发送速度,同时又不影响公司互联网带宽占用量的前提下,采取“一次上传,分拆入列,批量发送”的策略,即在一封邮件里,将所有的收信人地址都“抄送或密送”发给邮件服务器,然后利用邮件服务器的智能识别系统进行邮件地址的智能拆分,均匀推送到前端邮件发送服务器上进行邮件的正常发送。这样,既大大的减少了邮件上传时带宽的占用量,同时也提高了邮件发送的效率。
“瞬息万变的金融领域,研报类邮件有其特殊的及时性要求,一篇研报,即使有非常高的参考价值,如果邮件不能及时送达,也必将失去其应有的价值。”颜阳介绍说。因此这也是传统邮件服务器的瓶颈所在。为了保证及时性,确保送达率,云邮件系统在设计之初,就将此两点作为首要条件,贯穿整个系统的建设。邮件的及时性与邮件发送服务器的出口带宽有直接关系,而送达率则与邮件发送服务器的互联网地址的诚信度有关。为了达到目的,系统在建设过程中采取了一系列解决措施和规避办法。例如,动态出口带宽设置,固定域名,IP地址池,动态轮循等措施。
项目团队通过对公司使用人员操作习惯的归纳总结后,实现了云邮项目中Outlook与服务器端的连接采取SSL加密协议进行通讯,与普通邮件服务器不同之处在于没有使用开放协议。对于本次的项目中使用SMTP/POP3这样的开放式协议,安全稳定无疑成为重中之重的要素,同时也要兼顾使用性和实用性原则。
相比传统邮件系统的架设,民生的云邮件系统主要采用云计算系统,利用云计算技术的特性完成邮件系统的建设,不论是在系统的建设周期、系统建设成本、人力成本,还是在系统日常运维,应用效率上皆优于传统邮件系统的建设,达到了双赢目的、具有推广价值。
田鸽
