随着云技术的快速发展以及国家机关对推动企业上云的支持，各行各业都在“云”中快速成长，云时代正悄然来临，云计算必将成为未来所有IT应用的基石。而大数据作为数据应用分析的基础技术，也将会变的越来越重要，大数据为人工智能提供基础物料，为企业决策者提供数据支撑。未来，大数据将成为企业、社会和国家层面重要的战略资源。大数据将不断成为各类机构，尤其是企业的重要资产，成为提升机构和公司竞争力的有力武器。企业将通过大数据实现业务创新，获取更多价值。

迅达云大数据平台，挖掘多维度热点内容分析、网站资源的关联分析评估、投诉故障定位处理，从三个层面提升网内资源引入针对性、加强已引入资源流量贡献、提高互联网业务故障投诉定位准确性。迅达云大数据平台支持多种数据源接入，以Hadoop主流框架为核心，融合优秀的开源技术，支持MapReduce，Hive，Spark等主流框架。当集群规模很大或运行时间过长时，经常会遇到某台机器宕机的情况，迅达云大数据平台可以在集群机器出现问题时，秒级感知集群状态，及时踢出或重新拉起问题机器。

迅达云大数据平台的系统架构

迅达云大数据平台将数据的完整走向分为7层：

首先，在数据源这一层，我们都知道数据有很多种，有在关系型数据里面存储的结构化数据，有日志形式的半结构化数据，也有视频音频这种非结构化数据，迅达云大数据平台可以将三大类型的数据都采集到集群中。

对于数据集成的过程，迅达云大数据平台既支持全量非实时的接入，也支持增量形式的实时接入。比如，想看一个人在某个页面停留多久，对即时性要求比较高，可以采用实时的流式接入，而对于对实时性要求不高的(比如第二天才要数据结果)，则可以采用非实时的数据接入。

数据接入进来之后，需要存储。数据的安全很重要，应对现代的应用场景，单机的存储已无法满足需求，数据丢失会导致很大损失，所以迅达云采用的分布式存储。对于结构化数据，迅达云采用的是分布式数据库来存储。而对于非结构化和半结构化数据，是Hadoop的主流框架HDFS存储。

再往上一层，经过整体的资源调度，应对不同场景，不同的处理需求，迅达云大数据可以提供离线计算、流式计算、交互式查询和内存计算，最后将处理结果可视化呈现。对于大数据的集群状态，迅达云也有运维监控平台、智能作业调度，以及元数据管理等。

迅达云大数据平台的核心功能及服务

数据源集成

支持全量离线接入和各种日志数据的增量，以及准实时接入、RDBMS的数据接入

数据存储与计算

支持不同的存储方案和计算方案，灵活满足客户的各类场景

元数据管理

通过数据地图、数据字典、数据血缘三个方面保证企业的元数据标准，同时对主题、维度、指标进行一致性定义和管理，解决了数据生产过程中的质量问题

数据应用开发

提供SQL开发、依赖配置与调度管理、交互式查询等，提高开发效率

迅达云大数据平台的优势

DNS数据分析

提供域名解析分析和运营监控的能力

日志分析

提供网络流量、访问来源、带宽利用率、丢包率、延时等与网络质量状况相关的内容

智能调度

对海量数据分析，实现对不同地域引入流量的管理，提高资源利用率

适用场景

运营商DNS日志分析

通过迅达云大数据运营平台为DNS日志提供各种维度的数据分析，解决单机服务能力的限制，提供动态计算能力和分布式数据存储功能。

DNS日志分析平台为运营商提供域名解析分析和运营监控的能力。

- 分析每天出网流量、出网趋势对比和详情

- 分析本省的各个地区的流量

- 分析移动和PC用户流量的占比

- 分析DNS解析的域名数量等情况

同时，还可为运营商提供业务分析。

- 根据现有数据和历史数据导入算法模型，预测未来IDC规模量的变化，Cache数量，CDN走势波动状况，方便运营商提前调配资源，另一方面能够及时发现流量变化问题，提高服务质量。

- 由运营商内部考校标准，通过无监督聚类算法搭建的模型，找到影响本网率的重点域名，方便运营商方与内容提供商进行相关业务沟通，从而更好地提供服务，降低运营成本和缓解通道压力。

案例：

以上是运营商日志分析结果图(此图仅作案例展示，为保护客户隐私，图片已做特别处理)，从当日用户流量的维度来看，可以很直观的看到固网用户和移动用户的比重;从流量走向的维度看，社交娱乐的流量最多;从省份维度来说，A市的流量使用占比最高。对于流量多的城市，可以调配更多资源来提高服务的稳定性。同时，也可以通过这些流量走向，利用机器学习算法来预测未来的IDC规模量变化，帮助运营商及时扩充机房，降低运营成本，缓解通道压力等等。

迅达云大数据助力运营商业务创新

网络故障预测，帮助运营商提升运维效率。对DNS解析的数量变化和成功率、CDN缓存命中率和回源量、应用服务器峰值流量和告警等数据进行进行综合分析，预测网络设备的故障率，以改进网络的可靠率。

流量分布分析，为运营商进行网规网优提供依据。按照各地市维度对网络流量的分布进行分析，掌握各地市的互联网用户访问量和网络承载能力状况，为网络扩容规划、网络结构优化提供定量化的依据。

流量流向分析，为运营商开展内容引入提供指导。通过网内和跨网流量的监测和分析，将用户跨网访问的热点内容引入到运营商网内，提升本网用户的访问体验，同时有效降低网间结算支出。

用户行为画像，为运营商开展流量经营提供支持。从海量日志信息中提取用户特征和行为数据，包括地域来源、访问时间、访问路径、访问域名等，形成用户画像，进行个性化内容推荐，增强用户粘性。

此外，迅达云大数据平台可以对不同领域的运营商进行数据的深度定制，并提供一对一的算法与服务支撑团队，利用迅达云的平台集成优势，提供一站式服务体验，降低实施和部署的成本。