大数据分析工具指南

大数据分析工具采购指南

大数据分析工具使用户能够分析各种各样的信息——包括结构化事务数据和社交媒体帖子、Web服务器日志文件及其他形式的非结构化和半结构化数据。一旦组织决定要购买一个大数据分析工具，下一步就是制定一个流程，评估可用的产品，然后从中找到一个最适合你需求和要求的产品。

下面我们将介绍在评估各种大数据分析工具符合企业需求的程度时可能用到的必备特性和特定属性。然后，你再编写一个预案请求（RFP），说明使用这些工具将如何解决组织的需求。

评估标准

建模技术的广度与深度。供应商已经应用了不同级别的建模，并且相应地开发了不同复杂度的分析功能。单个工具支持的分析建模广度反应了所提供的不同方法。其中一些例子包括回归技术、根据过去趋势预测变化值的时间序列模型、分类与回归树（也称为CART）和神经网络。

建模技术的深度反映了所使用方法的两个方面特征：支持更精准开发模型的算法成熟度和建模技术的灵活性。换而言之，数据挖掘和预测分析时需要使用哪一种级别的专业知识才能理解目前能够开发哪一些类别的模型及如何使用一个特定工具完成建模？

经验一般的数据分析师感兴趣的是提供大量分析功能的供应商产品，而更专业的分析师和统计师则更偏好于那些能够更深入分析特定分析模型的工具。

集成与可访问性。大数据分析应用通常依赖于越来越多的内部和外部数据源，其中包括结构化和非结构化数据。这促成了支持数据可访问性和系统集成的功能需求。这个方面要考虑的特性有：

非结构化数据使用率。确认产品能够使用不同类型的非结构化数据（文档、电子邮件、图像、视频、演示文稿、社交媒体渠道信息等），并且能够解析和利用收到的信息。

大数据可访问性。对比供应商工具连接大数据架构的方式，其中包括存储在Hadoop的分布式数据，以及各种横向扩展存储中存储的文件（例如，MongoDB或Apache Cassandra等NoSQL数据）。

与现有平台组件的互操作性。如果要在一些传统数据管理和BI技术中混搭分析方法，那么这一点非常重要。例如，许多分析工具支持通过传统的SQL查询去调用分析模型。这种形式的互操作性允许使用预测模型的结构去产生一些传统数据分析师通常都能使用的查询与报表。

连接性。一定要评估连接性，或者说产品访问其他系统的能力，以及作为数据源给现有平台提供用于生成报表和分析的能力。

易用性。有一些大数据分析产品是供应商从零开始开发的，而有一些则基于开源的R统计语言。无论是哪一种情况，这种评估类别主要关注于产品用于分析数据、开发模型和确定模型有效性与准确性的易用性。

业务分析师可用性。没有统计背景的商业分析师是否也能够轻松地开发分析和应用呢？确定产品是否提供了方便开发和分析的可视化方法。

部署不同业务用例的灵活性。相同的算法方法可以应用到许多不同行业的不同业务场景中。如果你的组织准备做的这类分析数量有限，并且集中在更为普通的用例上（如客户生命周期价值分析、欺骗行为分析或存留预防），那么你可能应该在技术选择牺牲一些灵活性。然而，如果你的组织想要一种广度更大、约束更小的分析方法，则应该寻找一些灵活性更高的建模技术。

模型评分。这包括一些额外工具，它们可以帮助分析师自动比较准确性、有效性和不同预测模型用于相似业务场景时的预测价值。

协同性。隔离分析与开发可能导致重复工作和不协调的结果。提供一种集成协同功能和在大数据分析平台中分享分析模型的手段，使分析师可以协同工作，共同优化他们的应用程序及将来重用相同的模型，从而能够降低开发成本和提高一致性。

大数据分析工具的系统管理功能

接下来要考虑将一项新技术整合到组织中的实践环节。管理与配置的简单性评估包括理解所有的系统需求及安装、配置和持续管理的依赖条件。例如，使用R统计模型的大数据分析工具要求在安装产品时同时购买和安装R环境。此外，还需要确定产品可能安装的平台，以及确定能够嵌入已开发模型和应用的平台。

其他考虑因素包括分析流程与将已开发模型加入到业务应用过程中分配角色和访问权限等安全问题。分析产品所提供的身份验证、授权和访问控制等选项。

性能

大多数高端Hadoop平台和专业设备在设计上都支持多个并行处理和分布式计算的计算节点。如果要求较高的运行性能，那么很重要的一点是所评估的产品是否支持大规模并行处理（MPP）系统配置。

使用MPP平台要求使用一组特定的工具才能高效地使用平台的性能优化机制，其中包括：

平等性和数据分发。如果要用并行进程独立处理分布式的数据集，并且要求减小网络带宽和增大数据存储位置，那么最适合使用数据并行系统。要检查产品的并行性是否能很好地吻合数据分发策略。

产品的下推功能。它使分析算法能够利用系统软件堆中其他组件的内在功能。例如，如果有一个数据库管理系统在其工具集内部提供了支持参数定制的建模工具，并且这些工具本身就经过优化和支持DBMS的架构特性。在这种情况下，分析工具最好要使用原生功能，而不要尝试替换这些功能。

可扩展性和可伸缩性。随着数据量的不断增长和数据管理平台的不断扩展，要评估不同的分析产品如何跟随处理与存储容量的增长而增长。

大数据分析工具的费用

在使用大数据技术的大部分案例中，产品的价格必须影响购买决策。有一些大数据分析工具价格昂贵，而有一些则价格较低，甚至是免费的。此外，供应商可能根据不同的定价提供不同的特性、功能或约束（如限制可分析数据容量）。

另一个要注意的问题是特殊服务需求。对于每一个评估的产品，我们都要评估它是否需要软件供应商或外部专家的帮助，才能完成安装和培训，或者提供特殊的开发服务。

此外，一定要考虑所评估的长期总拥有成本（TCO）。TCO计算应该包括年度维护费用和支持该产品的系统软件堆分摊费用，以及运维人员、数据中心空间、制冷及其他设施的分摊费用。

制定自己的RFP

根据组织的具体用例来过滤出最适合的产品，从而缩小候选供应商范围。要检查组织需求与上面的评估类别的关系，制作出一个RFP，其中除了说明关于集成、互操作性和企业明细之外的标准问题，主要关注于量化预期因素的符合程度，如分析建模、数据容量、必要知识水平和数据可访问性要求等。

确定最重要的差异性因素，如产品随着数据容量增长的扩展能力和性能，它使用非结构化数据的能力，以及建模功能的广度和深度。同时，要提出一些反映用户社区的需求，特别是分析师专业知识水平有差别或者需要企业内部协作的时候。此外，选择一种大数据分析工具的关键影响因素包括它的初始价格、人员要求和总运营成本，提出一些与评估过程相关的费用和预算问题。

说明业务需求并对它按优先级划分，然后从一组供应商产品中指定预期产品，这样可以使采购团队能够将业务需求与评估类别相关联。通过检查上面的列表、定义相关问题和规定可接受答复来配置RFP，从而确定各个特定的产品符合需求的程度。

【编辑推荐】

BI分析工具业务应用场景的注意事项

数据分析六部曲

大数据带来企业管理的颠覆性革命

为您企业找到合适的大数据设备

怎样判断一个人是否适合做数据分析？