数据分析师必备技能

1. 数据采集

了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题；同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。

2.数据存储

无论数据存储于云端还是本地，数据的存储不只是我们看到的数据库那么简单。

不同数据库和库表之间的同步规则是什么，哪些因素会造成数据差异？如何处理差异的，我们都需要考虑。

在数据存储阶段，数据分析师需要了解数据存储内部的工作机制和流程，最核心的因素是在原始数据基础上经过哪些加工处理，最后得到了什么样的数据。由于数据在存储阶段是不断动态变化和迭代更新的，其及时性、完整性、有效性、一致性、准确性很多时候由于软硬件、内外部环境问题无法保证，这些都会导致后期数据应用问题。

3.数据提取

数据提取是将数据取出的过程，数据提取的核心环节是从哪取、何时取、如何取。

从哪取，数据来源——不同的数据源得到的数据结果未必一致。 何时取，提取时间——不同时间取出来的数据结果未必一致。 如何取，提取规则——不同提取规则下的数据结果很难一致。 4.数据挖掘

数据挖掘是面对海量数据时进行数据价值提炼的关键，以下是算法选择的基本原则：

没有最好的算法，只有最适合的算法，算法选择的原则是兼具准确性、可操作性、可理解性、可应用性。

没有一种算法能解决所有问题，但精通一门算法可以解决很多问题。 挖掘算法最难的是算法调优，同一种算法在不同场景下的参数设定相同，实践是获得调优经验的重要途径。

在数据挖掘阶段，数据分析师要掌握数据挖掘相关能力。一是数据挖掘、统计学、数学基本原理和常识；二是熟练使用一门数据挖掘工具，Clementine、SAS或R都是可选项，如果是程序出身也可以选择编程实现；三是需要了解常用的数据挖掘算法以及每种算法的应用场景和优劣差异点。