数据源指的是企业内、外部数据的来源。数据源是大数据工作流的起点，一个完整的、需要不断迭代更新的数据工作都应该从数据源开始。这些数据源由于各自生产、存储环境的不同可分为日志/文件、数据库、网络爬虫、第三方API等。

1日志/文件

在企业内部数据源中，会存在各种日志或文件类型的数据，可能包括以下几类：

• 日志数据，包括机器日志、用户访问日志、监控日志等，这些日志通常都是以半结构化的文本文件进行存储。
• 视频数据，主要是动态影像数据，比如宣传视频、操作视频、监控视频、医疗视频、记录视频等，这些大多是非结构化的数据并以文件的形式进行存储。
• 音频数据，主要集中在客服坐席录音领域，以非结构化的文件的形式进行

继续阅读

现有的Excel分为两种格式：xls（Excel 97-2003）和xlsx（Excel 2007及以上）。

Python处理Excel文件主要是第三方模块库xlrd、xlwt、pyexcel-xls、xluntils和pyExcelerator，以及win32com和openpyxl模块，此外Pandas中也带有可以读取Excel文件的模块(read_excel)。

基于扩展知识的目的，我们使用xlrd模块读取Excel数据。 首先安装该库，在系统终端命令行输入命令pip install xlrd。 然后我们以“附件-chapter2”文件夹demo.xlsx数据文件为例，介绍该库的具体应用

继续阅读

在之前的文章中，我们介绍了数据降维的几种方法，包括[PCA]、[LDA]、[ICA]等，另外还有一种常用的降维方法就是因子分析。

因子分析（Factor Analysis）是指研究从变量群中提取共性因子的统计技术，这里的共性因子指的是不同变量之间内在的隐藏因子。

例如，一个学生的英语、数据、语文成绩都很好，那么潜在的共性因子可能是智力水平高。因此，因子分析的过程其实是寻找共性因子和个性因子并得到最优解释的过程。

因子分析有两个核心问题：一是如何构造因子变量，二是如何对因子变量进行命名解释。因子分析有下面4个基本步骤：

1. 确定原有若干变量是否适合于因子分析。因子分析的基本逻辑是从原始变量中构造

继续阅读

传统的降维方法，包括PCA、LDA等都是以观测数据点呈高斯分布模型为基本假设前提的，在已经先验经验知道观测数据集为非高斯分布模型的前提下，PCA和LDA的降维效果并不好；而本文介绍的ICA将适用于非高斯分析数据集，它是CIA，是主成分分析（PCA）和因子分析（Factor Analysis）的一种有效扩展。 独立成分分析（Independent component analysis，简称ICA）是一种利用统计原理进行计算的方法，它是一个线性变换，这个变换把数据或信号分离成统计独立的非高斯的信号源的线性组合。

独立成分分析的最重要的假设就是信号源统计独立，并且这个假设在大多数盲信号分离（blin

继续阅读

与线性判别分析类似，二次判别分析是另外一种线性判别分析算法，二者拥有类似的算法特征，区别仅在于：当不同分类样本的协方差矩阵相同时，使用线性判别分析；当不同分类样本的协方差矩阵不同时，则应该使用二次判别。

为了清楚的了解LDA和QDA的应用差异，下图显示了在固定协方差矩阵以及不同协方差矩阵下LDA和QDA的表现差异：

由图中可以看出，在固定协方差矩阵下，LDA和QDA是没有分类结果差异的（上面两张图）；但在不同的协方差矩阵下，LDA和QDA的分类边界明显存在差异，而且LDA已经不能准确的划分数据（下面两张图）。

那么，协方差矩阵是什么？

在统计学中，有几个描述样本分布的基本指标，例如均值、方差

继续阅读