2.1 数据化运营的数据来源类型

markdownCopy
1说明：本文是《Python 数据分析与数据化运营》中的“2.1 数据化运营的数据来源类型”。
2
3数据化运营的数据来源类型包括数据文件、数据库、API、流式数据、外部公开数据和其他来源等。
4
5## 2.1.1 数据文件
6
7数据文件就是存储数据的文件，广义上，任何文件中存储的信息都可以称为数据；狭义上，数据文件中存储的是以数字或文本形式存储的结构化的数据记录，本节的范围指的是后者。
8
9- 结构化数据文件大多来源于数据库，例如从 MySQL 中导出 2017-01-04 到 2017-10-21 的订单明细数据并存储为 `csv` 文件；
10- 也有来源于系统或工具的工作过程或返回结果，例如 Windows 版本的 Tesseract 文字识别后的结果会存储到 `txt` 文本文件中。
11
12数据文件常见的数据格式类型包括 `txt`、`csv`、`tsv`、`xls`、`xlsx` 等常规格式，也包括 `xml`、`html`、`doc`、`sql`、等非常规数据格式。文件格式取决于数据处理需求，也受限于来源系统的导出格式。
13
14如图 2-1 为 MySQL 5.0 版本可以导出的数据格式：
15
16[![2.1](/uploads/history_imgs/2018/02/2.1.png)](/uploads/history_imgs/2018/02/2.1.png)
17图 2-1 MySQL 5.0 版本支持导出的数据格式类型
18
19> **提示**
20> 大多数清下 `txt`（任意指定分隔符）、`cvs`（以逗号分隔的数据文件）、`tsv`（以 tab 制表符分隔的数据文件）是最常用的数据文件格式。当数据文件大小在百兆级别以下时，可以使用 Excel 等工具打开；数据文件大小在百兆级别时，推荐使用 Notepad 打开；当数据文件大小在 G 级别时，推荐使用 UltraEdit 打开。
21
22## 2.1.2 数据库
23
24数据库（DataBase）是按照数据结构来组织、存储和管理数据的仓库。
25
26数据库广泛应用于 CMS（内容管理系统）、CRM（客户关系管理系统）、OA（办公自动化）、ERP（企业资源计划）、财务系统、DSS（决策支持系统）、数据仓库和数据集市、进销存管理、生产管理、仓储管理等各类企业运营事务之中。
27
28数据库的主要应用包括数据的定义、存储、增加、删除、更新、查询等事务型工作，数据传输、同步、抽取、转换、加载等数据清洗工作，数据计算、关联查询、OLAP 等分析型工作以及数据权限控制、数据质量维护、异构数据库和多系统通信交互等。数据库按类型分为关系型数据库和非关系型数据库（也称为 NoSQL 数据库）。
29
30关系型数据库在企业中非常常见，尤其在传统企业中更为流行，常见的关系型数据库包括 DB2、Sybase、Oracle、PostgreSQL、SQL Server、MySQL 等；
31
32非关系型数据库随着企业经营场景的多样化以及大数据场景的出现，根据应用场景和结构分为几下几类：
33
34- **面向高性能并发读写的键值（Key-Value）数据库**：优点是具有极高的并发读写性能、查找速度快，典型代表是 Redis、Tokyo Cabinet、Voldemort。
35- **面向海量文档的文档数据库**：优点是对数据要求不严格，无需提前定义和维护表结构，典型代表为 MongoDB、CouchDB。
36- **面向可扩展性的列式数据库**：优点是查找速度快，可扩展性强，通过分布式扩展来适应数据量的增加以及数据结构的变化，典型代表是 Cassandra、HBase、Riak。
37- **面向图结构的图形数据库（Graph Database）**：优点是利用图结构相关算法，满足特定的数据计算需求，例如最短路径搜寻、关系查询等，典型代表是 Neo4J、InfoGrid、Infinite Graph。
38
39> **提示**
40> 关系型数据库几乎是企业数据存储的“标配”，因此掌握数据库的相关操作（主要是 `DDL` 和 `DML` 两种数据库语言）是每个数据工作者的必备技能之一。而非关系型数据库通常基于大数据平台或大数据场景下产生，并不是每个企业都有应用场景，因此该技能通常作为加分项。
41
42## 2.1.3 API
43
44API（Application Programming Interface）是应用程序编程接口，在数据化运营中的 API 通常分为服务型 API 和数据型 API。服务型 API 可以基于预定义的规则，通过调用 API 实现特定功能。例如，通过调用百度地图 JavaScript API 可以在网站中构建功能丰富、交互性强的地图应用，这种 API 下输入的是地理位置数据，从 API 获得的输出是可视化地图（服务/功能）。
45
46数据型 API 则通过特定的语法，通过向服务器发送数据请求，返回特定格式的数据（或数据文件）。
47
48例如，通过向 Google Analytics 的 Analytics Reporting API V4 发送请求来获得符合特定条件的数据记录。
49
50**API 广泛应用于企业内部和外部多系统和平台交互。API 返回的数据格式，大多数情况下是 JSON、XML 格式。**
51
52**JSON** 是一种轻量级的数据交换格式，由流行的 JavaScript 编程语言创建的，广泛应用于 Web 数据交互。JSON 格式简洁、结构清晰，使用键值对（Key:Value）的格式存储数据对象。Key 是数据对象的属性，Value 是数据对象属性的对应值。例如，“性别”：“男”就是一个 Key:Value 结构的数据。JSON 格式数据示例如下：
53
54```json
55{
56  "category": {
57    "name": "电脑",
58    "brands": {
59      "brand": [
60        "DELL",
61        "THINKPAD"
62      ]
63    }
64  }
65}

XML 是可扩展标记语言，提供了统一的方法来描述和交换独立于应用程序或供应商的结构化数据，这是一种非常成熟且强大的数据格式。像 JSON 一样，XML 提供了非常好的扩展性，API 的创建者可以使用它们创建自己的数据结构。XML 格式数据示例如下：

xmlCopy
1<?xml version="1.0" encoding="utf-8"?>
2<category>
3    <name>电脑</name>
4    <brands>
5        <brand>DELL</brand>
6        <brand>THINKPAD</brand>
7    </brands>
8</category>

#2.1.4 流式数据

流式数据指的是实时或接近实时的时效性处理的大数据流。

常见的流式数据处理使用 Spark、Storm 和 Samza 等框架，能在毫秒到秒之间完成作业，用于处理应用时效性较强的场景，例如在线个性化推荐系统、网站用户实时行为采集和分析、物联网机器日志实时分析、金融实时消费反欺诈、实时异常人员识别等，应用领域集中在实时性较强的互联网和移动互联网、物联网等。

按照数据对象来区别，流式数据可分为两类：

第一类是用户行为数据流

用户行为数据流是围绕“人”产生的数据流，包括用户在网站和 APP 应用内部的浏览、搜索、评论、分享、交易以及外部的微博、微信等行为产生的数据流。

用户行为数据流采集根据平台可分为 Web 站、移动站和 APP（包含 IOS、Android、Win 等）应用。

Web 站以及基于 HTML5 开发的移动都支持 JS 脚本采集，较早开发的不支持 JS 的 Wap 站（现在基本上很少）则采用 NoScript 方法，即一个像素的硬图片实现数据跟踪；

SDK 是针对 APP 提供了数据采集的特定方法和框架。这三种方法可以实现目前所有线上用户行为数据采集的需求。

第二类是机器数据流

机器数据流是围绕“物”产生的数据流，包括从机器的生产、制造、应用、监控和管理等过程中产生的所有数据，例如机器运行日志、传感器监控数据、音频采集器数据、监控图像和视频、GPS 地理数据等。

机器数据流通常集中在工业 4.0、智能工厂等围绕工业的智能运营管理过程中，也出现在物联网、人工智能等人和物的监控、识别、联通、互动等智能化应用中。

机器数据流扮演者实时采集目标对象属性、状态、行为、信号等数据的角色。

#2.1.5 外部公开数据

外部公开数据指公开的任意第三方都能获取的数据。数据化运营所需的外部公开数据来源渠道众多，常见的来源包括：

• 政府和相关机构提供的公开数据，例如国家统计局提供的月度 CPI 数据；
• 竞争对手主动公开的数据，例如新闻发布会、网络宣传等；
• 行业协会或相关平台组织提供的统计、资讯数据，例如艾瑞提供的行业研究报告；
• 第三方的组织或个人披露的与企业运营相关的数据，例如有关竞争对手的供应商、客户等数据。

#2.1.6 其他

在某些场景下，企业数据化运营还会有其他来源，例如通过调研问卷获得有关产品、客户等方面的数据，从第三方平台直接购买数据，通过与其他厂商合作进行数据交互等。由于这些场景比较少，并且不是企业主流的数据获取来源，在此不作过多阐述。