CCIOT · 15.1

数据与智能

让物联网数据变成有证据的判断

VER. 2608 Built with impress.js

学习目标

分析数据与智能，要看形式、质量、方法、模型和责任

01解释数据形式与大数据的 5V 特征
02读懂从采集、清洗、存储到挖掘的链路
03比较关系数据库与非关系数据库的边界
04区分描述性、预测性与指导性分析
05解释人工智能、机器学习、神经网络与深度学习的关系
06将模型输出连接到版本、复核、隐私和责任

2/25

LEARNING OBJECTIVES

数据是描述世界的符号、数值与记录

物联网把对象、状态、时空和行为持续转成可处理的信息

感知／标识／定位／行为 → 数据记录数据记录 → 计算与决策

数值

温度、速度、能耗、计数和测量值

文本与多媒体

文本、日志、图像、音频和视频

语境

对象、时间、地点、单位、来源和采集条件

Takeaway

脱离对象、时间和来源的数据很难被解释，也很难承担后续决策

3/25

DATA IN THE IOT

5V：大数据的处理难点不只在体量

大数据超出传统工具的处理能力；5V 是常用框架，不是唯一标准

体量 Volume

体量：数据规模和存储压力

速度 Velocity

速度：产生、传输和处理的节奏

多样性 Variety

多样性：数值、文本、图像、视频和日志

真实性 Veracity

真实性：来源、误差和可信条件

价值 Value

价值：能否服务明确目标的判断与行动

Takeaway

5V 要按任务综合判断，不能把数据多等同于数据可用

4/25

FIVE VIEWS OF BIG DATA

练习：一条数据还缺什么？

Exercise

数据	请写已经知道	请写仍需确认
温度读数	填写	填写
视频片段	填写	填写
车辆轨迹	填写	填写
巡检备注	填写	填写

Takeaway

真实性不是“完全没有误差”，而是来源、条件和不确定性都能被说明

5/25

DATA JUDGMENT

数据生命周期：主路径与治理分支

数据沿主路径进入分析，也会按用途分支到归档、删除与恢复

采集 → 清洗 → 组织 → 存储／查询 → 分析／行动归档／删除／恢复依用途、授权与保留要求分支

6/25

DATA LIFECYCLE

数据质量与追溯：四个关口决定可用性

每个关口都影响后续结果能否解释和复核

采集

选择传感器、位置、采样方式与成本，区分直接／间接证据

清洗

处理缺失、异常、重复、单位不一致和错误记录

组织

绑定对象、时间、地点、单位、来源和版本

追溯

保留变更、权限、查询、模型输入和恢复证据

垃圾进、垃圾出 GIGO：低质量输入会把错误带入统计、模型和行动

7/25

DATA QUALITY AND TRACEABILITY

关系与非关系数据库适合不同数据形状

选择要看模式、查询、一致性、扩展和恢复要求

关系数据库

用表、记录和字段组织结构化数据

适合明确模式、复杂查询、关联和严格事务

非关系数据库

可用键值、列、文档或图等结构保存模式变化的数据

适合海量读写、流式数据或特定关系，通常更容易横向扩展

非关系不等于无结构；两类数据库可以组合使用，选择要回到数据模型、访问模式和一致性要求

8/25

DATABASE CHOICES

练习：为数据形状选择存储方式

Exercise

数据	请写初步选择	请写还需验证的边界
传感器部署表	填写	填写
设备日志	填写	填写
实时缓存	填写	填写
设备关系图	填写	填写

Takeaway

选择要回到数据形状、访问模式和一致性要求

9/25

STORAGE JUDGMENT

数据挖掘把数据加工成可检验的模式

它从目标出发，反复清洗、分析并评估结果

目标 → 选择／清洗／集成／变换 → 分析与模式提取可视化 → 评估与决策；不合格时回到前一步

预处理

让不同来源、单位、格式和质量的数据可以一起分析

模式

分类、回归、聚类、关联、序列和异常分析

评估

判断模式是否稳定、有用、可解释并达到目标

Takeaway

没有明确目标和评估标准，挖掘出的“规律”可能只是噪声或偶然相关

10/25

DATA MINING PIPELINE

描述、预测与指导回答不同的问题

分析类型改变了证据要求和行动责任

描述性

已经发生了什么？

总结趋势、分布、关联和异常

预测性

接下来可能发生什么？

利用历史数据估计未知或未来结果

指导性

为了目标应该怎么做？

在约束下比较方案并给出行动建议

描述：已发生｜预测：可能发生｜指导：怎么做三类是常见分析目标，可组合使用；指导需目标、约束与批准

Takeaway

预测可以帮助判断未来，指导性分析还要说明目标、约束和谁批准行动

11/25

DESCRIBE PREDICT PRESCRIBE

练习：这属于哪一类分析？

Exercise

问题	请写分析类型	请写需要的证据
上周哪个区域拥堵最多？	填写	填写
明天何时可能结冰？	填写	填写
如何调整信号配时？	填写	填写
哪类设备明天最可能发生故障？	填写	填写

Takeaway

先命名问题类型，再决定模型、指标、可视化和决策流程

12/25

ANALYSIS JUDGMENT

人工智能 AI、数据挖掘与机器学习有交集

三者有交集，关注点不同，也不是上下级

流程：数据／规则 → 发现／学习／推理 → 预测／分类／决策边界：AI 关注智能行为；数据挖掘重模式发现；机器学习重数据建模

人工智能 AI

让机器模拟、延伸或扩展通常需要人类智慧的任务

数据挖掘

从数据中发现模式、关联和趋势

机器学习

从历史数据学习模型，再用于未知输入

Takeaway

机器学习连接数据与智能，但模型仍受数据、目标、环境和评估方法约束

13/25

AI AND MACHINE LEARNING

模型输出要结合条件和不确定性使用

预测结果不等于事实

训练证据

数据、标签、特征、目标函数、训练／验证／测试划分

它们共同说明模型学到了什么，并检验模型能否推广到新环境

使用证据

输入质量、分布变化、置信度、误报／漏报、人工复核和版本

它们决定当前输出能否进入行动

Takeaway

模型能力、适用范围、失败方式和接管路径要一起向使用者说明

14/25

MODEL EVIDENCE

练习：模型输出之后还缺什么？

Exercise

输出	请写可以支持的动作	请写仍需确认
疲劳风险较高	填写	填写
图像疑似覆冰	填写	填写
车辆可能等待红灯	填写	填写
未找到匹配	填写	填写

Takeaway

模型输出要与风险等级、证据质量和后续动作相匹配

15/25

MODEL JUDGMENT

神经网络用层和参数把特征映射到输出

它提供一条从训练数据学习复杂模式的路径

层内：加权＋偏置 → 激活；层间：特征逐步变换为任务输出边界：参数由训练更新，层数增加不自动带来可靠性

输入层

接收像素、词、传感器特征或其他输入

隐藏层

组合和加工特征，形成中间表示

输出层

给出分类、回归或其他任务结果

参数

训练过程中调整权重和偏置，使预测更接近目标

深度学习

使用更多层的神经网络逐步学习特征表示；层数增加不自动带来可靠性

16/25

NEURAL NETWORKS

训练循环：预测误差如何更新参数

前向、损失、反向、更新与泛化构成训练循环

01

前向传播

输入穿过各层得到预测

02

损失

比较预测与目标的差异

03

反向传播

计算损失对参数的梯度

04

更新与泛化

按梯度更新参数，再用未参与训练的数据评估

17/25

TRAINING LOOP

模型生命周期：验证、部署、监控与回滚

部署不是终点，输入、分布、版本和反馈会继续变化

训练数据 → 参数 → 验证／测试 → 部署 → 监控／更新／回滚

上线前

核对输入格式、延迟、版本和权限

运行中

监测分布变化、漂移、误报／漏报和反馈

异常时

告警、降级、回滚并保留审计记录

18/25

MODEL LIFECYCLE

练习：模型上线前后各看什么？

Exercise

阶段	请写主要检查	请写失败处理
训练	填写	填写
测试	填写	填写
部署	填写	填写
运行	填写	填写

Takeaway

模型质量是一个持续的运行问题，不能只用训练集上的分数证明

19/25

MODEL LIFECYCLE

数据智能要把模式连接到可核验的行动

不同数据，共用“数据—判断—行动—反馈”结构

数据：多源 → 清洗／对齐 → 模式／预测行动：人工复核或系统执行 → 预警／行动 → 反馈复盘；按场景取舍

数字观冰

线路、摄像头、传感器和无人机数据支持覆冰预测、预警和运维安排

信号灯倒计时

车辆时空轨迹帮助估计停车、等待和信号切换规律，支持车载导航提示

共同边界

数据覆盖、时间、模型版本、偶然性、隐私和人工核验

Takeaway

智能结果要经证据、复核和责任确认，才能进入业务行动

20/25

FROM DATA TO ACTION

用一张清单检查数据智能系统

从“模型给出结果”走到“结果值得使用”

Case

TEXT

01对象／时间 → 质量 → 挖掘／模型 → 行动 → 反馈／审计／更新

01

语境

对象、时间、来源、用途

02

质量

缺失、异常、偏差与覆盖

03

模型

数据集、版本、漂移、阈值、置信度与评估证据

04

行动

复核、权限、申诉、回滚、责任

21/25

DATA INTELLIGENCE CHECKLIST

练习：预测如何安全地影响行动？

Exercise

场景	请写模型建议	请写需要保留的边界
覆冰预警	填写	填写
信号灯倒计时	填写	填写
设备异常	填写	填写
人员风险	填写	填写

Takeaway

预测结果应提供证据，帮助人作出决定，不应绕过责任

22/25

CASE JUDGMENT

本节回顾

分析数据与智能时，按语境、质量、方法、模型和行动逐项核对

01数据与常用 5V 框架：形式、来源、体量、速度、多样性、真实性与价值
02采集存储：传感器、清洗、对象时间语境、关系与非关系数据库
03数据挖掘：选择、预处理、模式、可视化、描述／预测／指导分析
04AI 与机器学习：智能行为、数据学习、模型条件与不确定性
05神经网络：层、参数、前向／反向传播和模型生命周期
06数据智能：案例行动、人工复核、隐私、版本、审计和责任

23/25

SECTION REVIEW

本节思维导图

24/25

MIND MAP

本节问题

01数据有哪些形式，5V 分别说明了什么处理挑战？
02数据采集、清洗、存储、挖掘和决策如何构成一条可追溯链路？
03关系数据库与非关系数据库如何根据数据形状、查询和一致性选择？
04描述性、预测性和指导性分析的目标、证据和责任有什么不同？
05人工智能、机器学习、神经网络和深度学习如何区分并连接？
06如何让数字观冰或交通信号灯模型的输出带着版本、复核、隐私和责任进入行动？

25/25

QUESTIONS