搜索引擎
•掌握Web搜索引擎的三大模块(网络爬虫模块,索引模块,搜索模块)的作用。
Web搜索引擎定义
在合理响应时间内,根据查询关键词,返回一个结果列表的服务
Web搜索引擎的结构
- 网络爬虫模块:对Web页面进行解析,根据Web页面之间的连接关系抓取这些页面,并交给索引模块处理
- 索引模块:对抓取的数据进行预处理建立关键字索引以便搜索模块输出
- 搜索模块:根据数据库的索引知识给出合理的搜索结果。
搜索引擎的体系结构
- 信息采集
- 索引技术
- 搜索服务
•了解搜索引擎需要解决的三个问题。
- 响应时间
- 关键词搜索
- 搜索结果排序
•掌握搜索引擎信息采集的基本流程以及网络爬虫程序的基本结构和工作流程。
网络爬虫程序根据HTTP协议,发送请求,并通过TCP连接接受服务器的应答。
•理解优化网络爬虫程序的途径。掌握常见的网页抓取算法的特点和流程。
信息采集优化
- 网络连接优化策略:持久性连接 、多进程并发设计
- 域名系统的缓存策略
网页抓取算法
- 深度优先算法
- 广度优先算法
- 基于内容算法
- 基于HITS的算法
•了解索引技术预处理的困难,了解倒排文件模型。
•举例说明Google Web搜索引擎的架构。
类Google搜索引擎的架构
•URL服务器
•Web页面抓取器
•存储服务器
•URL解释器
•排序器
•Page Rank
•搜索器
物联网中的智能决策
•了解数据挖掘的概念以及特点
- 从大量数据中获取有用的且人类理解的模式的过程
- 是一个反复迭代的人机交互的过程(反复迭代,人机交互)。
•熟悉数据挖掘的过程。
- 数据预处理
- 挖掘知识
- 知识评估与表示
•理解关联分析的相关概念:关联规则(支持度/置信度),Apriori算法,频繁项集。
数据挖掘的基本类型
描述性挖掘任务:刻画数据库中数据的一般特性
- 关联分析(Association Analysis)
- 聚类分析(Clustering Analysis)
预测性挖掘任务:在当前数据上进行推断和预测
- 离群点分析(Outlier Analysis)
- 分类与预测(Classification and Prediction)
- 演化分析(Evolution Analysis)
•理解分类和预测的相关概念:判定树,期望信息,信息增益。
分类与预测的区别:分类通常指预测数据对象属于哪一类,而当被预测的值是数值数据时,通常称为预测
•理解聚类分析与分类的区别
聚类的目的是将数据对象划分为多个类或簇
聚类与分类的区别:要划分的类是事先未知的
•了解离群点分析的三种方法(基于统计,距离偏移
离群点(Outlier):数据集合中存在的一些数据对象,它们与其余绝大多数数据的特性或模型不一致
•了解演化分析的基本概念。
演化分析的目的是挖掘数据随时间变化的规律和趋势
•举例说明物联网环境下数据挖掘技术的广泛应用。
金融安全
市场营销
精准农业
物联网中的信息安全与隐私保护
•了解网络信息安全的一般性指标。
- 可靠性
- 可用性
- 可控性
- 不可抵赖性
- 保密性
- 完整性
•掌握主要的RFID安全隐患。
窃听(eavesdropping)
中间人攻击(man-in-the-middle attack, MITM)
欺骗、重放、克隆
拒绝服务攻击(Denial-of-service attack,DoS):通过不完整的交互请求消耗系统资源
物理破解(corrupt)
篡改信息(modification)
RFID病毒(virus, malware)
•了解RFID安全保护机制,重点掌握基于密码学的安全机制。
如何面对安全和隐私挑战?
- 法律法规
- 其他技术结合
- 生物识别
- 近场通信(Near field communication, NFC)
综合应用层
•举例说明物联网背景下智能电网的应用
- 新能源发展与应用
- 输变电检测与监控
- 配用电管理
- 实时电力调度
- 电网安全
•理解智能交通的概念,举例说明智能交通中的物联网技术和典型的智能交通应用。
智能交通应用
- 不停车收费系统
- 实时交通信息服务
实时的交通信息服务是智能交通系统最重要的应用之一,能够为驾驶员提供实时的信息例如交通线路,交通拥堵可能造成的时间延误,交通事故,安全提示,天气情况,前方道路修整工程等。
智能交通系统还可以为乘客提供进一步的信息服务,例如车内的Internet访问服务以及音乐电影的下载和在线观看
提供实时的交通信息服务包括三个主要的组成部分,信息的收集,信息的处理以及信息的散布。每一个部分都需要不同的平台和技术设备支持。 - 智能交通管理
- 智能交通管理主要包括交通控制设备例如交通信号、匝道流量控制和公路上的动态交通信息牌(为司机提供实时的交通流量和公路状态信息)。
同时一个城市或者一个省份交通管理中心需要得到整个地区的交通流量状况以便及时检测事故、危险天气事件或其它对车道具有潜在威胁的因素。
自适应的交通信号控制技术能够对交通信号进行动态控制,智能调整信号开关的时间。
如果交通信号装置能够检测到等待车辆的信息或者车辆能够与信号装置通信将此信息发送给信号装置,我们就能够优化交通信号的时间控制方案,并提高道路的交通流量,缓解交通拥堵状况。
智能的匝道流量控制也能够为交通管理带来巨大收益。
大概有20个美国的大城市已经使用各种形式的匝道流量控制技术
•了解物流的发展历程,举例说明现代物流需要借助物联网技术实现(EPC,RF-ITV,食品物流)。
智能物流典型应用:食品物流
- 传感器搜集需监测的各种参数
- 条形码、RFID标签支持安全回溯
- 电子耳标方便快速通关
发展方向
- 丰富感知手段
- 提高智能化程度
•举例说明绿色建筑环保技术、节能技术、信息技术、网络技术的综合应用。
绿色建筑典型应用
建筑管理:建筑建设的智能化管理
- 建筑结构监测
- 建筑工地监控
- 建筑质量控制
- 建设过程的异常处理
低碳建筑
- 建筑低碳技术:低辐射玻璃,中水处理,内、外墙保温,太阳能,新风系统,雨水循环系统
智能楼宇:建筑内的设备互联
- 实现智能化节能
- 提供楼宇的智能安防
- 为楼宇内人员提供智能服务
- 楼宇设施的智能管理
智能办公室
- 智能办公平台,无线互联互通
- 视频会议系统,人性化服务
智能家居:
- 以住宅为平台,兼备建筑、网络通信、信息家电、设备自动化,集系统、结构、服务、管理为一体的高效、舒适、安全、便利、环保的居住环境。
比较环境监测传感网和环境监测物联网的监测过程,主要特点和典型应用
环境监测传感网的模式和特征
- 监测过程:单向的、一维的;
- 可完成局部的、有针对性的采集和测量;
- 不满足深度监控、全面测量和智能化利用
环境监测物联网的模式和特征
- 监测过程:立体的、进化的,双向的;
- 环境信息反作用于计划制定;
- 监测结果对客观环境的反映全面、真实;
- 传递环节信息传递与存储相结合,在网际实现异构网络融合。
环境监测物联网应用:森林生态物联网
•应用目标:对以森林生态为中心的地球环境进行长期大规模监测
•组成:
- 无线传感器网络
- 车载网
- 移动3G
- 互联网
应用背景:应对全球气候变化和保持自然生态平衡
•森林生态安全监测
•森林生态旅游导航与安全保障
•林业生产智能管理和城市森林规划