Python数据科学|第一章:数据科学家的武器库

简介: 本系列教程为《Python数据科学——技术详解与商业实践》的读书笔记。该书以Python为实现工具,以商业实战为导向,从技术、业务、商业实战3个维度来展开学习。
img_7b6f2e219c8bcc30087c1b8a0a21a913.png

本系列教程为《Python数据科学——技术详解与商业实践》的读书笔记。该书以Python为实现工具,以商业实战为导向,从技术、业务、商业实战3个维度来展开学习。本书共19章(Python环境安装和Python基础语法法本系列教程不做讲解),内容较多,旨在学习和记录。但惶恐自身能力有限,未及原书三分,故征得原书作者同意,才敢动笔。

1.1 数据科学的基本概念

数据科学并不是一门学科,它是为了完成商业或工业上的目标,从数据获取知识,为行动提出建议的方法、技术和流程的最佳实践。
本书提供了数据科学工作者的工作范式图,这里将这个工作范式图简单进行描述:数据通过维度分析转换为信息;信息通过建模分析得到知识;知识结合业务目标以此进行决策和行动。
与数据科学相关的知识设计多个学科和领域,包括统计学、数据挖掘、模式识别、机器学习(人工智能)、数据库等。

1.2 数理统计技术

1.2.1 描述性统计分析

新闻报道中的居民收入情况,并不需要把每个人的收入都念一遍,而是取的均值。描述性统计分析就是从总体数据中提取变量的统计量。在日常的业务分析报告中,常使用该方法完成。在实际中,也就是通过Python进行数据统计,完成统计表和统计图的呈现即可。

1.2.2 统计推断与统计建模

统计推断及统计建模,含义是建议解释变量与被解释变量之间可解释的、稳定的,最好是具有因果关系的表达式(下文会详细介绍)。

1.3 数据挖掘技术和方法

数据挖掘的方法分为描述性和预测性。预测性模型从历史数据中找到规律,并用于预测未来;描述性模型用于直观反映历史状况,为后续的分析提供灵感。
例如:判断客户是否违约,可通过客户的性别、年龄、收入、历史信用状况等因素进行预测。这里就是预测性模型。
通过客户标签对用户细分,以便针对不同客户做不同运营;根据客户的产品购买,发现产品间的相关性,用于捆绑营销。这些就是属于描述性模型。

1.3.1 描述性数据挖掘算法
  • 聚类分析
  • 关联规则分析
1.3.2 预测性数据挖掘算法
  • 决策树
  • KNN算法
  • Logistic回归
  • 神经网络
  • 支持向量机
  • 集成算法
    具体的算法在后文中一一讲解。

总结

第一章主要是起到总的作用,首先介绍了数据科学的概念和流程。接下来针对问题的难易,将数据科学需要用到的技术划分为:数理统计技术和数据挖掘技术。这些技术也就是数据科学家的武器库。

相关文章
|
1月前
|
机器学习/深度学习 存储 数据挖掘
Python图像处理实用指南:PIL库的多样化应用
本文介绍Python中PIL库在图像处理中的多样化应用,涵盖裁剪、调整大小、旋转、模糊、锐化、亮度和对比度调整、翻转、压缩及添加滤镜等操作。通过具体代码示例,展示如何轻松实现这些功能,帮助读者掌握高效图像处理技术,适用于图片美化、数据分析及机器学习等领域。
73 20
|
4天前
|
数据采集 JavaScript Android开发
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
29 7
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
|
28天前
|
测试技术 Python
【03】做一个精美的打飞机小游戏,规划游戏项目目录-分门别类所有的资源-库-类-逻辑-打包为可玩的exe-练习python打包为可执行exe-优雅草卓伊凡-持续更新-分享源代码和游戏包供游玩-1.0.2版本
【03】做一个精美的打飞机小游戏,规划游戏项目目录-分门别类所有的资源-库-类-逻辑-打包为可玩的exe-练习python打包为可执行exe-优雅草卓伊凡-持续更新-分享源代码和游戏包供游玩-1.0.2版本
106 31
【03】做一个精美的打飞机小游戏,规划游戏项目目录-分门别类所有的资源-库-类-逻辑-打包为可玩的exe-练习python打包为可执行exe-优雅草卓伊凡-持续更新-分享源代码和游戏包供游玩-1.0.2版本
|
2月前
|
XML JSON 数据库
Python的标准库
Python的标准库
185 77
|
3月前
|
机器学习/深度学习 算法 数据挖掘
数据分析的 10 个最佳 Python 库
数据分析的 10 个最佳 Python 库
198 4
数据分析的 10 个最佳 Python 库
|
2月前
|
XML JSON 数据库
Python的标准库
Python的标准库
71 11
|
3月前
|
人工智能 API 开发工具
aisuite:吴恩达发布开源Python库,一个接口调用多个大模型
吴恩达发布的开源Python库aisuite,提供了一个统一的接口来调用多个大型语言模型(LLM)服务。支持包括OpenAI、Anthropic、Azure等在内的11个模型平台,简化了多模型管理和测试的工作,促进了人工智能技术的应用和发展。
226 1
aisuite:吴恩达发布开源Python库,一个接口调用多个大模型
|
3月前
|
XML 存储 数据库
Python中的xmltodict库
xmltodict是Python中用于处理XML数据的强大库,可将XML数据与Python字典相互转换,适用于Web服务、配置文件读取及数据转换等场景。通过`parse`和`unparse`函数,轻松实现XML与字典间的转换,支持复杂结构和属性处理,并能有效管理错误。此外,还提供了实战案例,展示如何从XML配置文件中读取数据库连接信息并使用。
Python中的xmltodict库
|
3月前
|
存储 人工智能 搜索推荐
Memoripy:支持 AI 应用上下文感知的记忆管理 Python 库
Memoripy 是一个 Python 库,用于管理 AI 应用中的上下文感知记忆,支持短期和长期存储,兼容 OpenAI 和 Ollama API。
178 6
Memoripy:支持 AI 应用上下文感知的记忆管理 Python 库
|
2月前
|
数据可视化 Python
以下是一些常用的图表类型及其Python代码示例,使用Matplotlib和Seaborn库。
通过这些思维导图和分析说明表,您可以更直观地理解和选择适合的数据可视化图表类型,帮助更有效地展示和分析数据。
105 8

热门文章

最新文章

推荐镜像

更多