python数据科学应用

简介: python数据科学应用

字符串

字符串常用方法

方法 使用说明
string[start: end :step] 字符串的切片
string.split 字符串分割
string.strip 删除首尾空白
string.rstrip 删除字符串右边空白
string.lstrip 删除字符串左边空白
string.index 返回子串首次出现的位置
string.replace 字符串替换
sep.join 将可迭代对象按sep分割符拼接为字符串
string.count 对字符串 的子串计数
string.find 返回子串首次出现位置
string.startwith 字符串是否以什么开头
string.endwith 字符串是否以什么结尾


使用字典对象


word_dict={}
for word in sentence.split():
    if word not in word_dict:
       word_dict[word]=1
    else:
       word_dict[word]+=1
for word in sentence.split():
    word_dict.setdefault(word,0)
    word_dict[word]+=1
word_dict=defaultdict(int)
for word in sentence.split():
    word_dict[word]+=1
    print word_dict


defaultdict作用:defaultdict的作用是在于,当字典里的key不存在但被查找时,返回的不是keyError而是一个默认值

例如:作用是当key不存在时,返回的是工厂函数的默认值,比如list对应[ ],str对应的是空字符串,set对应set( ),int对应0


遍历字典


for key,value in word_dict.items():
pirnt key,value
• 1
• 2
统计字典


from collections import Counter


使用字典的字典


from collections import defaultdict
user_movie_rating=defaultdict(lambda:defaultdict(int))
user_movie_rating[1][1]=4
user_movie_rating[1][2]=5


使用元组


元组是一种顺序容器对象,不可变,不允许插入操作


使用集合


Jaccard系数:



str_1=[dogs,chase,cats]
str_2=(dogs,hate,cats)
st_1_wrds=set(str_1.split())
st_2_wrds=set(str_2.split())
n1=len(st_1_wrds)
n2=len(st_2_wrds)
#找出集合共有词,并统计次数
cmn=st_1_wrds.intersection(st_2_wrds)
nocmn=len(st_1_wrds.intersection(st_2_wrds))
#找出集合不重复的词,并统计次数
unq=st_1_wrds.union(st_2_wrds)
nounq=len(st_1_wrds.union(st_2_wrds))
#计算相似度
similarity=nocmn/(1.0*nounq)


写一个列表


a.append(),a.pop()


from random import shuffle
#shuffle 对生成的随机打乱顺序
a=range(1,20)
shuffle(a)
a.sort()
a.reverse()


从另一个列表创建–列表推导


a=[1,2,-1,-2,3,4,-3,-4]
b=[pow(x,2) for x in a if x<0]
print b


使用迭代器


生成一个迭代器和生成器


使用可迭代对象


迭代器对象是从集合中第一个元素开始访问,知道所有元素被访问结束,迭代器只前不会后退,

基本方法:iter()和next()


list=[1,2,3,4]
it=iter(list) #创建迭代器对象
print(next(it)) #输出迭代器的下一个元素
out:1
print(next(it))
out:2


把一个类作为迭代器使用需要在类中实现两个方法_iter_()与_next_().

iter() 方法返回一个特殊的迭代器对象, 这个迭代器对象实现了 next() 方法并通过 StopIteration 异常标识迭代的完成


生成器:使用yield语句而不是return语句返回结果,yield语句一次返回一个结果,在每个结果中间,挂起函数状态,以便下次重它离开的地方继续执行

生成器表达式:类似于列表推导,但是,生成器返回按产生结果的一个对象,而不是一次构建一个结果列表


装饰器


装饰器:它是一种函数的函数,因为装饰器传入的参数就是一个函数,通过实现各种功能来对这个函数的功能进行增强。特点:简洁

代码实现有无装饰器区别:

无装饰器:


from time import time, sleep
def fun_one():
    start = time()
    sleep(1)
    end = time()
    cost_time = end - start
    print("func one run time {}".format(cost_time))
def fun_two():
    start = time()
    sleep(1)
    end = time()
    cost_time = end - start
    print("func two run time {}".format(cost_time))
def fun_three():
    start = time()
    sleep(1)
    end = time()
    cost_time = end - start
    print("func three run time {}".format(cost_time))


使用装饰器:


def run_time(func):
    def wrapper():
        start = time()
        func()                  # 函数在这里运行
        end = time()
        cost_time = end - start
        print("func three run time {}".format(cost_time))
    return wrapper
@run_time
def fun_one():
    sleep(1)
@run_time
def fun_two():
    sleep(1)
@run_time
def fun_three():
    sleep(1)

带参数的装饰器


def logger(msg=None):
    def run_time(func):
        def wrapper(*args, **kwargs):
            start = time()
            func()                  # 函数在这里运行
            end = time()
            cost_time = end - start
            print("[{}] func three run time {}".format(msg, cost_time))
        return wrapper
    return run_time
@logger(msg="One")
def fun_one():
    sleep(1)
@logger(msg="Two")
def fun_two():
    sleep(1)
@logger(msg="Three")
def fun_three():
    sleep(1)
fun_one()
fun_two()
fun_three()


lambad,map,filter,zip,izip


数据分析(探索)


用图表分析单变量数据


data为单维x,target为y

方法:散点图,百分位,消除异常值


import numpy as np
from matplotlib.pylab import frange
import matplotlib.pyplot as plt
fill_data=lambda x:int(x.strip() or 0)
data=np.genfromtxt("president.txt",dtype=(int),converters={1:fill_data}delimier=[,])
x=data[:,0]
y=data[:,1]
plt.figure(1)
plt.title("")
plt.plot(x,y)
#百分位
perc_25=np.percentile(y,25)
#消除异常值
y_masked=np.ma.masked_where(y==0,y)
科普 pandas ix,iloc,loc区别


data=pd.Series(np.nan,index=[49,48,47,46,45,1,2,3,4,5])
data.iloc[:3]
49 nan
48 nan
47 nan
data.loc[:3]
data.ix[:3]


iloc[:3]读取前3行

loc[:3]读取索引为3之前的行

ix[:3]会先寻找索引为3的,如果没有再寻找位置为3行的

相关文章
|
2天前
|
人工智能 安全 Java
Java和Python在企业中的应用情况
Java和Python在企业中的应用情况
23 7
|
12天前
|
数据库 Python
Python 应用
Python 应用。
34 4
|
21天前
|
数据采集 存储 JSON
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第27天】本文介绍了Python网络爬虫Scrapy框架的实战应用与技巧。首先讲解了如何创建Scrapy项目、定义爬虫、处理JSON响应、设置User-Agent和代理,以及存储爬取的数据。通过具体示例,帮助读者掌握Scrapy的核心功能和使用方法,提升数据采集效率。
63 6
|
22天前
|
数据采集 数据安全/隐私保护 开发者
非阻塞 I/O:异步编程提升 Python 应用速度
非阻塞 I/O:异步编程提升 Python 应用速度
|
1天前
|
机器人 计算机视觉 Python
Python作为一种高效、易读且功能强大的编程语言,在教育领域的应用日益广泛
Python作为一种高效、易读且功能强大的编程语言,在教育领域的应用日益广泛
16 5
|
12天前
|
机器学习/深度学习 数据采集 数据可视化
Python在数据科学中的应用:从入门到实践
本文旨在为读者提供一个Python在数据科学领域应用的全面概览。我们将从Python的基础语法开始,逐步深入到数据处理、分析和可视化的高级技术。文章不仅涵盖了Python中常用的数据科学库,如NumPy、Pandas和Matplotlib,还探讨了机器学习库Scikit-learn的使用。通过实际案例分析,本文将展示如何利用Python进行数据清洗、特征工程、模型训练和结果评估。此外,我们还将探讨Python在大数据处理中的应用,以及如何通过集成学习和深度学习技术来提升数据分析的准确性和效率。
|
13天前
|
机器学习/深度学习 数据可视化 数据处理
Python数据科学:从基础到实战
Python数据科学:从基础到实战
23 1
|
14天前
|
机器学习/深度学习 JSON API
Python编程实战:构建一个简单的天气预报应用
Python编程实战:构建一个简单的天气预报应用
32 1
|
22天前
|
数据可视化 开发者 Python
Python GUI开发:Tkinter与PyQt的实战应用与对比分析
【10月更文挑战第26天】本文介绍了Python中两种常用的GUI工具包——Tkinter和PyQt。Tkinter内置于Python标准库,适合初学者快速上手,提供基本的GUI组件和方法。PyQt基于Qt库,功能强大且灵活,适用于创建复杂的GUI应用程序。通过实战示例和对比分析,帮助开发者选择合适的工具包以满足项目需求。
72 7
|
22天前
|
数据采集 前端开发 中间件
Python网络爬虫:Scrapy框架的实战应用与技巧分享
【10月更文挑战第26天】Python是一种强大的编程语言,在数据抓取和网络爬虫领域应用广泛。Scrapy作为高效灵活的爬虫框架,为开发者提供了强大的工具集。本文通过实战案例,详细解析Scrapy框架的应用与技巧,并附上示例代码。文章介绍了Scrapy的基本概念、创建项目、编写简单爬虫、高级特性和技巧等内容。
48 4