导数据

简介:
#!/bin/bash
    for fileName in `ls /tmp/fastweb/`
    do
       echo `/bin/date` ${fileName}--start------------
       `sed '1,13d' /tmp/fastweb/${fileName}|awk '{print $1,"|",$3,"|",$4}' > ${fileName}_`
       `mysql -s -e "load data infile '/tmp/${fileName}_' into table test.logs_1  fields  terminated by '|' "`
       echo `/bin/date` ${fileName}--end--------------

    done



本文转自cloves 51CTO博客,原文链接:http://blog.51cto.com/yeqing/1610695

相关文章
|
关系型数据库 MySQL 数据库
tushare宏观数据使用pandas入库,增加唯一索引
1,对pandas入数据库 pandas代码中自带了to_sql的方法可以直接使用。 但是数据字段是text的,需要修改成 varchar的,否则不能增加索引。 在增加了主键之后可以控制数据不能再增量修改了。 增加:dtype类型可以解决 dtype={col_name: NVARCHAR(length=255) for col_name in dat
3548 0
|
4月前
|
存储 数据库连接 数据处理
数据加载与保存:Pandas中的数据输入输出操作
【4月更文挑战第16天】Pandas是Python数据分析的强大工具,支持多种数据加载和保存方法。本文介绍了如何使用Pandas读写CSV和Excel文件,以及与数据库交互。`read_csv`和`to_csv`用于CSV操作,`read_excel`和`to_excel`处理Excel文件,而`read_sql`和`to_sql`则用于数据库的读写。了解这些基本操作能提升数据处理的效率和灵活性。
|
4月前
|
存储 定位技术 数据格式
Python从多个表格中随机抽取数据加以处理后合并全部数据
Python从多个表格中随机抽取数据加以处理后合并全部数据
|
4月前
|
存储 定位技术 Python
Python中ArcPy实现Excel时序数据读取、反距离加权IDW插值与批量掩膜
Python中ArcPy实现Excel时序数据读取、反距离加权IDW插值与批量掩膜
|
4月前
|
NoSQL easyexcel Java
easyexcel导入导出百万条数据思路分析
easyexcel导入导出百万条数据思路分析
178 0
|
12月前
|
安全 Shell 开发工具
adb导数据
adb导数据
105 0
|
机器学习/深度学习 Python
Python批量读取Excel并跨越不同xlsx文件求取平均值
本文介绍基于Python语言,实现对多个不同Excel文件进行数据读取与平均值计算的方法~
199 1
Python批量读取Excel并跨越不同xlsx文件求取平均值
|
数据可视化 BI 数据处理
pandas导入数据并可视化基于每年乘客数
pandas导入数据并可视化基于每年乘客数
pandas导入数据并可视化基于每年乘客数
|
数据可视化 数据挖掘 索引
数据导入与预处理-拓展-pandas筛选与修改(上)
数据导入与预处理-拓展-pandas筛选与修改 1. 数据筛选与修改 1.1 加载数据 1.2 数据修改 1. 数据修改--修改列名 2. 数据修改--修改行索引
数据导入与预处理-拓展-pandas筛选与修改(上)
|
索引 Python
数据导入与预处理-拓展-pandas筛选与修改(下)
数据导入与预处理-拓展-pandas筛选与修改 1. 数据筛选与修改 1.1 加载数据 1.2 数据修改 1. 数据修改--修改列名 2. 数据修改--修改行索引
数据导入与预处理-拓展-pandas筛选与修改(下)