深入解析GPS接收机的位置数据文件:项目实战从数据解析到可视化

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 全球定位系统(GPS)是现代技术的支柱之一,广泛应用于交通导航、科学研究、智能设备等领域。GPS接收机通过接收来自卫星的信号,确定设备的地理位置,并将这些位置信息记录在数据文件中。这些数据文件通常包含大量的信息,如时间、位置、海拔高度、卫星状态等。本篇文章将通过解析这些数据文件,展示如何利用Python和Folium库实现数据的读取、处理和可视化,帮助读者深入理解GPS数据的处理过程。

一、引言

全球定位系统(GPS)是现代技术的支柱之一,广泛应用于交通导航、科学研究、智能设备等领域。GPS接收机通过接收来自卫星的信号,确定设备的地理位置,并将这些位置信息记录在数据文件中。


这些数据文件通常包含大量的信息,如时间、位置、海拔高度、卫星状态等。本篇文章将通过解析这些数据文件,展示如何利用Python和Folium库实现数据的读取、处理和可视化,帮助读者深入理解GPS数据的处理过程。

二、GPS数据概述

2.1 GPS工作原理

GPS通过接收至少四颗卫星的信号来确定设备的位置。这些信号包含了卫星的时间和位置数据,接收机通过三角测量法计算出用户的经度、纬度和海拔高度。这些计算结果通常被记录在NMEA(National Marine Electronics Association)格式的数据文件中。

2.2 NMEA 0183协议简介

NMEA 0183是一种标准的GPS数据通信协议,用于描述从GPS接收机发送到其他设备的信号。NMEA语句以"$"开头,常见的语句类型包括GPGGA、GPRMC等。本文重点关注的GPGGA语句包含了最重要的定位信息,如经纬度、海拔高度、卫星状态等。

三、GPGGA语句解析

3.1 GPGGA语句结构详解

GPGGA语句是GPS接收机输出的关键数据类型之一,提供了精确的位置和状态信息。典型的GPGGA语句结构如下:

$GPGGA,123519,4807.038,N,01131.000,E,1,08,0.9,545.4,M,46.9,M,,*47

这条语句由多个字段组成,分别表示:

  • UTC时间:123519 表示12:35:19
  • 纬度:4807.038,N 表示48度07.038分北纬
  • 经度:01131.000,E 表示11度31.000分东经
  • 定位质量:1 表示GPS定位已有效
  • 使用的卫星数量:08 表示共使用了8颗卫星
  • 水平精度因子(HDOP):0.9
  • 海拔高度:545.4 表示海拔高度为545.4米
  • 地球椭球面相对于海平面的高度:46.9米
  • 校验和:*47 用于验证语句的完整性

3.2 解析GPGGA语句的代码实现

解析GPGGA语句的关键在于将语句分解为各个字段,并将这些字段转换为易于处理的格式。以下Python代码展示了如何实现这一过程:

import re
def parse_gpgga(sentence):
    fields = sentence.split(',')
    if len(fields) < 10:
        print("Error: Not enough fields in the sentence")
        return {}
    
    try:
        latitude = float(fields[2][:2]) + float(fields[2][2:]) / 60.0
        longitude = float(fields[4][:3]) + float(fields[4][3:]) / 60.0
        latitude_direction = fields[3]
        longitude_direction = fields[5]
        fix_quality = fields[6]
        satellites = int(fields[7])
        altitude = float(fields[9])
    except ValueError as e:
        print(f"ValueError: {e}")
        return {}
    
    return {
        'time': fields[1],
        'latitude': latitude if latitude_direction == 'N' else -latitude,
        'longitude': longitude if longitude_direction == 'E' else -longitude,
        'fix_quality': fix_quality,
        'satellites': satellites,
        'altitude': altitude,
    }

在这段代码中,parse_gpgga 函数首先检查语句的字段数量是否足够,然后解析出时间、纬度、经度、卫星状态等信息,并以字典形式返回。错误处理部分确保了在解析过程中遇到数据格式问题时,程序能够安全退出并输出相关错误信息。

四、批量解析GPS数据文件

4.1 GPS数据文件的组织结构

在实际应用中,GPS数据通常存储在多个文件中,每个文件记录一段时间内的位置信息。为了有效处理这些数据,我们需要编写代码从多个文件中批量读取并解析GPS数据。假设这些文件存储在一个目录中,每个文件名以日期和时间命名,如 lh-2024-07-23-095738.txt。

4.2 文件批量处理代码实现

以下代码展示了如何从指定目录中批量读取所有的GPS数据文件,并调用之前定义的 parse_gpgga 函数对其进行解析。

import os
def parse_gps_data(file_path):
    gps_data = []
    with open(file_path, 'r', encoding='utf-8') as file:
        for line in file:
            if re.search(r'\$GPGGA,[^$]+', line):
                data = parse_gpgga(line)
                if data:
                    gps_data.append(data)
    return gps_data
def batch_parse_gps_files(directory):
    all_gps_data = []
    for filename in os.listdir(directory):
        if filename.endswith(".txt"):
            file_path = os.path.join(directory, filename)
            print(f"Processing file: {file_path}")
            gps_data = parse_gps_data(file_path)
            print(f"Parsed data from {filename}: {gps_data}")
            all_gps_data.extend(gps_data)
    return all_gps_data

在此代码中,batch_parse_gps_files 函数遍历指定目录中的所有文件,并依次解析每个文件中的GPS数据。最终返回一个包含所有GPS数据的列表。这样就可以对大量GPS数据进行批量处理,极大地提高了效率。

五、GPS数据的可视化

数据可视化是分析和理解GPS数据的关键步骤。通过将GPS数据可视化,可以直观地展示设备的运动轨迹和位置变化。Folium库是Python中用于生成交互式地图的强大工具,下面我们将展示如何利用Folium将GPS数据绘制在地图上。

5.1 Folium库的介绍

Folium是一个基于Leaflet.js的Python库,可以生成丰富的地图展示。它支持多种地图样式,包括OpenStreetMap、Stamen Terrain、Google地图等。Folium还允许在地图上添加标记、线条、多边形等元素,并支持自定义样式,使其非常适合用于GPS数据的可视化。

5.2 地图样式与图层控制

为了丰富地图的展示效果,我们可以在Folium中添加多个图层,并通过图层控制器切换不同的地图样式。以下代码展示了如何在Folium中使用OpenStreetMap作为基础图层,同时添加Google卫星地图作为可选图层。

import folium
def visualize_gps_data(gps_data):
    if not gps_data:
        print("No GPS data available to visualize.")
        return
    map_center = [gps_data[0]['latitude'], gps_data[0]['longitude']]
    
    gps_map = folium.Map(location=map_center, zoom_start=14, tiles='OpenStreetMap')
    folium.TileLayer(
        tiles='https://mt1.google.com/vt/lyrs=s&x={x}&y={y}&z={z}',
        name='Google Satellite',
        attr='© Google'
    ).add_to(gps_map)
    folium.LayerControl().add_to(gps_map)

在上述代码中,folium.Map 函数创建了一个以OpenStreetMap为基础的地图,folium.TileLayer 用于添加Google卫星图层,并通过 folium.LayerControl 添加图层控制器,允许用户在不同的图层之间切换。

5.3 GPS数据的标记与展示

接下来,我们将解析得到的GPS数据添加到地图上。为了防止过多的重复数据导致标记重叠,我们首先对GPS数据进行去重处理,然后使用 folium.CircleMarker 添加标记。

def visualize_gps_data(gps_data):
    if not gps_data:
        print("No GPS data available to visualize.")
        return
    map_center = [gps_data[0]['latitude'], gps_data[0]['longitude']]
    
    gps_map = folium.Map(location=map_center, zoom_start=14, tiles='OpenStreetMap')
    folium.TileLayer(
        tiles='https://mt1.google.com/vt/lyrs=s&x={x}&y={y}&z={z}',
        name='Google Satellite',
        attr='© Google'
    ).add_to(gps_map)
    folium.LayerControl().add_to(gps_map)
    unique_gps_data =
 []
    seen = set()
    for data in gps_data:
        coord = (data['latitude'], data['longitude'])
        if coord not in seen:
            unique_gps_data.append(data)
            seen.add(coord)
    for data in unique_gps_data:
        print(f"Adding marker at ({data['latitude']}, {data['longitude']})")
        
        folium.CircleMarker(
        [data['latitude'], data['longitude']],
        radius=0.5,
        color='red',
        fill=True,
        fill_color='red',
        fill_opacity=0.8
        ).add_to(gps_map)  
    gps_map.save('gps_map.html')

此代码的主要功能是将解析出的GPS数据以红色圆圈的形式标记在地图上,并以适当的缩放级别显示地图。最终生成的地图将被保存为HTML文件,可以在浏览器中查看。

5.4 解决白色轨迹线问题

在使用Folium进行GPS数据可视化时,有时会遇到标记点之间出现白色轨迹线的问题,这通常是由于地图渲染器的处理导致的。为了避免这个问题,我们通过调整标记的样式,如半径、颜色和透明度等,来减少视觉干扰。

folium.CircleMarker(
    [data['latitude'], data['longitude']],
    radius=0.5,  
    color='red',  
    fill=True,
    fill_color='red',  
    fill_opacity=0.8
).add_to(gps_map)

通过使用较小的标记半径和高透明度的颜色,我们可以显著降低白色轨迹线的出现几率,使地图显示更加清晰。

六、项目实践应用:从数据采集到可视化展示

在实际项目中,GPS数据的处理和展示往往是一个复杂的过程,涉及到数据的采集、解析、清洗、处理和最终的可视化展示。通过本文的示例代码,读者可以完整地体验这个过程,从而能够在实际应用中实现更复杂的GPS数据处理和分析。

6.1 机器采集数据(.txt)

6.2 文件(.txt)部分关键信息

1723730899378.jpg

6.3 项目代码

import os
import folium
import sys
import re
def parse_gpgga(sentence):
    fields = sentence.split(',')
    if len(fields) < 10:
        print("Error: Not enough fields in the sentence")
        return {}
    
    try:
        latitude = float(fields[2][:2]) + float(fields[2][2:]) / 60.0
        longitude = float(fields[4][:3]) + float(fields[4][3:]) / 60.0
        latitude_direction = fields[3]
        longitude_direction = fields[5]
        fix_quality = fields[6]
        satellites = int(fields[7])
        altitude = float(fields[9])
    except ValueError as e:
        print(f"ValueError: {e}")
        return {}
    
    return {
        'time': fields[1],
        'latitude': latitude if latitude_direction == 'N' else -latitude,
        'longitude': longitude if longitude_direction == 'E' else -longitude,
        'fix_quality': fix_quality,
        'satellites': satellites,
        'altitude': altitude,
    }
def parse_gps_data(file_path):
    gps_data = []
    with open(file_path, 'r', encoding='utf-8') as file:
        for line in file:
            # print(f"Reading line: {line.strip()}")  # 添加调试输出
            if re.search(r'\$GPGGA,[^$]+', line):
                data = parse_gpgga(line)
                if data:  # 检查是否成功解析数据
                    gps_data.append(data)
    return gps_data
def batch_parse_gps_files(directory):
    all_gps_data = []
    for filename in os.listdir(directory):
        if filename.endswith(".txt"):
            file_path = os.path.join(directory, filename)
            print(f"Processing file: {file_path}")  # 调试输出
            gps_data = parse_gps_data(file_path)
            print(f"Parsed data from {filename}: {gps_data}")  # 调试输出
            all_gps_data.extend(gps_data)
    return all_gps_data
def visualize_gps_data(gps_data):
    if not gps_data:
        print("No GPS data available to visualize.")
        return
    map_center = [gps_data[0]['latitude'], gps_data[0]['longitude']]
    
    gps_map = folium.Map(location=map_center, zoom_start=14, tiles='OpenStreetMap')
    folium.TileLayer(
        tiles='https://mt1.google.com/vt/lyrs=s&x={x}&y={y}&z={z}',
        name='Google Satellite',
        attr='© Google'
    ).add_to(gps_map)
    folium.LayerControl().add_to(gps_map)
    unique_gps_data = []
    seen = set()
    for data in gps_data:
        coord = (data['latitude'], data['longitude'])
        if coord not in seen:
            unique_gps_data.append(data)
            seen.add(coord)
    for data in unique_gps_data:
        print(f"Adding marker at ({data['latitude']}, {data['longitude']})")
        
        folium.CircleMarker(
        [data['latitude'], data['longitude']],
        radius=0.5,  # 半径大小
        color='red',  # 边框颜色
        fill=True,
        fill_color='red',  # 填充颜色
        fill_opacity=0.8
        ).add_to(gps_map)  
    gps_map.save('gps_map.html')
if __name__ == '__main__':
    
    # 自定义路径
    directory = "F:\\notebookComputer\\20240723\\101711_ND03_ruprtpldbyihyjhh_gpslog\\gps\\log\\lhd"
    
    parsed_gps_data = batch_parse_gps_files(directory)  # 使用正确的路径变量
    visualize_gps_data(parsed_gps_data)

6.4 运行保存文件:gps_map.html

1723730919939.jpg

6.5 打开文件轨迹效果:Google地图

1723730938094.jpg

七、总结

本文通过详细的步骤展示了如何解析GPS接收机生成的GPGGA语句,并利用Folium库将这些数据进行可视化展示。通过这一过程,读者不仅可以掌握GPS数据的基本处理方法,还能深入了解如何在Python中实现复杂的数据可视化并在此基础上扩展到更复杂的应用场景,进一步提升对GPS数据的理解和应用能力。希望这些内容能够为读者在相关领域的开发和研究提供有益的参考。

1723730966589.jpg

1723730982711.jpg

作者:Rjdeng

链接:https://juejin.cn/post/7398480670446207039

相关文章
|
11天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
39 2
|
29天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
4003 5
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
17天前
|
存储
文件太大不能拷贝到U盘怎么办?实用解决方案全解析
当我们试图将一个大文件拷贝到U盘时,却突然跳出提示“对于目标文件系统目标文件过大”。这种情况让人感到迷茫,尤其是在急需备份或传输数据的时候。那么,文件太大为什么会无法拷贝到U盘?又该如何解决?本文将详细分析这背后的原因,并提供几个实用的方法,帮助你顺利将文件传输到U盘。
|
19天前
|
存储 分布式计算 Java
存算分离与计算向数据移动:深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来,数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构,即计算资源与存储资源紧密耦合,在处理海量数据时逐渐显露出其局限性。为了应对这些挑战,存算分离(Disaggregated Storage and Compute Architecture)和计算向数据移动(Compute Moves to Data)两种架构应运而生,成为大数据处理领域的热门技术。
40 2
|
24天前
|
JavaScript API 开发工具
<大厂实战场景> ~ Flutter&鸿蒙next 解析后端返回的 HTML 数据详解
本文介绍了如何在 Flutter 中解析后端返回的 HTML 数据。首先解释了 HTML 解析的概念,然后详细介绍了使用 `http` 和 `html` 库的步骤,包括添加依赖、获取 HTML 数据、解析 HTML 内容和在 Flutter UI 中显示解析结果。通过具体的代码示例,展示了如何从 URL 获取 HTML 并提取特定信息,如链接列表。希望本文能帮助你在 Flutter 应用中更好地处理 HTML 数据。
103 1
|
30天前
|
人工智能 资源调度 数据可视化
【AI应用落地实战】智能文档处理本地部署——可视化文档解析前端TextIn ParseX实践
2024长沙·中国1024程序员节以“智能应用新生态”为主题,吸引了众多技术大咖。合合信息展示了“智能文档处理百宝箱”的三大工具:可视化文档解析前端TextIn ParseX、向量化acge-embedding模型和文档解析测评工具markdown_tester,助力智能文档处理与知识管理。
|
8天前
|
数据采集 存储 自然语言处理
基于Qwen2.5的大规模ESG数据解析与趋势分析多Agent系统设计
2022年中国上市企业ESG报告数据集,涵盖制造、能源、金融、科技等行业,通过Qwen2.5大模型实现报告自动收集、解析、清洗及可视化生成,支持单/多Agent场景,大幅提升ESG数据分析效率与自动化水平。
|
1月前
|
数据安全/隐私保护 流计算 开发者
python知识点100篇系列(18)-解析m3u8文件的下载视频
【10月更文挑战第6天】m3u8是苹果公司推出的一种视频播放标准,采用UTF-8编码,主要用于记录视频的网络地址。HLS(Http Live Streaming)是苹果公司提出的一种基于HTTP的流媒体传输协议,通过m3u8索引文件按序访问ts文件,实现音视频播放。本文介绍了如何通过浏览器找到m3u8文件,解析m3u8文件获取ts文件地址,下载ts文件并解密(如有必要),最后使用ffmpeg合并ts文件为mp4文件。
|
1月前
|
数据采集 XML 前端开发
Jsoup在Java中:解析京东网站数据
Jsoup在Java中:解析京东网站数据
|
25天前
|
JSON 前端开发 JavaScript
API接口商品详情接口数据解析
商品详情接口通常用于提供特定商品的详细信息,这些信息比商品列表接口中的信息更加详细和全面。以下是一个示例的JSON数据格式,用于表示一个商品详情API接口的响应。这个示例假定API返回一个包含商品详细信息的对象。
下一篇
无影云桌面