独家|利用OpenCV,Python和Ubidots来构建行人计数器程序(附代码&解析)

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 本文将利用OpenCV,Python和Ubidots来编写一个行人计数器程序,并对代码进行了较为详细的讲解

作者:Jose Garcia

文章来源:微信公众号 数据派THU

翻译:吴振东

校对:张一豪

本文约4000字,建议阅读14分钟。
本文将利用OpenCV,Python和Ubidots来编写一个行人计数器程序,并对代码进行了较为详细的讲解。

数字图像处理(DIP)技术目前发展非常迅速,这在很大程度上要归功于开发人员可以访问云来运用机器学习技术。通过云处理数字图像可以绕过任何专用硬件的要求,这使得使用DIP成为了大家的首选。作为处理图像最经济和最通用的方法,DIP已经被广泛应用。这种其中最常见的当属行人检测和计数 - 这对于机场、火车站、零售店体育馆、公共活动和博物馆来说都是一项非常有用的指标。

现有的传统行人计数技术不仅价格昂贵,而且它们所生成的数据通常与专有系统相关联,这些系统限制了数据提取和KPI的优化选择。相反,使用你的个人相机和SBC的嵌入式DIP不仅可以节省时间和金钱,还可以根据你所关注的KPI来自由定制应用程序,并从云中获取独特的领悟。

使用云来启用DIP IoT(物联网)应用程序可以增强整体的功能性。随着可视化、报告、警报和交叉引用外部数据源(如天气、实时供应商定价或业务管理系统)等功能的增强,DIP为开发人员提供了他们所需的自由空间。

想象一下一家摆着冰淇淋冰柜的杂货店:他们想要追踪统计经过店门口的人数,顾客所选择的产品,以及门被打开的次数和冰柜的内部温度。 从这几个数据点中,零售商可以运行相关性分析,以更好地了解和优化他们的产品定价和冰箱的整体能耗。

为了开启你的数字图像处理应用程序开发工作,Ubidots运用OpenCV和Python来创建了一套人员计数系统教程,用于分析统计给定区域中的人数。其实不仅是统计人数这样简单,添加Ubidots IoT开发平台的资源还可以扩展你的应用程序。在这里,你可以看到如何实现利用Ubidots来构建的实时人数统计仪表板。

在本文中,我们将介绍如何使用OpenCV和Ubidots来实现简单的DIP叠加并创建行人计数器。此示例最适用于任何基于Linux的发行版系统,也适用于Raspberry Pi,Orange Pi或类似的嵌入式系统。

有关其他集成的查询,请与Ubidots支持中心取得联系,以便来了解你的企业如何使用这项增值技术。

目录:

1.应用需求

2.编码 – 8个小节

3.测试

4.创造你自己的仪表板

5.结果展示

1、应用需求

任何带有Ubuntu衍生版本的嵌入式Linux

操作系统中安装了Python 3或更高版本

OS中安装了OpenCV 3.0或更高版本。如果使用Ubuntu或其衍生产品,请按照官方安装教程或运行以下命令:

pip install opencv-contrib-python

当你成功安装Python 3和OpenCV时,你可以通过这段简单的代码来进行检验(首先在你的terminal里输入‘python’)

import cv2 cv2.__version__

你应该在屏幕上看到你所安装的OpenCV版本:

image.png

  • 按照官方操作指南来安装Numpy,或者运行下面的命令

pip install numpy

  • 安装imutils

pip install imutils

  • 安装requests

pip install requests

2、编码

可以在这一章节找到检测和发送数据的整个例程。为了更好地解释这段代码,我们将其分为八个部分,以便更好地解释代码的各个方面,让你更容易理解。

第1节:

from imutils.object_detection

import non_max_suppression

import numpy as np

import imutils

import cv2

import requests

import time

import argparse

 

URL_EDUCATIONAL = "http://things.ubidots.com"

URL_INDUSTRIAL = "http://industrial.api.ubidots.com"

INDUSTRIAL_USER = True  # Set this to False if you are an educational user

TOKEN = "...."  # Put here your Ubidots TOKEN

DEVICE = "detector"  # Device where will be stored the result

VARIABLE = "people"  # Variable where will be stored the result

 

# Opencv pre-trained SVM with HOG people features

HOGCV = cv2.HOGDescriptor()

HOGCV.setSVMDetector(cv2.HOGDescriptor_getDefaultPeopleDetector())

在第1节中,我们导入必要的库来实现我们的探测器,imutils是一个有用的DIP库工具,让我们从结果中执行不同的转换,cv2是我们的OpenCV Python包装器,requests 可以通过HTTP发送数据/结果到Ubidots,argparse让我们从脚本中的命令终端来读取命令。

重要提示:不要忘记使用您的Ubidots帐户TOKEN更改这段代码,如果是学生用户,请务必将INDUSTRIAL_USER设置为FALSE。

导入库后,我们将对方向梯度直方图(Histogram of Oriented Gradient)进行初始化。方向梯度直方图的简称是HOG,它是最受欢迎的对象检测技术之一,已经在多个应用程序中实现并取得成功。OpenCV已经以高效的方式将HOG算法与支持向量机这种用于预测目的的经典机器学习技术(SVM)相结合,成为了一笔我们可以利用的财富。

这项声明:
cv2.HOGDescriptor_getDefaultPeopleDetector()调用了预先训练的模型,用于OpenCV的行人检测,并提供支持向量机特征的评估功能。

第2节:

def detector(image):

    '''

    @image is a numpy array

    '''

 

    image = imutils.resize(image, width=min(400, image.shape[1]))

    clone = image.copy()

 

    (rects, weights) = HOGCV.detectMultiScale(image, winStride=(8, 8),

                                              padding=(32, 32), scale=1.05)

 

    # Applies non-max supression from imutils package to kick-off overlapped

    # boxes

    rects = np.array([[x, y, x + w, y + h] for (x, y, w, h) in rects])

    result = non_max_suppression(rects, probs=None, overlapThresh=0.65)

 

    return result

detector()函数是“神奇”诞生的地方,它可以接收分成三个颜色通道的RGB图像。为了避免出现性能问题,我们用imutils来调整图像大小,再从HOG对象调用detectMultiScale()方法。然后,检测多尺度方法可以让我们使用SVM的分类结果去分析图像并知晓人是否存在。关于此方法的参数介绍超出了本教程的范围,但如果你想了解更多信息,请参阅官方OpenCV文档或查看Adrian Rosebrock的精彩解释。

HOG分析将会生成一些捕获框(针对检测到的对象),但有时这些框的重叠会导致误报或检测错误。为了避免这种混淆,我们将使用imutils库中的非最大值抑制实用程序来删除重叠的框 - 如下所示:

image.png

图片转载自https://www.pyimagesearch.com

第3节:

def localDetect(image_path):

    result = []

    image = cv2.imread(image_path)

    if len(image) <= 0:

        print("[ERROR] could not read your local image")

        return result

    print("[INFO] Detecting people")

    result = detector(image)

 

    # shows the result

    for (xA, yA, xB, yB) in result:

        cv2.rectangle(image, (xA, yA), (xB, yB), (0, 255, 0), 2)

 

    cv2.imshow("result", image)

    cv2.waitKey(0)

    cv2.destroyAllWindows()

 

return (result, image)

现在,在这一部分代码中,我们必须定义一个函数来从本地文件中读取图像并检测其中是否有人存在。为了实现这一点,我只是简单地调用了detector()函数并添加了一个简单的循环来绘制探测器的圆框。它会返回检测到的框的数量和带有绘制检测的图像。然后,只需在新的OS窗口中重新创建结果即可。

第4节:

def cameraDetect(token, device, variable, sample_time=5):

 

    cap = cv2.VideoCapture(0)

    init = time.time()

 

    # Allowed sample time for Ubidots is 1 dot/second

    if sample_time < 1:

        sample_time = 1

 

    while(True):

        # Capture frame-by-frame

        ret, frame = cap.read()

        frame = imutils.resize(frame, width=min(400, frame.shape[1]))

        result = detector(frame.copy())

 

        # shows the result

        for (xA, yA, xB, yB) in result:

            cv2.rectangle(frame, (xA, yA), (xB, yB), (0, 255, 0), 2)

        cv2.imshow('frame', frame)

 

        # Sends results

        if time.time() - init >= sample_time:

            print("[INFO] Sending actual frame results")

            # Converts the image to base 64 and adds it to the context

            b64 = convert_to_base64(frame)

            context = {"image": b64}

            sendToUbidots(token, device, variable,

                          len(result), context=context)

            init = time.time()

 

        if cv2.waitKey(1) & 0xFF == ord('q'):

            break

 

    # When everything done, release the capture

    cap.release()

    cv2.destroyAllWindows()

 

def convert_to_base64(image):

    image = imutils.resize(image, width=400)

    img_str = cv2.imencode('.png', image)[1].tostring()

    b64 = base64.b64encode(img_str)

    return b64.decode('utf-8')

与第3节的函数类似,第4节的函数将调用detector()方法和绘图框,并使用OpenCV中的VideoCapture()方法直接从网络摄像头检索图像。我们还稍微修改了officialOpenCV,从而在相机中获取图像,并且每隔“n”秒将结果发送到一个Ubidots帐户(sendToUbidots()函数将在本教程的后面部分进行回顾)。 函数convert_to_base64()会将图像转换为基本的64位字符串,这个字符串对于在HTML Canvas widget中使用JavaScript代码查看Ubidots中的结果非常重要。

第5节:

def detectPeople(args):

    image_path = args["image"]

    camera = True if str(args["camera"]) == 'true' else False

 

    # Routine to read local image

    if image_path != None and not camera:

        print("[INFO] Image path provided, attempting to read image")

        (result, image) = localDetect(image_path)

        print("[INFO] sending results")

        # Converts the image to base 64 and adds it to the context

        b64 = convert_to_base64(image)

        context = {"image": b64}

 

        # Sends the result

        req = sendToUbidots(TOKEN, DEVICE, VARIABLE,

                            len(result), context=context)

        if req.status_code >= 400:

            print("[ERROR] Could not send data to Ubidots")

            return req

 

    # Routine to read images from webcam

    if camera:

        print("[INFO] reading camera images")

        cameraDetect(TOKEN, DEVICE, VARIABLE)

这个方法旨在通过终端插入参数并触发例程,对本地存储的图像文件或通过网络摄像来搜索行人。

第6节:

def buildPayload(variable, value, context):

    return {variable: {"value": value, "context": context}}

 

 

def sendToUbidots(token, device, variable, value, context={}, industrial=True):

    # Builds the endpoint

    url = URL_INDUSTRIAL if industrial else URL_EDUCATIONAL

    url = "{}/api/v1.6/devices/{}".format(url, device)

 

    payload = buildPayload(variable, value, context)

    headers = {"X-Auth-Token": token, "Content-Type": "application/json"}

 

    attempts = 0

    status = 400

 

    while status >= 400 and attempts <= 5:

        req = requests.post(url=url, headers=headers, json=payload)

        status = req.status_code

        attempts += 1

        time.sleep(1)

 

return req

第6节的这两个函数是把结果发送给Ubidots从而理解和对数据进行可视化的两条主干道。第一个函数 def buildPayload是在请求中构建有效的负载,而第二个函数 def sendToUbidots则接收你的Ubidots参数(TOKEN,变量和设备标签)用于存储结果。在这种情况下,OpenCV可以检测到圆盒的长度。作为备选,也可以发送上下文来将结果存储为base64图像,以便稍后进行检索。

第7节:

def argsParser():

    ap = argparse.ArgumentParser()

    ap.add_argument("-i", "--image", default=None,

                    help="path to image test file directory")

    ap.add_argument("-c", "--camera", default=False,

                    help="Set as true if you wish to use the camera")

    args = vars(ap.parse_args())

 

    return args

对于第7节,我们即将完成对代码的分析。函数 argsParser()简单地解析并通过终端将脚本的参数以字典的形式返回。在解析器中有两个参数:

· image:在你的系统中图片文件的路径

· camera:这个变量如果设置为‘true’,那么就会调用cameraDetect()方法

第8节:

def main():

    args = argsParser()

    detectPeople(args)

 

if __name__ == '__main__':

    main()

第8节是我们主函数代码中的最终部分,只是用来获取console中的参数,然后发起指定的程序。

别忘了,全部的代码都可以从Github上下载。

3、测试

打开你最喜爱的代码编辑器(sublime-text,notepad,nano等),然后复制并粘贴此处所提供的完整代码。使用你特定的Ubidots TOKEN更新代码并将文件另存为“peopleCounter.py”。

正确保存代码后,让我们从Caltech Dataset和Pexels公共数据集中随机选择的下面四个图像来进行测试:

image.png
image.png

image.png

image.png

为了对这些图像进行分析,首先你必须将图像存储在笔记本电脑或PC中,并记录好要分析图像的存放路径。

python peopleCounter.py PATH_TO_IMAGE_FILE

在我的例子中,我将图像存储在标记为“dataset”的路径中。要执行一项有效的命令,请运行以下命令,但请更换为你个人的文件存放路径。

python peopleCounter.py -i dataset/image_1.png

如果你希望是从相机而不是本地文件中获取图像,只需运行以下命令:

python peopleCounter.py -c true

测试结果:

image.png

除了这种查看测试结果的方式之外,你还可以实时查看存储在Ubidots帐户中的测试的结果:

##4、创造你自己的仪表板

我们将使用HTML Canvas来实时观察所取得的结果,本教程不对HTML canvas widget做讲解,如果你不了解如何使用它们,请参阅以下文章:

Canvas Widget Examples

Canvas Widget Introductory Demo

Canvas Creating a Real Time Widget

我们将使用基本的实时示例加上微小的修改,便于观看我们的图像。 你可以在下面看到关于widget的代码

HTML

<img id="img" width="400px" height="auto"/>

JS

var socket;

var srv = "industrial.ubidots.com:443";

// var srv = "app.ubidots.com:443"  // Uncomment this line if you are an educational user

var VAR_ID = "5ab402dabbddbd3476d85967"; // Put here your var Id

var TOKEN = ""  // Put here your token

$( document ).ready(function() {

  

function renderImage(imageBase64){

  if (!imageBase64) return;

  $('#img').attr('src', 'data:image/png;base64, ' + imageBase64);

}

  

// Function to retrieve the last value, it runs only once  

function getDataFromVariable(variable, token, callback) {

  var url = 'https://things.ubidots.com/api/v1.6/variables/' + variable + '/values';

  var headers = {

    'X-Auth-Token': token,

    'Content-Type': 'application/json'

  };

  

  $.ajax({

    url: url,

    method: 'GET',

    headers: headers,

    data : {

      page_size: 1

    },

    success: function (res) {

      if (res.results.length > 0){

      renderImage(res.results[0].context.image);

      }

      callback();

    }

  });

}

 

// Implements the connection to the server

socket = io.connect("https://"+ srv, {path: '/notifications'});

var subscribedVars = [];

 

// Function to publish the variable ID

var subscribeVariable = function (variable, callback) {

  // Publishes the variable ID that wishes to listen

  socket.emit('rt/variables/id/last_value', {

    variable: variable

  });

  // Listens for changes

  socket.on('rt/variables/' + variable + '/last_value', callback);

  subscribedVars.push(variable);

};

 

// Function to unsubscribed for listening

var unSubscribeVariable = function (variable) {

  socket.emit('unsub/rt/variables/id/last_value', {

    variable: variable

  });

  var pst = subscribedVars.indexOf(variable);

  if (pst !== -1){

    subscribedVars.splice(pst, 1);

  }

};

 

var connectSocket = function (){

  // Implements the socket connection

  socket.on('connect', function(){

    console.log('connect');

    socket.emit('authentication', {token: TOKEN});

  });

  window.addEventListener('online', function () {

    console.log('online');

    socket.emit('authentication', {token: TOKEN});

  });

  socket.on('authenticated', function () {

    console.log('authenticated');

    subscribedVars.forEach(function (variable_id) {

      socket.emit('rt/variables/id/last_value', { variable: variable_id });

    });

  });

}

 

/* Main Routine */

getDataFromVariable(VAR_ID, TOKEN, function(){

  connectSocket();

});

  

connectSocket();

 

//connectSocket();

// Subscribe Variable with your own code.

subscribeVariable(VAR_ID, function(value){

  var parsedValue = JSON.parse(value);

  console.log(parsedValue);

  //$('#img').attr('src', 'data:image/png;base64, ' + parsedValue.context.image);

  renderImage(parsedValue.context.image);

  })

});

不要忘记把你的帐户TOKEN和变量ID放在代码段的开头。

第三部分的LIBRARIES

增加下面第三部分的libraries:

https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js

https://iot.cdnedge.bluemix.net/ind/static/js/libs/socket.io/socket.io.min.js

当你保存你的widget,你可以获得类似于下面的结果:

image.png

5、结果展示

image.png

在此链接中你可以看到带有结果的仪表板。

在本文中,我们探讨了如何使用DIP(图像处理),OpenCV和Ubidots来创建物联网人员计数器。通过这些服务,在对人物、场景或事物的检测与识别问题上,你的DIP应用程序会比PIR或其他光学传感器更加准确 – 这套程序提供了高效的行人计数器,而且不需要对早期数据的静态进行任何操作。

在社区论坛中留下Ubidots的评论,或者通过Facebook,Twitter或Hackster与Ubidots与我们取得联系,让我们知晓你的想法。

做一个快乐的码农!

关于作者Jose García

UIS电子工程师,Ubuntu用户,布卡拉曼加人,程序员,有时很无聊,想要环游世界但却没太有希望完成这一梦想。 硬件和软件开发人员@Ubidots

原文标题:

People Counting with OpenCV, Python & Ubidots

原文链接:

https://ubidots.com/blog/people-counting-with-opencv-python-and-ubidots/

编辑:于腾凯

校对:林亦霖

译者简介

吴振东,法国洛林大学计算机与决策专业硕士。现从事人工智能和大数据相关工作,以成为数据科学家为终生奋斗目标。来自山东济南,不会开挖掘机,但写得了Java、Python和PPT。

翻译组招募信息

工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利:来自于名企的数据科学工作者,北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

目录
相关文章
|
10天前
|
数据采集 JSON API
如何利用Python爬虫淘宝商品详情高级版(item_get_pro)API接口及返回值解析说明
本文介绍了如何利用Python爬虫技术调用淘宝商品详情高级版API接口(item_get_pro),获取商品的详细信息,包括标题、价格、销量等。文章涵盖了环境准备、API权限申请、请求构建和返回值解析等内容,强调了数据获取的合规性和安全性。
|
8天前
|
数据挖掘 vr&ar C++
让UE自动运行Python脚本:实现与实例解析
本文介绍如何配置Unreal Engine(UE)以自动运行Python脚本,提高开发效率。通过安装Python、配置UE环境及使用第三方插件,实现Python与UE的集成。结合蓝图和C++示例,展示自动化任务处理、关卡生成及数据分析等应用场景。
60 5
|
22天前
|
存储 缓存 Python
Python中的装饰器深度解析与实践
在Python的世界里,装饰器如同一位神秘的魔法师,它拥有改变函数行为的能力。本文将揭开装饰器的神秘面纱,通过直观的代码示例,引导你理解其工作原理,并掌握如何在实际项目中灵活运用这一强大的工具。从基础到进阶,我们将一起探索装饰器的魅力所在。
|
23天前
|
数据采集 分布式计算 大数据
构建高效的数据管道:使用Python进行ETL任务
在数据驱动的世界中,高效地处理和移动数据是至关重要的。本文将引导你通过一个实际的Python ETL(提取、转换、加载)项目,从概念到实现。我们将探索如何设计一个灵活且可扩展的数据管道,确保数据的准确性和完整性。无论你是数据工程师、分析师还是任何对数据处理感兴趣的人,这篇文章都将成为你工具箱中的宝贵资源。
|
26天前
|
Android开发 开发者 Python
通过标签清理微信好友:Python自动化脚本解析
微信已成为日常生活中的重要社交工具,但随着使用时间增长,好友列表可能变得臃肿。本文介绍了一个基于 Python 的自动化脚本,利用 `uiautomator2` 库,通过模拟用户操作实现根据标签批量清理微信好友的功能。脚本包括环境准备、类定义、方法实现等部分,详细解析了如何通过标签筛选并删除好友,适合需要批量管理微信好友的用户。
38 7
|
23天前
|
机器学习/深度学习 人工智能 算法
深度学习入门:用Python构建你的第一个神经网络
在人工智能的海洋中,深度学习是那艘能够带你远航的船。本文将作为你的航标,引导你搭建第一个神经网络模型,让你领略深度学习的魅力。通过简单直观的语言和实例,我们将一起探索隐藏在数据背后的模式,体验从零开始创造智能系统的快感。准备好了吗?让我们启航吧!
60 3
|
27天前
|
XML 数据采集 数据格式
Python 爬虫必备杀器,xpath 解析 HTML
【11月更文挑战第17天】XPath 是一种用于在 XML 和 HTML 文档中定位节点的语言,通过路径表达式选取节点或节点集。它不仅适用于 XML,也广泛应用于 HTML 解析。基本语法包括标签名、属性、层级关系等的选择,如 `//p` 选择所有段落标签,`//a[@href=&#39;example.com&#39;]` 选择特定链接。在 Python 中,常用 lxml 库结合 XPath 进行网页数据抓取,支持高效解析与复杂信息提取。高级技巧涵盖轴的使用和函数应用,如 `contains()` 用于模糊匹配。
|
28天前
|
测试技术 开发者 Python
使用Python解析和分析源代码
本文介绍了如何使用Python的`ast`模块解析和分析Python源代码,包括安装准备、解析源代码、分析抽象语法树(AST)等步骤,展示了通过自定义`NodeVisitor`类遍历AST并提取信息的方法,为代码质量提升和自动化工具开发提供基础。
43 8
|
1月前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
77 2
|
4天前
|
存储 设计模式 算法
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析
行为型模式用于描述程序在运行时复杂的流程控制,即描述多个类或对象之间怎样相互协作共同完成单个对象都无法单独完成的任务,它涉及算法与对象间职责的分配。行为型模式分为类行为模式和对象行为模式,前者采用继承机制来在类间分派行为,后者采用组合或聚合在对象间分配行为。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象行为模式比类行为模式具有更大的灵活性。 行为型模式分为: • 模板方法模式 • 策略模式 • 命令模式 • 职责链模式 • 状态模式 • 观察者模式 • 中介者模式 • 迭代器模式 • 访问者模式 • 备忘录模式 • 解释器模式
【23种设计模式·全精解析 | 行为型模式篇】11种行为型模式的结构概述、案例实现、优缺点、扩展对比、使用场景、源码解析

推荐镜像

更多