|
17天前
|
物联网 测试技术 开发工具
|

开发 Bluegiga APX4 协议产品需要哪些技术知识

开发Bluegiga APX4协议产品需掌握蓝牙技术、嵌入式系统开发、C语言编程、硬件设计及调试技能,熟悉Bluegiga API和相关开发工具。

30 2
|
17天前
|
存储 IDE Java
|

如何检查类文件是否被篡改?

类文件被篡改可能导致安全问题和程序异常。检查方法包括:1. 比对文件哈希值;2. 使用反编译工具对比代码;3. 检查文件签名。确保类文件的完整性和安全性。

26 3
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
|

【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024

阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。

54 1
来自: 人工智能平台PAI  版块
|
17天前
|
数据采集 机器学习/深度学习 供应链
|

用Puppeteer点击与数据爬取:实现动态网页交互

本文介绍了如何使用Puppeteer和代理IP抓取51job招聘信息。Puppeteer作为强大的浏览器自动化工具,能模拟用户操作、加载动态数据,结合代理IP技术可以提高抓取成功率并避免IP封禁。文章详细阐述了招聘信息的价值和市场应用,以及大数据分析在招聘信息采集中的应用。通过具体实现步骤和示例代码,展示了如何设置代理、模拟用户操作、抓取和分析数据,为企业和求职者提供有价值的市场洞察。

51 1
|
17天前
|
网络协议 网络安全 数据安全/隐私保护
|

计算机网络概念:网关,DHCP,IP寻址,ARP欺骗,路由,DDOS等

【10月更文挑战第27天】计算机主机网关的作用类似于小区传达室的李大爷,负责将内部网络的请求转发到外部网络。当小区内的小不点想与外面的小明通话时,必须通过李大爷(网关)进行联系。网关不仅帮助内部设备与外部通信,还负责路由选择,确保数据包高效传输。此外,网关还参与路由表的维护和更新,确保网络路径的准确性。

40 2
|
17天前
|
存储 数据采集 数据库
|

用 Python 爬取淘宝商品价格信息时需要注意什么?

使用 Python 爬取淘宝商品价格信息时,需注意法律和道德规范,遵守法律法规和平台规定,避免非法用途。技术上,可选择 Selenium 和 Requests 库,处理反爬措施如 IP 限制、验证码识别和请求频率控制。解析页面数据时,确定数据位置并清洗格式。数据存储可选择 CSV、Excel、JSON 或数据库,定期更新并去重。还需进行错误处理和日志记录,确保爬虫稳定运行。

43 2
|
17天前
|
网络协议 安全 应用服务中间件
|

服务器最大支持多少链接数

【10月更文挑战第27天】本文探讨了单台服务器最大支持的链接数,分析了TCP链接标识的四元组、文件句柄限制、端口号范围及多IP绑定等技术细节。结论指出,理论上的最大链接数受制于文件句柄和内存,而链接接收端的链接数可视为无限大。

36 0
|
17天前
|
网络协议 程序员 数据库
|

什么是公网IP和内网IP

【10月更文挑战第27天】公网IP与内网IP是网络通信中的两个重要概念。公网IP是互联网上的唯一标识,而内网IP仅在局域网内部有效,用于局域网内的设备通信。由于IPv4地址资源有限,通常一个公司或家庭只有一个公网IP,内部设备通过NAT(网络地址转换)技术共享该公网IP访问互联网。这样不仅节省了IP资源,还提高了网络安全性和稳定性。

66 0
|
17天前
|
JSON 数据可视化 NoSQL
|

基于LLM Graph Transformer的知识图谱构建技术研究:LangChain框架下转换机制实践

本文介绍了LangChain的LLM Graph Transformer框架,探讨了文本到图谱转换的双模式实现机制。基于工具的模式利用结构化输出和函数调用,简化了提示工程并支持属性提取;基于提示的模式则为不支持工具调用的模型提供了备选方案。通过精确定义图谱模式(包括节点类型、关系类型及其约束),显著提升了提取结果的一致性和可靠性。LLM Graph Transformer为非结构化数据的结构化表示提供了可靠的技术方案,支持RAG应用和复杂查询处理。

62 2
|
17天前
|
机器学习/深度学习 数据采集 存储
|

使用Python实现智能农业灌溉系统的深度学习模型

使用Python实现智能农业灌溉系统的深度学习模型

71 6
|
17天前
|
缓存 NoSQL 关系型数据库
|

redis数据库超级详细(一)

本文介绍了 Redis 的基础与进阶知识。Redis 是一个使用 ANSI C 编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库,属于 NoSQL 数据库。文章详细讲解了 Redis 的安装、配置、数据类型及其操作,包括字符串、哈希、列表、集合和有序集合等。此外,还提供了 Python 操作 Redis 的示例代码,以及 Redis 在实际应用中的几个典型案例,如 KV 缓存、分布式锁、延迟队列、发布订阅和定时任务等。通过这些内容,读者可以全面了解 Redis 的核心功能和应用场景。

58 1
|
17天前
|
存储 Python Perl
|

python正则语法

本文介绍了正则表达式的基础知识及其在 Python 中的应用。首先解释了为什么要使用正则表达式,通过一个判断手机号的示例展示了正则表达式的简洁性。接着详细介绍了 `re` 模块的常用方法,如 `match()`、`search()`、`findall()`、`finditer()` 等,并讲解了正则表达式的基本语法,包括匹配单个字符、数字、锚字符和限定符等。最后,文章还探讨了正则表达式的高级特性,如分组、编译和贪婪与非贪婪模式。

16 2
|
17天前
|
流计算 消息中间件 Kafka
|

flinkcdc性能很差

72 0
来自:实时计算 Flink 版块
|
18天前
|
NoSQL 关系型数据库 MySQL
|

python协程+异步总结!

本文介绍了Python中的协程、asyncio模块以及异步编程的相关知识。首先解释了协程的概念和实现方法,包括greenlet、yield关键字、asyncio装饰器和async/await关键字。接着详细讲解了协程的意义和应用场景,如提高IO密集型任务的性能。文章还介绍了事件循环、Task对象、Future对象等核心概念,并提供了多个实战案例,包括异步Redis、MySQL操作、FastAPI框架和异步爬虫。最后提到了uvloop作为asyncio的高性能替代方案。通过这些内容,读者可以全面了解和掌握Python中的异步编程技术。

35 0
|
18天前
|
机器学习/深度学习 数据采集 数据可视化
|

使用Python实现深度学习模型:智能植物生长监测与优化

使用Python实现深度学习模型:智能植物生长监测与优化

66 0
|
18天前
|
分布式计算 Java 开发工具
|

阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析

本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。

44 1
|
18天前
|
数据采集 缓存 程序员
|

python协程使用教程

1. **协程**:介绍了协程的概念、与子程序的区别、优缺点,以及如何在 Python 中使用协程。 2. **同步与异步**:解释了同步与异步的概念,通过示例代码展示了同步和异步处理的区别和应用场景。 3. **asyncio 模块**:详细介绍了 asyncio 模块的概述、基本使用、多任务处理、Task 概念及用法、协程嵌套与返回值等。 4. **aiohttp 与 aiofiles**:讲解了 aiohttp 模块的安装与使用,包括客户端和服务器端的简单实例、URL 参数传递、响应内容读取、自定义请求等。同时介绍了 aiofiles 模块的安装与使用,包括文件读写和异步迭代

21 0
|
18天前
|
数据采集 存储 JavaScript
|

如何使用Puppeteer和Node.js爬取大学招生数据:入门指南

本文介绍了如何使用Puppeteer和Node.js爬取大学招生数据,并通过代理IP提升爬取的稳定性和效率。Puppeteer作为一个强大的Node.js库,能够模拟真实浏览器访问,支持JavaScript渲染,适合复杂的爬取任务。文章详细讲解了安装Puppeteer、配置代理IP、实现爬虫代码的步骤,并提供了代码示例。此外,还给出了注意事项和优化建议,帮助读者高效地抓取和分析招生数据。

44 0
|
18天前
|
人工智能 边缘计算 自然语言处理
|

DistilQwen2:通义千问大模型的知识蒸馏实践

DistilQwen2 是基于 Qwen2大模型,通过知识蒸馏进行指令遵循效果增强的、参数较小的语言模型。本文将介绍DistilQwen2 的技术原理、效果评测,以及DistilQwen2 在阿里云人工智能平台 PAI 上的使用方法,和在各开源社区的下载使用教程。

167 3
来自: 人工智能平台PAI  版块
|
18天前
|
机器学习/深度学习 数据采集 算法
|

基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模

**Liquid State Machine (LSM)** 是一种 **脉冲神经网络 (Spiking Neural Network, SNN)** ,在计算神经科学和机器学习领域中得到广泛应用,特别适用于处理 **时变或动态数据**。它是受大脑自然信息处理过程启发而提出的一种 **脉冲神经网络** 。

48 4
|
18天前
|
安全 前端开发 API
|

反向海淘客户案例:hoobuy淘宝代购集运系统搭建攻略介绍

这份攻略详细介绍了如何搭建 Hoobuy 淘宝代购集运系统。首先,通过市场调研与定位,明确目标客户和竞争态势,确定市场定位。接着,选择合适的技术栈,包括后端、前端和数据库,构建稳定高效的系统架构。核心功能涵盖 API 集成、商品展示、购物车管理、物流追踪等,确保用户体验。此外,注重安全与合规,保障用户数据和支付安全,遵守相关法律法规。最后,通过 SEO 优化、社交媒体营销和建立合作伙伴关系,推动系统的推广与运营。

62 2
|
19天前
|
存储 算法 安全
|

2024重生之回溯数据结构与算法系列学习之顺序表【无论是王道考研人还真爱粉都能包会的;不然别给我家鸽鸽丢脸好嘛?】

顺序表的定义和基本操作之插入;删除;按值查找;按位查找等具体详解步骤以及举例说明

24 3
|
19天前
|
数据采集 前端开发 JavaScript
|

动态与静态网站抓取的区别:从抓取策略到性能优化

本文详细介绍了动态与静态网站抓取的区别、抓取策略及性能优化技巧,并提供了相关代码示例。静态网站抓取通过简单的HTTP请求和解析库实现,而动态网站则需使用Selenium等工具模拟浏览器执行JavaScript。文章还展示了如何使用代理IP、多线程和合理的请求头设置来提高抓取效率。

35 2
|
19天前
|
资源调度 流计算
|

flinksql 提交yarn session 总是提交到本地集群

38 0
来自:实时计算 Flink 版块
|
19天前
|
关系型数据库 PostgreSQL RDS
|

阿里云产品十月刊来啦

阿里云RDS PostgreSQL已支持PostgreSQL 17.0 大版本,通义灵码知识库问答功能增强,多款产品能力新升级,详情请点击阿里云产品十月刊

59 0
|
19天前
|
机器学习/深度学习 Serverless 定位技术
|

深入理解多重共线性:基本原理、影响、检验与修正策略

本文将深入探讨多重共线性的本质,阐述其重要性,并提供有效处理多重共线性的方法,同时避免数据科学家常犯的陷阱。

24 3
|
19天前
|
存储 数据可视化 Python
|

使用Python实现个人财务管理工具

本文介绍如何使用Python实现一个简单的个人财务管理工具,包括记录支出和收入、生成财务报告和数据可视化等功能。通过命令行界面输入数据,计算总支出、总收入和净收入,并使用Matplotlib库进行数据可视化。

37 1
来自: 数据可视化DataV  版块
|
19天前
|
调度 iOS开发 MacOS
|

python多进程一文够了!!!

本文介绍了高效编程中的多任务原理及其在Python中的实现。主要内容包括多任务的概念、单核和多核CPU的多任务实现、并发与并行的区别、多任务的实现方式(多进程、多线程、协程等)。详细讲解了进程的概念、使用方法、全局变量在多个子进程中的共享问题、启动大量子进程的方法、进程间通信(队列、字典、列表共享)、生产者消费者模型的实现,以及一个实际案例——抓取斗图网站的图片。通过这些内容,读者可以深入理解多任务编程的原理和实践技巧。

43 1
|
19天前
|
Java Unix 调度
|

python多线程!

本文介绍了线程的基本概念、多线程技术、线程的创建与管理、线程间的通信与同步机制,以及线程池和队列模块的使用。文章详细讲解了如何使用 `_thread` 和 `threading` 模块创建和管理线程,介绍了线程锁 `Lock` 的作用和使用方法,解决了多线程环境下的数据共享问题。此外,还介绍了 `Timer` 定时器和 `ThreadPoolExecutor` 线程池的使用,最后通过一个具体的案例展示了如何使用多线程爬取电影票房数据。文章还对比了进程和线程的优缺点,并讨论了计算密集型和IO密集型任务的适用场景。

38 4
|
19天前
|
机器学习/深度学习 数据采集 算法框架/工具
|

使用Python实现深度学习模型:智能野生动物保护与监测

使用Python实现深度学习模型:智能野生动物保护与监测

42 5
|
19天前
|
安全 JavaScript 前端开发
|

跨域问题如何解决

跨域问题是指浏览器同源策略限制了不同域名之间的资源访问。解决方法包括:1. CORS(跨域资源共享):服务器设置Access-Control-Allow-Origin响应头;2. JSONP:利用script标签不受同源策略限制的特点;3. 代理服务器:通过后端代理转发请求。

27 8
|
19天前
|
前端开发 JavaScript 开发者
|

HMR 插件的优点和缺点

【10月更文挑战第23天】HMR 插件的优点远远超过其缺点。它为前端开发带来了巨大的便利和效率提升,使开发者能够更加专注于代码的编写和优化。然而,在使用过程中也需要注意可能出现的问题,并根据实际情况进行适当的调整和优化。

32 7
|
19天前
|
传感器 存储 监控
|

树莓派的应用场景有哪些

树莓派是一种小型、低成本的计算机,广泛应用于教育、家庭自动化、媒体中心、游戏、机器人、物联网项目等领域,支持多种操作系统和编程语言。

83 8
|
20天前
|
存储 物联网 PyTorch
|

基于PyTorch的大语言模型微调指南:Torchtune完整教程与代码示例

**Torchtune**是由PyTorch团队开发的一个专门用于LLM微调的库。它旨在简化LLM的微调流程,提供了一系列高级API和预置的最佳实践

127 59
|
20天前
|
数据采集 JSON 应用服务中间件
|

urllib与requests模块万字超详细!!

本文介绍了Python中用于发送网络请求的两个重要模块:`urllib` 和 `requests`。首先,文章详细讲解了 `urllib` 模块的基本使用方法,包括构造请求、发送请求、处理响应等。接着,文章重点介绍了 `requests` 模块,强调了其在企业中的广泛应用,以及如何发送GET和POST请求、处理响应、使用代理、处理Cookie等内容。最后,文章还探讨了 `requests` 模块的高级功能,如处理证书错误、设置超时、使用 `retrying` 模块等,帮助读者全面掌握网络请求的处理技巧。

26 4
|
20天前
|
数据采集 Web App开发 JavaScript
|

python-selenium模块详解!!!

Selenium 是一个强大的自动化测试工具,支持 Python 调用浏览器进行网页抓取。本文介绍了 Selenium 的安装、基本使用、元素定位、高级操作等内容。主要内容包括:发送请求、加载网页、元素定位、处理 Cookie、无头浏览器设置、页面等待、窗口和 iframe 切换等。通过示例代码帮助读者快速掌握 Selenium 的核心功能。

62 5
|
21天前
|
JavaScript 数据安全/隐私保护 Python
|

python爬取m3u8实战!!

本文详细介绍了如何抓取和处理m3u8视频文件,包括从网页源代码中提取m3u8文件地址、下载m3u8文件及其对应的ts片段、处理加密的ts文件以及使用ffmpeg合并视频片段。通过多线程下载和文件路径处理,确保了高效和准确的视频抓取与合并。文中还提供了具体的Python代码示例,帮助读者理解和实现整个过程。

58 1
|
21天前
|
Java API Maven
|

如何使用 Java 字节码工具检查类文件的完整性

本文介绍如何利用Java字节码工具来检测类文件的完整性和有效性,确保类文件未被篡改或损坏,适用于开发和维护阶段的代码质量控制。

37 5
|
21天前
|
数据采集 机器学习/深度学习 数据挖掘
|

10种数据预处理中的数据泄露模式解析:识别与避免策略

在机器学习中,数据泄露是一个常见问题,指的是测试数据在数据准备阶段无意中混入训练数据,导致模型在测试集上的表现失真。本文详细探讨了数据预处理步骤中的数据泄露问题,包括缺失值填充、分类编码、数据缩放、离散化和重采样,并提供了具体的代码示例,展示了如何避免数据泄露,确保模型的测试结果可靠。

32 2
|
21天前
|
机器学习/深度学习 数据采集 算法框架/工具
|

使用Python实现智能生态系统监测与保护的深度学习模型

使用Python实现智能生态系统监测与保护的深度学习模型

64 4
|
21天前
|
XML 数据格式 索引
|

xpath模块使用教程

XPath 是一种在 XML 文档中查找信息的语言,广泛用于 HTML 解析。本文介绍了 XPath 的安装与使用,包括 lxml 库的安装、解析流程、基本语法、路径表达式、谓语、通配符、多路径选择、逻辑运算、属性查询、索引查询、模糊查询、内容查询、属性值获取及节点内容转换等。通过实例详细说明了各种用法,帮助读者快速掌握 XPath 的应用技巧。

96 39
|
21天前
|
算法 安全 Linux
|

万字详解并发编程!!!

本文介绍了并发编程的基本概念和技术,涵盖了操作系统的发展历程、进程与线程的原理和使用方法。主要内容包括: 操作系统发展史:从手工操作到多道程序系统、分时系统、实时系统,再到通用操作系统,逐步介绍了操作系统的演变过程。 并发编程技术:强调并发编程的目标是充分利用CPU资源,提高系统性能 进程:详细讲解了进程的概念、组成、状态、调度算法、进程间通信(IPC)以及守护进程和僵尸进程等问题。 线:介绍了线程的基本概念、与进程的区别、线程的创建、多线程共享资源、线程同步与互斥锁、递归锁和死锁问题 5. **队列**:讲解了队列的基本概念,包括先进先出队列、后进先出队列和优先级队列,并提供了具体的实现示例

76 38
|
21天前
|
监控 安全 测试技术
|

我们为什么要API管理系统呢?

API 管理系统通过接口标准化与复用、简化开发流程、版本管理、监控与预警、访问控制、数据加密、安全审计、集中管理与共享、协作开发、快速对接外部系统和数据驱动的决策等多方面优势,显著提高开发效率、增强系统可维护性、提升系统安全性、促进团队协作与沟通,并支持业务创新与扩展。

52 2
|
21天前
|
消息中间件 人工智能 监控
|

Paimon x StarRocks 助力喜马拉雅直播实时湖仓构建

本文由喜马拉雅直播业务与仓库建设负责人王琛撰写,介绍了喜马拉雅直播业务的数据仓库架构迭代升级。文章重点分享了基于 Flink + Paimon + StarRocks 实现实时湖仓的架构及其成效,通过分钟级别的收入监控、实时榜单生成、流量监测和盈亏预警,大幅提升了运营效率与决策质量,并为未来的业务扩展和 AI 项目打下坚实基础。

152 2
来自: 实时计算 Flink  版块
|
22天前
|
人工智能 运维 自然语言处理
|

通义灵码一周年:灵码编码个人版实践

作为一名运维工程师,我在运维和测试过程中经常需要编写代码。最近了解到通义灵码,它支持行/函数级实时续写、自然语言生成代码等功能,大大提升了我的工作效率。通过通义灵码,我可以快速生成和补全代码,节省了大量时间。此外,通义灵码还提供了代码解释和注释生成等实用功能,帮助我更好地理解和维护现有代码。整体安装和使用都非常简便,推荐给需要提升开发效率的小伙伴们。

91 4
|
22天前
|
XML 前端开发 数据格式
|

超级详细的python中bs4模块详解

Beautiful Soup 是一个用于从网页中抓取数据的 Python 库,提供了简单易用的函数来处理导航、搜索和修改分析树。支持多种解析器,如 Python 标准库中的 HTML 解析器和更强大的 lxml 解析器。通过简单的代码即可实现复杂的数据抓取任务。本文介绍了 Beautiful Soup 的安装、基本使用、对象类型、文档树遍历和搜索方法,以及 CSS 选择器的使用。

52 1
|
22天前
|
供应链 数据挖掘 智能硬件
|

2024年如何做好跨境电商

2024年跨境电商成功之道:深入市场调研与选品,建立可靠供应链,选择合适平台并优化店铺运营,合规经营,重视数据分析与优化,加强人才培养与团队建设。通过这些策略,提升竞争力,实现业务增长。

30 3

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

3
今日
64682
内容
111
活动
438204
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务