本文介绍了如何通过高质量的文档解析提升RAG系统整体的效果。

**摘要：** 本文探讨了数据可信流通的概念，强调了数据来源确认、使用范围界定、流程追溯和风险防范的重要性。数据流通分为内循环（安全域内）和外循环（跨域），其中外循环面临黑客攻击、内部泄露和数据滥用等风险。为建立技术信任，提出了身份验证、利益对齐、能力预期和行为审计四点要求，涉及隐私计算、可信计算等技术。隐语作为隐私计算框架，提供服务以支持数据安全流通，通过开源降低接入门槛，并具备统一架构、原生应用、开放拓展、高性能和多轮安全验证等优势。开源隐语助力解决数据权属和信任问题，促进数据要素的安全流通。

DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。

LabelStudio是开源的数据标注工具，支持多种类型如文本、图像、音频、视频的标注任务。它具有多种标注类型、可扩展性、团队协作和版本控制等功能，并可在本地、云端或Docker中部署。通过设置环境变量`DATA_UPLOAD_MAX_NUMBER_FILES`，可以解除上传文件数量限制。使用Docker安装时，可运行包含该变量的命令以启动容器，并通过http://localhost:8080访问。遇到文件数限制问题，可增大此变量值以解决。

ELK的架构有多种，本篇分享使用的架构如图所示： Beats(Filebeat) -> -> Elasticsearch -> Kibana，目前生产环境一天几千万的日志，内存占用大概 10G

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

请注意，替换上述命令中的 `<package-name>`为你实际要安装的软件包名。

Hive中日期处理函数的使用（date_format、date_add、date_sub、next_day）

本文主要展示了36 款 AI 应用，可以帮助读者更快、更好地工作。每个人都在与ChatGPT交流，从完整的博客文章到特定代码行的功能都在询问。其结果令人惊叹。虽然我们仍在探索如何将这项技术纳入我们的工作流程中，但明显的是，人工智能工具正在改变游戏规则。尽管ChatGPT是目前最受欢迎的，但它远不是首款进入市场的人工智能应用程序。

【MATLAB】史上最全的13种数据拟合算法全家桶

现在最火的莫过于GPT了，也就是大规模语言模型(LLM)。“LLM” 是 “Large Language Model”（大语言模型）的简称，通常用来指代具有巨大规模参数和复杂架构的自然语言处理模型，例如像 GPT-3（Generative Pre-trained Transformer 3）这样的模型。这些模型在处理文本和语言任务方面表现出色，但其庞大的参数量和计算需求使得它们被称为大模型。当然也有一些自动生成图片的模型，但是影响力就不如GPT这么大了。

​F-PointNet 提出了直接处理点云数据的方案，但这种方式面临着挑战，比如：如何有效地在三维空间中定位目标的可能位置，即如何产生 3D 候选框，假如全局搜索将会耗费大量算力与时间。 F-PointNet是在进行点云处理之前，先使用图像信息得到一些先验搜索范围，这样既能提高效率，又能增加准确率。 论文地址：Frustum PointNets for 3D Object Detection from RGB-D Data  开源代码：https://github.com/charlesq34/frustum-pointnets

Pyomo介绍

导读: 作者：振策-阿里云计算平台-产品解决方案, 20230805 本文将分享当前云原生大数据架构的发展历程/架构定义/核心能力/应用场景及趋势思考。主要包括以下四个部分： - 从大数据上云看架构 - 云原生数据平台的核心能力 - Data+AI with Cloud-Native - 未来趋势与思考

今天这篇小作文主要介绍如何通过构建ChatGPT Prompt以解决文本转换任务。

本文主要谈了一些分布式计算框架方面的心得。

聊什么 为了满足本系列读者的需求，在完成《Apache Flink 漫谈系列(14) - DataStream Connectors》之前，我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例，向大家介绍在Apache Flink中如何使用Kafka。

Hippo是搜索调度团队根据搜索、推荐、广告等业务特点从2013年开始打造并逐步完善的一套分布式调度系统，支持了集团内外多个事业部的搜索、推荐、广告等相关业务。2017双11期间，搜索在离线混部实现了全时段无干预无降级稳定运行，提供了搜索双11所有TF模型离线批次训练所需资源，并在2017/11/10晚上23点因为离线训练集群负载过高首次在混部上不间断运行了超过2万core的双11实时训练流程并一直在稳定运行。

RAG系统问题常被归咎于TopK调参，实则根源在文档切分粒度——它预先决定了风险类型（缺失型/冲突型）与分布形态（分散或集中）。TopK只是放大器，而非成因。优化切分才是治本之策。

人机共生时代：AI 不是敌人，而是一起扛活的伙伴

在AI从概念走向应用的时代，自主智能体正悄然重塑传统行业。它非单一模型，而是具备感知、决策、执行与优化能力的“数字员工”，已在制造、供应链、农业、医疗、建筑等领域实现深度赋能，推动人机协同新范式。

本文系统阐述AI智能体开发方法论：突破“调参”思维，以感知、决策、执行、记忆四大架构为基，提出从场景锁定到评估优化的“五步跃迁法”，助力开发者构建具备行业深度与自主行动力的数字生命。（239字）

MLflow / Feast 实战手记：MLOps 不是装工具，是治内伤

数据中心节能：液冷 + AI 调度，到底是不是“真解法”？