1818330887192085_个人页

2024年12月

• 12.02 20:11:13
  发表了文章 2024-12-02 20:11:13

  数仓质量监控方案

  本监控模块涵盖资源、任务和质量三大方面，包括资源利用率、任务状态与运行时间、数据表及字段质量、以及基线监控等，设置详细报警规则，确保系统稳定高效运行。
• 12.01 13:40:21
  发表了文章 2024-12-01 13:40:21

  数据接入方案

  数仓平台可直连或通过从库、堡垒机、FTP/SFTP等方式接入业务数据库，需提供可读用户权限及相应连接方式。若无法直连，可通过提供数据文件或脚本处理实现数据导入。

  
• 12.01 13:33:17
  发表了文章 2024-12-01 13:33:17

  Big data Doc Analyze

  本文介绍了文本分析的基本概念、应用场景及技术细节，涵盖了结构化、半结构化和非结构化数据的概述，重点探讨了中文分词工具如jieba、SnowNLP等，以及中文关键词提取和相似度计算的方法，最后提出了文本分析的架构图和实施步骤，强调了NLP在文本数据处理中的重要性和应用前景。

  
• 12.01 13:28:59
  发表了文章 2024-12-01 13:28:59

  熵值法计算权重

  熵值法计算权重是一种基于信息论的方法，用于多指标综合评价。通过计算各指标的信息熵，反映指标的变异程度，从而确定其在综合评价中的权重。熵值越小，表示信息量越大，指标的重要性越高。该方法适用于样本数据较少的情形，能有效避免主观因素的影响。文中详细介绍了熵值法的原理、计算步骤及Python实现代码。