本文介绍了在Python中使用DrissionPage库和Auth代理Chrome插件抓取163新闻网站数据的方法。针对许多爬虫框架不支持代理认证的问题，文章提出了通过代码生成包含认证信息的Chrome插件来配置代理。示例代码展示了如何创建插件并利用DrissionPage进行网页自动化，成功访问需要代理的网站并打印页面标题。该方法有效解决了代理认证难题，提高了爬虫的效率和安全性，适用于各种需要代理认证的网页数据采集。

Hive优化主要涉及HDFS和MapReduce的使用。问题包括数据倾斜、操作过多和不当使用。识别倾斜可通过检查分区文件大小或执行聚合抽样。解决方案包括整体优化模型设计，如星型、雪花模型，合理分区和分桶，以及压缩。内存管理需调整mapred和yarn参数。倾斜数据处理通过选择均衡连接键、使用map join和combiner。控制Mapper和Reducer数量以避免小文件和资源浪费。减少数据规模可调整存储格式和压缩，动态或静态分区管理，以及优化CBO和执行引擎设置。其他策略包括JVM重用、本地化运算和LLAP缓存。

本文整理自蚂蚁集团高级技术专家赵亮星云，在 Flink Forward Asia 2023 AI 特征工程专场的分享。

LogiCORE IBERT IP核是Xilinx提供的集成式误码率测试IP核，该IP核产生测试样式，由发送端发出测试样式，经接收端接收测试样式并进行误码检测、分析，以检测Xilinx器件内部高速串行收发器的收发性能。由IBERT IP生成的测试工程会提供一个图形化测试界面，方便用户直观控制和检测高速串行收发器的参数指标。 XQ6657Z35-EVM 评估板SFP光口IBERT链路误码测试的运行效果。IBERT链路误码测试例程两个，分别用于光口运行在5Gbps和10Gbps两种线路速率情形下的误码统计和眼图测试。

Flink CDC报错指的是使用Apache Flink的Change Data Capture（CDC）组件时遇到的错误和异常；本合集将汇总Flink CDC常见的报错情况，并提供相应的诊断和解决方法，帮助用户快速恢复数据处理任务的正常运行。

2022年3月，蚂蚁集团自研TEE技术（HyperEnclave）通过了北京国家金融科技认证中心认证

短视频平台如TikTok已成为信息传播和电商推广的重要渠道。用户通过短视频分享生活、创作内容，吸引了数以亿计的观众，为企业和创作者提供了广阔的市场和宣传机会。然而，要深入了解TikTok上的视频内容以及用户互动情况，需要借助爬虫技术。本文将介绍如何使用Python和BeautifulSoup库解析TikTok视频页面，并通过统计分析视频信息，帮助您更好地利用这一重要渠道。

机器学习面试笔试知识点-贝叶斯网络(Bayesian Network) 、马尔科夫(Markov) 和主题模型(T M)

官宣｜Apache Flink 1.18 发布公告

通过一张图描述清楚TuGraph Analytics的整体架构和关键设计，帮助大家快速了解TuGraph Analytics项目轮廓。

HTTP代理是一种充当客户端和服务器之间的中间人的服务器。当客户端发起请求时，HTTP代理会拦截请求并将其转发给目标服务器。一旦目标服务器响应，HTTP代理会拦截响应并将其转发回客户端。HTTP代理可以被用于多种场景，例如加强安全、缓存内容以加速访问、访问受限资源等等。在这篇文章中，我们将会讨论HTTP代理的作用、类型以及如何设置它。

水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。

2023 年 3 月 12 日，Flink Table Store 项目顺利通过投票，正式进入 Apache 软件基金会 (ASF) 的孵化器，改名为 Apache Paimon (incubating)。

EasyCV是基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具，并包含图像分类，度量学习，目标检测，姿态识别等视觉任务的SOTA算法。本文以基于关键点的视频分类为例，为您介绍如何在PAI-DSW中使用EasyCV。

本文内容整理于阿里资深技术专家姜伟华在DataFunTalk上的演讲，为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。

开源项目资深维护者（社区导师）亲自指导，用 3 个月的时间感受开源技术共建的魅力，完成项目并贡献给社区后，还将获得活动奖金和结项证书。

最近凑巧参与了一次某行业的业务共创会议，期间讨论到了主数据系统，还有我们该如何参与主数据系统建设的话题。说实话，我一直以为我不会有机会参与到主数据与参考数据系统的话题中去，所以，又去把DAMA的书籍翻了翻。顺便也重新思考了一下主数据与参考数据这个数据治理的课题。

结合 Flink SQL 和 Flink 有状态计算能力，字节跳动构建下一代通用的基础特征计算统一架构。

Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？

本文是《飞天大数据产品价值解读系列》之《全托管推荐引擎服务——智能推荐》的视频分享精华总结，主要由阿里巴巴搜索推荐事业部的栀露向大家分享智能推荐的相关知识，包括为什么要使用推荐，推荐的价值所在，以及智能推荐的重点服务和功能。

如何使用 Elasticsearch SQL 来对我们的数据进行查询。

简要用Elasticsearch与其它8中数据产品做了个对比，基于很多业务场景对比，代表了笔者对于Elasticsearch优胜劣汰的看法

在解决应用程序问题时，多行日志为开发人员提供了宝贵的信息。 堆栈跟踪就是一个例子。 堆栈跟踪是引发异常时应用程序处于中间的一系列方法调用。 堆栈跟踪包括遇到错误的相关行以及错误本身。

索引生命周期管理（ILM）是指：ES数据索引从设置，创建，打开，关闭，删除的全生命周期过程的管理；为了降低索引存储成本，提升集群性能和执行效率，我们可以通过对存储在阿里云 Elasticsearch 的数据做生命周期管理。

社区整理了这样一份知识图谱，由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。看完这份图谱，才算真的搞懂 Flink！

在项目开发过程中，相同云账号之下所创建的不同项目工作空间的资源和函数需要实现互相访问，需要授予什么权限呢？怎么去操作才可以去访问其他工作空间所创建的资源和函数。本文通过三种方式来介绍如何去授权访问跨工作空间的资源和函数。