勋章
我关注的人
粉丝
专注于大数据开发、数据架构之路，热衷于分享Hadoop、Flink、Spark、Doris、实时数仓、推荐等精品干货！#公众号：857技术社区。个人微信：Bigdata-dylan
-
发表了文章 2025-04-27
大模型工程师基础之学会使用openai
本系列教程涵盖OpenAI API基础到高级应用，包括文本生成、图像处理、语音交互、会话管理、流式响应、文件输入、推理模型及性能评估等十大核心功能。适合新手入门与工程师实践，助您掌握大模型开发关键技术。从简单Prompt设计到复杂多模态任务，逐步深入，结合实例代码与最佳实践，提升实际开发能力。希望这些内容对您有帮助！
-
发表了文章 2025-04-20
2025年大模型发展脉络：深入分析与技术细节
本文深入剖析2025年大模型发展脉络，涵盖裸模型与手工指令工程、向量检索、文本处理与知识图谱构建、自动化提示生成、ReAct多步推理及AI Agent崛起六大模块。从技术细节到未来趋势，结合最新进展探讨核心算法、工具栈与挑战，强调模块化、自动化、多模态等关键方向，同时指出计算资源、数据质量和安全伦理等问题。适合关注大模型前沿动态的技术从业者与研究者。
-
发表了文章 2025-04-16
2025年大模型就业：核心技术趋势、技能要求与职业发展全景解析
随着大语言模型（Large Language Models, LLMs）的技术飞速迭代，人工智能领域正经历从通用对话工具向高度智能化、任务导向的智能体（Agent）系统的深刻转型。到2025年4月，企业对掌握LLM相关技术的专业人才需求持续高涨，核心能力聚焦于检索增强生成（RAG）、智能体任务自动化、模型对齐优化以及多模态融合。本文将全面剖析2025年大模型就业市场的技术演进路径、核心技能要求、行业应用场景、推荐实践项目以及职业发展建议，旨在为从业者提供详尽的职业规划指南，帮助其精准把握行业机遇。
-
发表了文章 2025-04-08
如何成为企业级大模型架构师?
企业级大模型架构师需要掌握从 底层算力、模型训练、微调优化、推理部署、企业集成 到 安全合规 的全栈能力。这里提供一个完整的 企业级大模型架构师成长体系。
-
发表了文章 2024-05-15
入门生成式语言模型（Generative Language Models）
入门生成式语言模型涉及理解基本概念、学习NLP基础知识、掌握相关工具和框架、训练与评估模型、实践项目和案例，以及持续学习。关键步骤包括预训练、微调（如SFT、LoRA、Prefix Tuning）、模型选择（如LLaMA、ChatGLM、Bloom等）和优化部署（量化、剪枝）。训练策略包括Pretrain、SFT、LoRA等，模型如Qwen、GPT-3、OPT等，评估数据集有SuperGLUE、CLUEbenchmark等。此外，有专门的加速和分布式框架如DeepSpeed、Megatron、FairScale等，以及部署工具vLLM、TensorRT-LLM。
-
发表了文章 2024-03-12
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
-
发表了文章 2024-01-10
Shell遍历HDFS路径统计层级目录大小
Shell遍历HDFS路径统计层级目录大小
-
发表了文章 2023-09-07
【nlp-with-transformers】|Transformers中的generate函数解析
今天社群中的小伙伴面试遇到了一个问题，如何保证生成式语言模型在同样的输入情况下可以保证同样的输出。 这里面造成问题的因素有两个方面： 一个方面是在forward过程中参数的计算出现了差异，这种情况一般发生在游戏显卡中，游戏显卡无法保证每一次底层算子计算都是成功的，也没有办法保证同输入同输出，这里我们就需要采用具有ecc内存纠错机智的专用显卡用来解决相关的问题。
-
发表了文章 2023-07-25
【建议收藏】|3分钟让你学会Scala Trait 使用
Scala 是一种强大的静态类型编程语言，其中的 Trait 是一种重要的特性。Trait 可以被看作是一种包含方法和字段定义的模板，可以被其他类或 Trait 继承或混入。在本文中，我们将介绍 Scala Trait 的边界（Boundary）的概念，并展示如何使用它来限制 Trait 的使用范围。
-
发表了文章 2023-05-21
【建议收藏】|某大型金融集团内部数据治理实战总结
近几年，企业都在做数字化转型。 数字化转型是为了使组织更好地适应数字时代的变革，提高效率、降低成本、增强竞争力。是将业务和流程数字化，以实现更快、更准确、更可靠的数据处理和决策。是以数据驱动的精细化运营、业务创新增长和商业模式创新。
-
发表了文章 2023-03-27
这......Spark面试题完全不会啊！
资深Spark工程师一线大厂面试题，错过了就是错过了，关注公众号：857Hub
-
发表了文章 2023-03-07
基于ray 多进程调度管理能力优化networks节点最短路径的并行计算
原生的networkx实现的只能在节点介数度量性任务上达到单核心100的cpu利用率。通过对源码的几行改造我们可以实现多核心的100的利用率。接下来要我们来一起看看是如何实现的多核心100的利用率。
-
发表了文章 2023-03-06
5分钟入门数据湖IceBerg
随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要方向。Netflix 发起的 Apache Iceberg 项目具备 ACID 能力的表格式成为了大数据、数据湖领域炙手可热的方向。关注公众号：857Hub
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（三）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（二）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（一）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（四）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（三）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（二）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（一）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）E
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）E
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）D
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）C
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）B
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）A
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（七）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（六）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（五）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（一）
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面
-
发表了文章 2023-01-01
5万字Spark全集之末尾Structured Streaming续集！！！！！（二）
5万字Spark全集之末尾Structured Streaming续集！！！！！
-
发表了文章 2023-01-01
5万字Spark全集之末尾Structured Streaming续集！！！！！（一）
5万字Spark全集之末尾Structured Streaming续集！！！！！
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（七）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（六）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（五）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（四）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（三）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（二）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
5万字长文！搞定Spark方方面面（一）
5万字长文！搞定Spark方方面面
-
发表了文章 2023-01-01
【建议收藏】|信息抽取与经济学文本量化分析（下）
【建议收藏】|信息抽取与经济学文本量化分析
-
发表了文章 2023-01-01
【建议收藏】|信息抽取与经济学文本量化分析（上）
【建议收藏】|信息抽取与经济学文本量化分析
-
发表了文章 2023-01-01
【建议收藏】Flink watermark分析实战（下）
【建议收藏】Flink watermark分析实战
-
发表了文章 2023-01-01
【建议收藏】Flink watermark分析实战（上）
【建议收藏】Flink watermark分析实战
-
发表了文章 2023-01-01
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战（下）
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战
-
发表了文章 2023-01-01
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战（中）
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战
-
发表了文章 2023-01-01
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战（上）
【建议收藏】Mysql+Flink CDC+Doris 数据同步实战
-
发表了文章 2023-01-01
Spark3.2.1源码编译（傻瓜式图文教学）
Spark3.2.1源码编译（傻瓜式图文教学）
-
发表了文章 2023-01-01
【源码解读】| LiveListenerBus源码解读（下）
【源码解读】| LiveListenerBus源码解读
-
发表了文章
2025-04-27
大模型工程师基础之学会使用openai
-
发表了文章
2025-04-20
2025年大模型发展脉络：深入分析与技术细节
-
发表了文章
2025-04-16
2025年大模型就业：核心技术趋势、技能要求与职业发展全景解析
-
发表了文章
2025-04-08
如何成为企业级大模型架构师?
-
发表了文章
2024-05-15
入门生成式语言模型（Generative Language Models）
-
发表了文章
2024-05-15
Apache Flink自定义 logback xml配置
-
发表了文章
2024-05-15
Shell遍历HDFS路径统计层级目录大小
-
发表了文章
2023-09-07
【nlp-with-transformers】|Transformers中的generate函数解析
-
发表了文章
2023-07-25
【建议收藏】|3分钟让你学会Scala Trait 使用
-
发表了文章
2023-05-21
【建议收藏】|某大型金融集团内部数据治理实战总结
-
发表了文章
2023-03-27
这......Spark面试题完全不会啊！
-
发表了文章
2023-03-07
基于ray 多进程调度管理能力优化networks节点最短路径的并行计算
-
发表了文章
2023-03-06
5分钟入门数据湖IceBerg
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（三）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（二）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（一）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（四）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（三）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（二）
-
发表了文章
2023-01-01
Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（一）
