857技术社区_社区达人页

AI 助理
备案控制台
个人头像照片
857技术社区
已加入开发者社区2041天

勋章 更多

个人头像照片
专家博主
专家博主
个人头像照片
星级博主
星级博主
个人头像照片
技术博主
技术博主
个人头像照片
江湖新秀
江湖新秀

成就

已发布116篇文章
14条评论
已回答0个问题
0条评论
已发布0个视频
github地址

我关注的人 更多

粉丝 更多

aliyun8599273441-30642
aliyun8599273441-30642
游客d7crrqx4uvtio
游客d7crrqx4uvtio
回到古代当太子
回到古代当太子
moseweb-36926
moseweb-36926
游客wa6qugmer7nqi
游客wa6qugmer7nqi
路人甲99
路人甲99
dabao89
dabao89
1227993103745549
1227993103745549
254056434488606363
254056434488606363
游客qsmpohfe7svfy
游客qsmpohfe7svfy
游客n25jbav4ubnho
游客n25jbav4ubnho
肥猫32
肥猫32

技术能力

兴趣领域
  • 架构师
  • 大数据
擅长领域
技术认证

专注于大数据开发、数据架构之路，热衷于分享Hadoop、Flink、Spark、Doris、实时数仓、推荐等精品干货！#公众号：857技术社区。个人微信：Bigdata-dylan

暂无更多
暂无更多信息

2024年05月

  • 05.15 18:01:45
    发表了文章 2024-05-15 18:01:45

    入门生成式语言模型（Generative Language Models）

    入门生成式语言模型涉及理解基本概念、学习NLP基础知识、掌握相关工具和框架、训练与评估模型、实践项目和案例，以及持续学习。关键步骤包括预训练、微调（如SFT、LoRA、Prefix Tuning）、模型选择（如LLaMA、ChatGLM、Bloom等）和优化部署（量化、剪枝）。训练策略包括Pretrain、SFT、LoRA等，模型如Qwen、GPT-3、OPT等，评估数据集有SuperGLUE、CLUEbenchmark等。此外，有专门的加速和分布式框架如DeepSpeed、Megatron、FairScale等，以及部署工具vLLM、TensorRT-LLM。
  • 03.12 16:42:14
    发表了文章 2024-03-12 16:42:14

    Apache Flink自定义 logback xml配置

    Apache Flink自定义 logback xml配置
  • 01.10 10:14:22
    发表了文章 2024-01-10 10:14:22

    Shell遍历HDFS路径统计层级目录大小

    Shell遍历HDFS路径统计层级目录大小

2023年09月

  • 09.07 23:09:01
    发表了文章 2023-09-07 23:09:01

    【nlp-with-transformers】|Transformers中的generate函数解析

    今天社群中的小伙伴面试遇到了一个问题，如何保证生成式语言模型在同样的输入情况下可以保证同样的输出。 这里面造成问题的因素有两个方面： 一个方面是在forward过程中参数的计算出现了差异，这种情况一般发生在游戏显卡中，游戏显卡无法保证每一次底层算子计算都是成功的，也没有办法保证同输入同输出，这里我们就需要采用具有ecc内存纠错机智的专用显卡用来解决相关的问题。

2023年07月

  • 07.25 14:45:43
    发表了文章 2023-07-25 14:45:43

    【建议收藏】|3分钟让你学会Scala Trait 使用

    Scala 是一种强大的静态类型编程语言，其中的 Trait 是一种重要的特性。Trait 可以被看作是一种包含方法和字段定义的模板，可以被其他类或 Trait 继承或混入。在本文中，我们将介绍 Scala Trait 的边界（Boundary）的概念，并展示如何使用它来限制 Trait 的使用范围。

2023年05月

  • 05.21 22:31:02
    发表了文章 2023-05-21 22:31:02

    【建议收藏】|某大型金融集团内部数据治理实战总结

    近几年，企业都在做数字化转型。 数字化转型是为了使组织更好地适应数字时代的变革，提高效率、降低成本、增强竞争力。是将业务和流程数字化，以实现更快、更准确、更可靠的数据处理和决策。是以数据驱动的精细化运营、业务创新增长和商业模式创新。

2023年03月

  • 03.07 22:44:26
    发表了文章 2023-03-07 22:44:26

    基于ray 多进程调度管理能力优化networks节点最短路径的并行计算

    原生的networkx实现的只能在节点介数度量性任务上达到单核心100的cpu利用率。通过对源码的几行改造我们可以实现多核心的100的利用率。接下来要我们来一起看看是如何实现的多核心100的利用率。
  • 03.06 21:56:17
    发表了文章 2023-03-06 21:56:17

    5分钟入门数据湖IceBerg

    随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要方向。Netflix 发起的 Apache Iceberg 项目具备 ACID 能力的表格式成为了大数据、数据湖领域炙手可热的方向。关注公众号：857Hub

2023年01月

  • 发表了文章 2024-05-15

    入门生成式语言模型（Generative Language Models）

  • 发表了文章 2024-05-15

    Apache Flink自定义 logback xml配置

  • 发表了文章 2024-05-15

    Shell遍历HDFS路径统计层级目录大小

  • 发表了文章 2023-09-07

    【nlp-with-transformers】|Transformers中的generate函数解析

  • 发表了文章 2023-07-25

    【建议收藏】|3分钟让你学会Scala Trait 使用

  • 发表了文章 2023-05-21

    【建议收藏】|某大型金融集团内部数据治理实战总结

  • 发表了文章 2023-03-27

    这......Spark面试题完全不会啊！

  • 发表了文章 2023-03-07

    基于ray 多进程调度管理能力优化networks节点最短路径的并行计算

  • 发表了文章 2023-03-06

    5分钟入门数据湖IceBerg

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（三）

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（二）

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（四）CEP篇（一）

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（四）

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（三）

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（二）

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（三）SQL篇（一）

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）E

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）D

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）C

  • 发表了文章 2023-01-01

    Flink1.13架构全集| 一文带你由浅入深精通Flink方方面面（二）B

正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息
勋章
关注
粉丝