「AI工程师」算法研发与优化-工作指导

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: **工作指导书摘要:**设计与优化算法,提升性能效率;负责模型训练及测试,确保准确稳定;跟踪业界最新技术并应用;提供内部技术支持,解决使用问题。要求扎实的数学和机器学习基础,熟悉深度学习框架,具备良好编程及数据分析能力,注重团队协作。遵循代码、文档和测试规范,持续学习创新,优化算法以支持业务发展。

工作指导书

一、工作职责

  1. 负责新算法的设计与研发,对现有算法进行优化和升级,提升算法的性能和效率。
  2. 对算法进行训练和测试,确保算法模型的准确性和稳定性。
  3. 跟踪行业最新技术和算法进展,将新技术应用于算法研发中。
  4. 提供技术支持,解决内部客户在使用算法过程中遇到的问题。

    二、工作内容

    1. 算法研发
    • 根据产品需求和业务场景,确定算法研发的目标和方案。
    • 选择合适的算法框架和工具,进行算法模型的设计和构建。
    • 编写算法代码,实现算法逻辑和数据处理流程。
  1. 模型训练与优化
  • 准备和整理数据集,对算法模型进行训练和测试。
  • 监控模型训练过程,调整超参数和优化算法,提升模型的性能。
  • 评估模型效果,根据评估结果进行模型调优和改进。
  1. 技术跟踪与应用
  • 关注行业最新技术和算法进展,进行技术研究和探索。
  • 将新技术和算法应用于算法研发中,提升算法的创新性和竞争力。
  1. 技术支持与问题解决
  • 为内部客户提供技术支持和咨询服务,解答算法使用过程中的问题。
  • 协助团队进行问题排查和故障处理,确保算法的稳定运行。

    三、工作要求

    1. 具备扎实的数学、统计学和机器学习理论基础。
    2. 熟练掌握至少一种主流的深度学习框架(如TensorFlow、PyTorch等)。
    3. 具备良好的编程习惯和代码规范,能够编写高效、可维护的算法代码。
    4. 具备较强的数据分析和处理能力,能够处理大规模数据集并进行特征工程。
    5. 具备良好的沟通能力和团队合作精神,能够与内部客户和其他团队成员有效协作。

      四、工作建议

    6. 持续关注行业最新动态和技术进展,保持学习和创新的态度。

    7. 积极参与团队的技术分享和交流活动,提升个人技术水平和团队凝聚力。
    8. 不断优化算法模型,提高算法的准确性和效率,为公司业务发展提供有力支持。

      工作规范

      一、代码规范

    9. 遵循公司或团队的代码编写规范,确保代码清晰、易读、可维护。
    10. 使用统一的命名规范,避免命名冲突和歧义。
    11. 注释应详细、准确,方便其他开发人员理解代码逻辑。

二、文档规范

  1. 编写详细的算法设计文档,包括算法原理、实现细节、测试结果等。
  2. 文档应结构清晰、逻辑严谨,方便查阅和理解。
  3. 文档应定期更新,反映算法的最新进展和变化。

三、测试规范

  1. 对算法进行充分的测试,确保其在不同场景下的稳定性和准确性。
  2. 编写测试用例和测试报告,记录测试结果和问题。
  3. 对测试中发现的问题进行及时修复和验证。

工作分解表

相关文章
|
14天前
|
存储 人工智能 算法
【AI系统】计算图的优化策略
本文深入探讨了计算图的优化策略,包括算子替换、数据类型转换、存储优化等,旨在提升模型性能和资源利用效率。特别介绍了Flash Attention算法,通过分块计算和重算策略优化Transformer模型的注意力机制,显著减少了内存访问次数,提升了计算效率。此外,文章还讨论了内存优化技术,如Inplace operation和Memory sharing,进一步减少内存消耗,提高计算性能。
77 34
【AI系统】计算图的优化策略
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
Llama 3.3:Meta AI 开源新的纯文本语言模型,专注于多语言对话优化
Meta AI推出的Llama 3.3是一款70B参数的纯文本语言模型,支持多语言对话,具备高效、低成本的特点,适用于多种应用场景,如聊天机器人、客户服务自动化、语言翻译等。
63 13
Llama 3.3:Meta AI 开源新的纯文本语言模型,专注于多语言对话优化
|
14天前
|
机器学习/深度学习 缓存 人工智能
【AI系统】QNNPack 算法
QNNPACK是Marat Dukhan开发的量化神经网络计算加速库,专为移动端优化,性能卓越。本文介绍QNNPACK的实现,包括间接卷积算法、内存重排和间接缓冲区等关键技术,有效解决了传统Im2Col+GEMM方法存在的空间消耗大、缓存效率低等问题,显著提升了量化神经网络的计算效率。
32 6
【AI系统】QNNPack 算法
|
14天前
|
存储 人工智能 缓存
【AI系统】Im2Col 算法
Caffe 作为早期的 AI 框架,采用 Im2Col 方法优化卷积计算。Im2Col 将卷积操作转换为矩阵乘法,通过将输入数据重排为连续内存中的矩阵,减少内存访问次数,提高计算效率。该方法首先将输入图像转换为矩阵,然后利用 GEMM 库加速计算,最后将结果转换回原格式。这种方式显著提升了卷积计算的速度,尤其适用于通道数较多的卷积层。
36 5
【AI系统】Im2Col 算法
|
14天前
|
机器学习/深度学习 存储 人工智能
【AI系统】离线图优化技术
本文回顾了计算图优化的各个方面,包括基础优化、扩展优化和布局与内存优化,旨在提高计算效率。基础优化涵盖常量折叠、冗余节点消除、算子融合、算子替换和算子前移等技术。这些技术通过减少不必要的计算和内存访问,提高模型的执行效率。文章还探讨了AI框架和推理引擎在图优化中的应用差异,为深度学习模型的优化提供了全面的指导。
36 5
【AI系统】离线图优化技术
|
14天前
|
存储 机器学习/深度学习 人工智能
【AI系统】计算图优化架构
本文介绍了推理引擎转换中的图优化模块,涵盖算子融合、布局转换、算子替换及内存优化等技术,旨在提升模型推理效率。计算图优化技术通过减少计算冗余、提高计算效率和减少内存占用,显著改善模型在资源受限设备上的运行表现。文中详细探讨了离线优化模块面临的挑战及解决方案,包括结构冗余、精度冗余、算法冗余和读写冗余的处理方法。此外,文章还介绍了ONNX Runtime的图优化机制及其在实际应用中的实现,展示了如何通过图优化提高模型推理性能的具体示例。
45 4
【AI系统】计算图优化架构
|
14天前
|
存储 机器学习/深度学习 人工智能
【AI系统】Winograd 算法
本文详细介绍Winograd优化算法,该算法通过增加加法操作来减少乘法操作,从而加速卷积计算。文章首先回顾Im2Col技术和空间组合优化,然后深入讲解Winograd算法原理及其在一维和二维卷积中的应用,最后讨论算法的局限性和实现步骤。Winograd算法在特定卷积参数下表现优异,但其应用范围受限。
29 2
【AI系统】Winograd 算法
|
16天前
|
存储 人工智能 编译器
【AI系统】算子手工优化
本文深入探讨了手写算子调度的关键因素及高性能算子库的介绍,通过计算分析指标和 RoofLine 模型评估计算与访存瓶颈,提出了循环、指令、存储三大优化策略,并介绍了 TVM 和 Triton 两种 DSL 开发算子的方法及其在实际应用中的表现。
36 2
【AI系统】算子手工优化
|
3天前
|
人工智能 计算机视觉
幻觉不一定有害,新框架用AI的幻觉优化图像分割技术
在图像分割领域,传统方法依赖大量手动标注数据,效率低下且难以适应复杂场景。为解决这一问题,研究人员提出了“任务通用可提示分割”方法,利用多模态大型语言模型(MLLM)生成实例特定提示。然而,MLLM常出现幻觉,影响分割精度。为此,研究团队开发了“Prompt-Mask Cycle”(ProMaC)框架,通过迭代生成和验证提示及掩码,有效利用幻觉信息,提高了分割精度和效率。实验结果表明,ProMaC在多个基准数据集上表现出色,为图像分割技术的发展提供了新思路。
15 6
|
2天前
|
人工智能 算法
AI+脱口秀,笑点能靠算法创造吗
脱口秀是一种通过幽默诙谐的语言、夸张的表情与动作引发观众笑声的表演艺术。每位演员独具风格,内容涵盖个人情感、家庭琐事及社会热点。尽管我尝试用AI生成脱口秀段子,但AI缺乏真实的情感共鸣和即兴创作能力,生成的内容显得不够自然生动,难以触及人心深处的笑点。例如,AI生成的段子虽然流畅,却少了那份不期而遇的惊喜和激情,无法真正打动观众。 简介:脱口秀是通过幽默语言和夸张表演引发笑声的艺术形式,AI生成的段子虽流畅但缺乏情感共鸣和即兴创作力,难以达到真人表演的效果。
下一篇
DataWorks