A Con&nuously Deployed Hadoop Analy&cs pla2orm

在Hadoop Summit 2016上，Graham Gear, Director, Systems Engineering, APJ分享的议题虽然未直接包含在提供的知识库资料中，但根据您的需求，我可以提供关于如何利用Nsight Systems进行AI应用性能分析与优化以及在阿里云FeatureStore中运用自动特征工程技术（AutoFE）的相关指导。

Nsight Systems性能分析与优化

1. 生成Profiling报告:

   • 使用Nsight Systems时，通过命令行执行特定指令，如nsys profile，并配置CUDA内存使用、开启函数跟踪等选项，针对不同场景（如是否启用TensorRT及精度设置）生成Profiling报告文件。例如，对于ResNet-50模型，在启用TensorRT且采用FP16精度时，命令为：export CUDA_MODULE_LOADING=LAZY nsys profile -cuda-memory-usage=true -f true -o resnet-50-tensorrt-fp16 python main.py -enable-tensorrt -precision fp16。
   • 运行后，会得到.nsys-rep格式的报告文件，分别对应不同的测试配置。

2. 查看与分析Profiling报告:

   • 导入Nsight System UI，可观察到TensorRT对AI应用的优化措施，包括层间融合、数据精度校准、Kernel Auto-Tuning、Dynamic Tensor Memory和Multi-Stream Execution等，这些技术有助于提升GPU利用率和计算效率。

阿里云FeatureStore中的AutoFE应用

1. AutoFE简介:

   • AutoFE是一种自动化特征工程工具，能基于输入数据推荐特征工程操作，涵盖统计特征、组合特征、衍生特征及特征选择等功能，以提升模型性能。

2. 使用流程:

   • 预处理：支持多种数据源，需先进行数据采样（当前主要支持ODPS）。
   • 特征选择与分析：当特征数量庞大时，利用GBDT算法初步筛选；通过统计分析、组合生成及SAFE选择策略深入分析特征。
   • 模型训练与特征转换：基于分析结果训练Pipeline，并将模型应用于特征转换，准备用于离线或在线环境。

3. 计费与前提条件:

   • AutoFE本身免费，但涉及MaxCompute资源使用会产生费用。
   • 需要开通MaxCompute、DataWorks、PAI及OSS服务，并完成相应配置。

4. 操作实践:

   • 在DSW环境中，通过教程文件feature_store_with_autofe.ipynb配置参数并运行，最终可在OSS中查看实验结果。

综上所述，尽管无法直接提供Graham Gear在Hadoop Summit 2016上的分享细节，但上述内容覆盖了高性能AI应用的性能分析方法及阿里云平台上的自动特征工程技术，希望能对您有所帮助。