容器开启数据服务之旅系列（二）：Kubernetes如何助力Spark大数据分析 （二）：Kubernetes如何助力Spark大数据分析 概述 本文为大家介绍一种容器化的数据服务Spark + OSS on ACK，允许Spark分布式计算节点对阿里云OSS对象存储的直接访问。借助阿里云Kubernetes容器服务与阿里云OSS存储资源的深度整合，允许Spark分布式内存计算，机器学习集群对云上的大数据直接进行分析和保存结果。 先决条件 你已经通过阿里云容器服务创建了一个Kubernetes集群，详细步骤参见创建Kubernetes集群 从容器服务控制台创建一个Spark OSS实例 使用三次点击来创建一个1 master + 3 worker 的Spark OSS的实例 1 登录 https://cs.console.aliyun.com/2 点击 “应用目录”3 选择 "spark-oss", 点击 “参数” 给你的应用一个名字， e.g. spark-oss-online2 （必选）填写你的oss_access_key_id和oss_access_key_secret Worker: # set OSS access keyID and secret oss_access_key_id: <Your sub-account> oss_access_key_secret: <your key_secret of sub-account> （可选）修改工作节点数目 Worker.Replicas: 3  4 点击 “部署”5 点击 “Kubernetes 控制台”，查看部署实例  6 点击 服务， 查看外部端点, 点击URL访问Spark集群   7 测试Spark集群 打开一个spark-shell kubectl get pod | grep worker spark-oss-online2-worker-57894f65d8-fmzjs 1/1 Running 0 44m spark-oss-online2-worker-57894f65d8-mbsc4 1/1 Running 0 44mspark-oss-online2-worker-57894f65d8-zhwr4 1/1 Running 0 44m kubectl exec -it spark-oss-online2-worker-57894f65d8-fmzjs -- /opt/spark/bin/spark-shell --master spark://spark-oss-online2-master:7077 粘贴下列代码，使用Spark测试OSS的读写性 // Save RDD to OSS bucket val stringRdd = sc.parallelize(Seq("Test Strings\n Test String2")) stringRdd.saveAsTextFile("oss://eric-new/testwrite12") // Read data from OSS bucket val lines = sc.textFile("oss://eric-new/testwrite12") lines.take(10).foreach(println) Test StringsTest String2 CLI 命令行操作 Setup keys and deploy spark cluster in one command export OSS_ID=<your oss id> export OSS_SECRET=<your oss secrets> helm install -n myspark-oss --set "Worker.oss_access_key_id="$OSS_ID",Worker.oss_access_key_secret="$OSS_SECRET incubator/spark-oss kubectl get svc| grep oss myspark-oss-master ClusterIP 172.19.9.111 <none> 7077/TCP 2m myspark-oss-webui LoadBalancer 172.19.13.1 120.55.104.27 8080:30477/TCP 2m

环境准备 集群创建、依赖配置、CSI插件部署等请参考：CSI部署详解 创建OSS Bucket 到OSS控制台创建OSS Bucekt：参考文档 注意：相同region的OSS Bucket 可以使用内网地址进行挂载； 创建Secret、静态PV、PVC 本示例通过Secret来配置用户的AK信息： apiVersion: v1 kind: Secret metadata: name: oss-secret namespace: default stringData: akId: *** akSecret: *** 通过上面模板创建secret，注意namespace需要和应用所在namespaces一致； 配置：akId、akSecret参数； 通过下面模板创建静态卷PV、PVC: apiVersion: v1 kind: PersistentVolumeClaim metadata: name: oss-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 5Gi --- apiVersion: v1 kind: PersistentVolume metadata: name: oss-csi-pv spec: capacity: storage: 5Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain csi: driver: ossplugin.csi.alibabacloud.com volumeHandle: data-id nodePublishSecretRef: name: oss-secret namespace: default volumeAttributes: bucket: "oss" url: "oss-cn-hangzhou.aliyuncs.com" otherOpts: "-o max_stat_cache_size=0 -o allow_other" nodePublishSecretRef：定义挂载pv时通过secret对象来获取ak信息； volumeHandle：PV Handler，可以配置为一个随机值； bucket、url、otherOpts：分别表示OSS Bucket、挂载点、挂载可选参数； # kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE oss-pvc Bound oss-csi-pv 5Gi RWX 20s # kubectl get pv NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE oss-csi-pv 5Gi RWX Retain Bound default/oss-pvc 21s 直接配置PV、PVC的AK 上面步骤是通过secret为plugin提供ak信息，也可以直接在pv中配置AK信息。如下面模板所示： apiVersion: v1 kind: PersistentVolume metadata: name: oss-csi-pv spec: capacity: storage: 5Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain csi: driver: ossplugin.csi.alibabacloud.com volumeHandle: data-id volumeAttributes: bucket: "oss" url: "oss-cn-hangzhou.aliyuncs.com" otherOpts: "-o max_stat_cache_size=0 -o allow_other" akId: "***" akSecret: "***" 创建应用 apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:1.7.9 ports: - containerPort: 80 volumeMounts: - name: oss-pvc mountPath: "/data" volumes: - name: oss-pvc persistentVolumeClaim: claimName: oss-pvc 验证挂载、高可用 查看pod，验证OSS挂载成功，创建测试文件； # kubectl get pod NAME READY STATUS RESTARTS AGE nginx-deployment-f57ddc9b9-xthj8 1/1 Running 0 31s # kubectl exec nginx-deployment-f57ddc9b9-xthj8 ls /data hello test # kubectl exec nginx-deployment-f57ddc9b9-xthj8 mount | grep oss ossfs on /data type fuse.ossfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other) # kubectl exec nginx-deployment-f57ddc9b9-xthj8 touch /data/testnew # kubectl exec nginx-deployment-f57ddc9b9-xthj8 ls /data hello test testnew 删除Pod，查看重建Pod是否数据稳定； # kubectl delete pod nginx-deployment-f57ddc9b9-xthj8 pod "nginx-deployment-f57ddc9b9-xthj8" deleted # kubectl get pod NAME READY STATUS RESTARTS AGE nginx-deployment-f57ddc9b9-pfqql 1/1 Running 0 6s # kubectl exec nginx-deployment-f57ddc9b9-pfqql ls /data hello test testnew

OSS可以通过阿里云STS服务，临时进行授权访问。更多有关STS的内容请参考： 阿里云STS。 使用STS时请按以下步骤进行： 在官网控制台创建子账号，参考OSS STS。在官网控制台创建STS角色并赋予子账号扮演角色的权限，参考OSS STS。使用子账号的AccessKeyId/AccessKeySecret向STS申请临时token。使用临时token中的认证信息创建OSS的Client。使用OSS的Client访问OSS服务。 在使用STS访问OSS时，需要设置:sts_token参数，如下面的例子所示： require 'aliyun/sts'require 'aliyun/oss'sts = Aliyun::STS::Client.new(  access_key_id: '',  access_key_secret: '')token = sts.assume_role('', '')client = Aliyun::OSS::Client.new(  endpoint: '',  access_key_id: token.access_key_id,  access_key_secret: token.access_key_secret,  sts_token: token.security_token)bucket = client.get_bucket('my-bucket') 在向STS申请临时token时，还可以指定自定义的STS Policy。这样申请的临时权限是[backcolor=transparent]所扮演角色的权限与Policy指定的权限的交集。下面的例子将通过指定STS Policy申请对my-bucket的只读权限，并指定临时token的过期时间为15分钟： require 'aliyun/sts'require 'aliyun/oss'sts = Aliyun::STS::Client.new(  access_key_id: '',  access_key_secret: '')policy = Aliyun::STS::Policy.newpolicy.allow(['oss:Get*'], ['acs:oss:*:*:my-bucket/*'])token = sts.assume_role('', '', policy, 15 * 60)client = Aliyun::OSS::Client.new(  endpoint: 'ENDPOINT',  access_key_id: token.access_key_id,  access_key_secret: token.access_key_secret,  sts_token: token.security_token)bucket = client.get_bucket('my-bucket') 更详细的用法和参数说明请参考 API文档。

用户登陆阿里云时会输入用户名和密码，利用这个用户名和密码可以获取OSS的Access  Key  ID 和 Access Key  Secret吗？（如果没有，希望可以提供相应API，根据登陆阿里云的用户名密码，可以获取OSS的KeyID, Key Secret） 如果不可以的话，根据OSS API做第三方应用时，每次输入KeyID 和Key Secret都是没规则的长字符串，很麻烦。

OSS是按使用收费的服务，为了防止用户在OSS上的数据被其他人盗链，OSS支持 基于HTTP header中表头字段referer的防盗链方法。更多OSS防盗链请参考： OSS防盗链 设置Referer白名单 通过Bucket#referer=设置Referer白名单： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.referer = BucketReferer.new(  allow_empty: true, whitelist: ['my-domain.com', '*.example.com']) 查看Referer白名单 通过Bucket#referer设置Referer白名单： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')ref = bucket.refererputs ref.to_s 清空Referer白名单 通过Bucket#referer=设置清空Referer白名单： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.referer = BucketReferer.new(allow_empty: true, whitelist: [])

管理存储空间 存储空间（Bucket）是OSS上的命名空间，也是计费、权限控制、日志记录等高级功能的管理实体。 查看所有Bucket 使用Client#list_buckets接口列出当前用户下的所有Bucket，用户还可以指定:prefix参数，列出Bucket名字为特定前缀的所有Bucket： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')buckets = client.list_bucketsbuckets.each { |b| puts b.name }buckets = client.list_buckets(:prefix => 'my-')buckets.each { |b| puts b.name } 创建Bucket 使用Client#create_bucket接口创建一个Bucket，用户需要指定Bucket的名字： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')client.create_bucket('my-bucket') [backcolor=transparent]注意： Bucket的命名规范请查看OSS 基本概念。由于存储空间的名字是全局唯一的，所以必须保证您的Bucket名字不与别人的重复。 删除Bucket 使用Client#delete_bucket接口删除一个Bucket，用户需要指定Bucket的名字： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')client.delete_bucket('my-bucket') [backcolor=transparent]注意： 如果该Bucket下还有文件存在，则需要先删除所有文件才能删除Bucket如果该Bucket下还有未完成的上传请求，则需要通过list_uploads和abort_upload先取消那些请求才能删除Bucket。用法请参考API文档。 查看Bucket是否存在 用户可以通过Client#bucket_exists?接口查看当前用户的某个Bucket是否存在： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')puts client.bucket_exists?('my-bucket') Bucket访问权限 用户可以设置Bucket的访问权限，允许或者禁止匿名用户对其内容进行读写。更多关于访问权限的内容请参考 访问权限。 获取Bucket的访问权限（ACL） 通过Bucket#acl查看Bucket的ACL： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')puts bucket.acl 设置Bucket的访问权限（ACL） 通过Bucket#acl=设置Bucket的ACL： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.acl = Aliyun::OSS::ACL::PUBLIC_READputs bucket.acl

private static final String OSS_ALIYUN_OSS_ENDPOINT = "http://oss-cn-hangzhou.aliyuncs.com" ; private static final String OSS_ALIYUN_SDK_OSS_APPKEY = "" ; private static final String OSS_ALIYUN_SDK_OSS_APPKEY_ACCESS_KEY_SECRET = "" ; private static String BUCKET_NAME = "" ;    // [font='宋体']初始化 ossclient    OSSClient client = new OSSClient ( OSS_ALIYUN_OSS_ENDPOINT , OSS_ALIYUN_SDK_OSS_APPKEY , OSS_ALIYUN_SDK_OSS_APPKEY_ACCESS_KEY_SECRET ) ;    try {       client .putObject ( BUCKET_NAME , key , in , new ObjectMetadata ()) ;    } catch ( Exception e ) {       e .printStackTrace () ;    } finally {       client .shutdown () ;    } }[size=; font-size: 13.5pt,13.5pt] 为什么汇报 [Client]Unable to execute HTTP request: SocketException， Connect to bljr.oss-cn-hangzhou.aliyuncs.com:80 [bljr.oss-cn-hangzhou.aliyuncs.com/127.0.1.6] failed: 有人遇到过吗？ 为什么同事的那里可以，我这里不可以

搭建基于ECS和OSS图片分享网站本步骤将指导您如何在ECS实例上调用OSS API上传图片到OSS中。1、在Workbench远程连接页签，配置cfg.json文件中的OSS信息。1）执行如下命令，编辑cfg.json文件。vim cfg.json2）按下i键进入编辑模式。3）按i键进入编辑模式，分别找到以下参数，并将以下参数根据实际情况进行修改。{"id": "LTAI*****B3LE877v", "secret": "vMkd5******DEAP4", "endpoint": "oss-cn-shanghai.aliyuncs.com", "bucket": "adc-oss-1****2", "obj_dir": "******"}参数说明：id：云产品资源列表中的AK ID。secret：云产品资源列表中的AK Secret。endpoint：云产品资源列表中OSS的Endpoint外网域名。bucket：云产品资源列表中OSS的Bucket名称。object_dir：云产品资源列表中OSS的Object路径。添加后的文件内容如下所示。4）按下Esc键后，输入:wq后按下Enter键保存并退出。2、执行如下命令，将01.png上传到OSS的Object路径中。说明：该脚本使用OSS提供的API接口put_object_from_file()，将本地文件上传到云产品资源列表OSS的Object路径中。通过Python SDK的方式上传本地文件到OSS的具体方法，请参考实验SL003 使用OSS API上传和下载文件。python oss_upload.py 01.png返回结果如下，表示您已成功把01.png上传到OSS的Obeject中。3、分别执行如下命令，将02.png、03.png和04.png三张图片分别上传到OSS的Object路径中。python oss_upload.py 02.pngpython oss_upload.py 03.pngpython oss_upload.py 04.png4、复制下方地址，在Chromium网页浏览器打开新页签，粘贴并访问OSS控制台。https://oss.console.aliyun.com/5、在对象存储OSS管理控制台左侧导航栏中，单击Bucket列表。6、在Bucket列表页面，单击Bucket名称。说明 ：您可以在云产品资源列表中查看到您的OSS的Bucket名称。7、在文件管理页签，您可以看到当前Object列表中存在一个或多个文件夹。根据云产品资源列表中OSS的Object一级路径，单击相应的文件名。说明 ：如果云产品资源列表中OSS的Object路径为OSSCTY/u-xxx/，则OSSCTY为一级Object路径。8、在Object一级路径中，根据云产品资源列表中OSS的Object二级路径，单击相应的文件名。说明 ：如果云产品资源列表中OSS的Object路径为OSSCTY/u-xxx/，则u-xxx为二级Object路径。返回如下页面，您可以在OSS的Object二级路径中，看到从ECS实例上传到OSS的四张图片。

Docker 私有镜像库与阿里云对象存储 OSS 镜像管理是 Docker 的核心，为了满足企业或组织内部分享镜像，Docker 官方在 Github上 建立了一个开源项目 docker-registry，专门用于自建 Docker 的私有镜像库。 快速启动支持阿里云对象存储 OSS 的 docker-registry 您可以从 https://github.com/docker/docker-registry 下载并安装 docker-registry，通过 pip 安装 OSS driver: pip install docker-registry-driver-alioss 运行 docker registry docker run -e OSS_BUCKET=-e STORAGE_PATH=/docker/ -e OSS_KEY=-e OSS_SECRET=-p 5000:5000 -d chrisjin/registry:ali_oss 配置 config.yml： ```local: &local storage: alioss storage_path: _env:STORAGE_PATH:/devregistry/ oss_bucket: _env:OSS_BUCKET[:default_value] oss_accessid: _env:OSS_KEY[:your_access_id] oss_accesskey: _env:OSS_SECRET[:your_access_key]``` 启动 docker-registry： DOCKER_REGISTRY_CONFIG=［your_config_path］ gunicorn -k gevent -b 0.0.0.0:5000 -w 1 docker_registry.wi:application 如问题还未解决，请 提交工单联系阿里云。

在 自定义域名绑定中提到，OSS允许用户将自己的域名指向OSS服务的地址。这样用户访问他的网站的时候，实际上是在访问OSS的Bucket。对于网站，需要指定首页（index）和出错页（error）分别对应的Bucket中的文件名。 更多关于静态网站托管的内容请参考 OSS静态网站托管。 设置托管页面 通过Bucket#website=来设置托管页面： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.website = BucketWebsite.new(index: 'index.html', error: 'error.html') 查看托管页面 通过Bucket#website来查看托管页面： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')web = bucket.websiteputs web.to_s 清除托管页面 通过Bucket#website=来清除托管页面： require 'aliyun/oss'client = Aliyun::OSS::Client.new(  endpoint: 'endpoint',  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.website = BucketWebsite.new(enable: false)