【机器学习】文章5

简介: 对于一元函数f(xf(x),如果对于任意tϵ[0,1]均满足:f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2),则称f(x)f(x)为凸函数。同时如果对于任意tϵ(0,1))均满足:f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2)f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2),则称f(x)f(x)为严格凸函数。

1.凸公式

凸函数的定义:


对于一元函数f(xf(x),如果对于任意tϵ[0,1]均满足:f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2),则称f(x)f(x)为凸函数。


同时如果对于任意tϵ(0,1))均满足:f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2)f(tx1+(1−t)x2)<tf(x1)+(1−t)f(x2),则称f(x)f(x)为严格凸函数。

image.png

凸函数的性质:


定义在某个开区间C内的凸函数f在C内连续,且在除可数个点之外的所有点可微。如果C是闭区间,那么f有可能在C的端点不连续。


一元可微函数在某个区间上是凸的,当且仅当它的导数在该区间上单调不减。一元连续可微函数在区间上是凸的,当且仅当函数位于所有它的切线的上方:对于区间内的所有x和y,都有f(y)>f(x)+f '(x)(y−x)。特别地,如果f '(c)= 0,那么c是f(x)的最小值。


2.COBRA解的性质

Cobra 既是一个可以创建强大的现代 CLI 应用程序的库,也是一个可以生成应用和命令文件的程序。有许多大型项目都是用 Cobra 来构建应用程序的,例如 Kubernetes、Docker、etcd、Rkt、Hugo 等。


Cobra 建立在 commands、arguments 和 flags 结构之上。commands 代表命令,arguments 代表非选项参数,flags 代表选项参数(也叫标志)。一个好的应用程序应该是易懂的,用户可以清晰地知道如何去使用这个应用程序。应用程序通常遵循如下模式:APPNAME VERB NOUN --ADJECTIVE或者APPNAME COMMAND ARG --FLAG,例如:


kubectl get pod --all-namespace # get 是一个命令,pod 是一个非选项参数,all-namespace 是一个选项参数

这里,VERB 代表动词,NOUN 代表名词,ADJECTIVE 代表形容词


1、使用 Cobra 库创建命令


如果要用 Cobra 库编码实现一个应用程序,需要首先创建一个空的 main.go 文件和一个 rootCmd 文件,之后可以根据需要添加其他命令。具体步骤如下:


1.1、创建 rootCmd。


mkdir -p newApp2 && cd newApp2

通常情况下,我们会将 rootCmd 放在文件 cmd/root.go 中。


var rootCmd = &cobra.Command{

   Use:   "newApp2",

   Short: "newApp2 is a demo project",

   Long: `newApp2 is a demo project...`,

   Run: func(cmd *cobra.Command, args []string) {

       cmd.Help()

   },

}

func Execute() {

   if err := rootCmd.Execute(); err != nil {

       fmt.Println(err)

       os.Exit(1)

   }

}


还可以在 init() 函数中定义标志和处理配置,例如 cmd/root.go。


import (

 "fmt"

 "os"

 homedir "github.com/mitchellh/go-homedir"

 "github.com/spf13/cobra"

 "github.com/spf13/viper"

)

var (

   cfgFile     string

   projectBase string

   userLicense string

)

func init() {

 cobra.OnInitialize(initConfig)

 rootCmd.PersistentFlags().StringVar(&cfgFile, "config", "", "config file (default is $HOME/.cobra.yaml)")

 rootCmd.PersistentFlags().StringVarP(&projectBase, "projectbase", "b", "", "base project directory eg. github.com/spf13/")

 rootCmd.PersistentFlags().StringP("author", "a", "YOUR NAME", "Author name for copyright attribution")

 rootCmd.PersistentFlags().StringVarP(&userLicense, "license", "l", "", "Name of license for the project (can provide `licensetext` in config)")

 rootCmd.PersistentFlags().Bool("viper", true, "Use Viper for configuration")

 viper.BindPFlag("author", rootCmd.PersistentFlags().Lookup("author"))

 viper.BindPFlag("projectbase", rootCmd.PersistentFlags().Lookup("projectbase"))

 viper.BindPFlag("useViper", rootCmd.PersistentFlags().Lookup("viper"))

 viper.SetDefault("author", "NAME HERE <EMAIL ADDRESS>")

 viper.SetDefault("license", "apache")

}

func initConfig() {

 // Don't forget to read config either from cfgFile or from home directory!

 if cfgFile != "" {

   // Use config file from the flag.

   viper.SetConfigFile(cfgFile)

 } else {

   // Find home directory.

   home, err := homedir.Dir()

   if err != nil {

     fmt.Println(err)

     os.Exit(1)

   }

   // Search config in home directory with name ".cobra" (without extension).

   viper.AddConfigPath(home)

   viper.SetConfigName(".cobra")

 }

 if err := viper.ReadInConfig(); err != nil {

   fmt.Println("Can't read config:", err)

   os.Exit(1)

 }

}


1.2、创建 main.go。

我们还需要一个 main 函数来调用 rootCmd,通常我们会创建一个 main.go 文件,在 main.go 中调用 rootCmd.Execute() 来执行命令:


package main

import (

 "{pathToYourApp}/cmd"

)

func main() {

 cmd.Execute()

}

需要注意,main.go 中不建议放很多代码,通常只需要调用 cmd.Execute() 即可。


1.3、添加命令。


除了 rootCmd,我们还可以调用 AddCommand 添加其他命令,通常情况下,我们会把其他命令的源码文件放在 cmd/ 目录下,例如,我们添加一个 version 命令,可以创建 cmd/version.go 文件,内容为:


package cmd

import (

 "fmt"

 "github.com/spf13/cobra"

)

func init() {

 rootCmd.AddCommand(versionCmd)

}

var versionCmd = &cobra.Command{

 Use:   "version",

 Short: "Print the version number of Hugo",

 Long:  `All software has versions. This is Hugo's`,

 Run: func(cmd *cobra.Command, args []string) {

   fmt.Println("Hugo Static Site Generator v0.9 -- HEAD")

 },

}


本示例中,我们通过调用rootCmd.AddCommand(versionCmd)给 rootCmd 命令添加了一个 versionCmd 命令。


1.44、编译并运行。


将 main.go 中{pathToYourApp}替换为对应的路径,例如本示例中 pathToYourApp 为github.com/marmotedu/gopractise-demo/cobra/newApp2。


$ go mod init github.com/marmotedu/gopractise-demo/cobra/newApp2

$ go build -v .

$ ./newApp2 -h

A Fast and Flexible Static Site Generator built with

love by spf13 and friends in Go.

Complete documentation is available at http://hugo.spf13.com

Usage:

hugo [flags]

hugo [command]

Available Commands:

help Help about any command

version Print the version number of Hugo

Flags:

-a, --author string Author name for copyright attribution (default "YOUR NAME")

--config string config file (default is $HOME/.cobra.yaml)

-h, --help help for hugo

-l, --license licensetext Name of license for the project (can provide licensetext in config)

-b, --projectbase string base project directory eg. github.com/spf13/

--viper Use Viper for configuration (default true)

Use "hugo [command] --help" for more information about a command.


通过步骤一、步骤二、步骤三,我们就成功创建和添加了 Cobra 应用程序及其命令。


3.COBRA法双簇聚类估计

1.算法简介


      双聚类简单来说就是在数据矩阵A中寻找一个满足条件矩阵B1的子矩阵A1,而B1是条件矩阵B的一个子矩阵.


2.算法常用的计算模型


      目前定义双聚类算法有四种比较广泛的方式:(括号中为sklearn官网的说法)


2.1等值模型(常数值,常量行或常量列)

image.png

2.2加法模型(低方差的子矩阵)

image.png

2.3乘法模型(异常高或低的值)

image.png

2.4信息共演模型(相关的行或列)

image.png

3.两种特殊的双聚类结果(sklearn官网有算法的)


3.1对角线结构

image.png

3.2棋盘格结构

image.png

4.双聚类的两种算法


       双聚类的算法有很多种,这里只介绍sklearn官网提供的两种算法,也就是上述两种特殊结构的算法。


4.1光谱联合聚类(Spectral Co-Clustering)


       说明:因为我们不自己动手写算法,所以这里的公式就略过了。


4.1.1 算法作用


      该算法找到的值高于相应的其他行和列中的值。每行和每列只属于一个双聚类,因此重新排列行和列中的这些高值,使这些分区沿着对角线连续显示。


4.1.1 主要计算过程


     1)按照数学公式对矩阵进行预处理


     2)对处理后的矩阵进行行和列的划分,之后按照另外一个数学公式生产一个新的矩阵Z


     3)对矩阵Z的每行使用k-means算法


4.1.2 sklearn中的函数


    1) sklearn.cluster.bicluster. SpectralCoclustering


    2)主要参数(详细参数)


      n_clusters :聚类中心的数目,默认是3


      svd_method:计算singular vectors的算法,‘randomized’(默认) 或 ‘arpack’.


      n_svd_vecs :计算singular vectors值时使用的向量数目


      n_jobs :计算时采用的线程或进程数量


 3)主要属性


      rows_ :二维数组,表示聚类的结果。其中的值都是True或False。如果rows_[i,r]为True,表示聚类i包含行r


     columns_:二维数组,表示聚类的结果。


     row_labels_ :每行的聚类标签列表


目录
相关文章
|
机器学习/深度学习 资源调度 算法
【机器学习基础】多元线性回归(适合初学者的保姆级文章)
【机器学习基础】多元线性回归(适合初学者的保姆级文章)
416 0
|
机器学习/深度学习 数据采集 人工智能
给爆火的Llama 2划重点,Huggingface机器学习科学家写了篇分析文章
给爆火的Llama 2划重点,Huggingface机器学习科学家写了篇分析文章
228 1
|
存储 机器学习/深度学习 并行计算
【机器学习】文章9
①Numpy的简介 NumPy(Numerical Python)是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)),支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 🚩一个用python实现的科学计算,包括: 1、一个强大的N维数组对象Array; 2、比较成熟的(广播)函数库; 3、用于整合C/C++和Fortran代码的工具包; 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算
97 0
【机器学习】文章9
|
机器学习/深度学习 人工智能 文字识别
开发者玩转机器学习不能错过的15篇深度文章!
机器学习平台PAI是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务。开发者可以通过PAI快速构建训练模型,如搭建一些《物体识别》、《验证语音降噪等》有趣的实验模型,也可以契合企业需求,实现企业个性化推荐,小编整理了一些基于PAI平台的模型开发训练指南,供开发者参考收藏。
|
机器学习/深度学习 BI 索引
【机器学习】文章8
numpy中的ndarray为多维数组,是numpy中最为重要也是python进行科学计算非常重要和基本的数据类型。numpy中基本的运算符进行了重载,算数运算符和逻辑运算符都是逐元素操作的,还有广播机制,使得一个标量与多维数组相互运算的时候也是逐元素运算。
180 0
【机器学习】文章8
|
存储 机器学习/深度学习 并行计算
【机器学习】文章7
NumPy(Numerical Python)是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)),支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。
129 0
【机器学习】文章7
|
机器学习/深度学习 Kubernetes 算法
【机器学习】文章6(总结)
该算法假定输入的数据矩阵具有隐藏的棋盘结构,因此可以对其中的行和列进行划分,使得行簇和列簇的笛卡尔积中的任何双聚类的条目近似恒定。例如,如果有两个行分区和三个列分区,则每行将属于三个双聚集,而每列将属于两个双聚集。
130 0
【机器学习】文章6(总结)
|
机器学习/深度学习 算法 搜索推荐
【机器学习】文章4
首先对于 CONVEX BICLUSTERING做一个描述,CONVEX是凸面的,所以我们很容易就知道CONVEX BICLUSTERING是一个凸双聚类。 在双聚群问题中,我们寻求同时对观察结果和特征进行分组,虽然聚簇在从文本挖掘到协同过滤的广泛领域都有应用,但在高维基因组数据中识别结构的问题激发了这项工作。
157 0
【机器学习】文章4
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】文章2
聚类一直是机器学习、数据挖掘、模式识别等领域的重要组成内容。聚类是在无标记样本的条件下将数据分组,他通常被用于以下三个方面: 🌈发现数据的潜在结构 🌈对数据进行自然分组 🌈对数据进行压缩
172 0
【机器学习】文章2
|
机器学习/深度学习
【机器学习】文章1
回归是对一个或多个自变量和因变量之间的关系进行建模,求解的一种统计方法。很多模型都是在他的基础上建立的,任何一个复杂模型,其内部可能会隐藏着许多回归模型。
127 0
【机器学习】文章1