softmax是数字越大,概率越大,如何设置一种新的方法,数字越大,概率越小?

简介: 如果您希望在输入数字越大时获得更小的概率,可以使用 Softmax 函数的变体——Softmax 函数的负版本(Negative Softmax)。

如果您希望在输入数字越大时获得更小的概率,可以使用 Softmax 函数的变体——Softmax 函数的负版本(Negative Softmax)。

具体来说,对于给定的输入向量 x 和温度参数T,Negative Softmax 函数将计算如下:


4-1-1.png

与标准 Softmax 不同,Negative Softmax 中的每个元素都被除以了温度参数 $\tau$ 的负数次幂。这意味着输入数字越大,指数部分越小,输出概率就会越小。

以下是一个示例:

import torch.nn.functional as F
# 创建一个大小为 (1, n) 的一行张量
x = torch.randn(1, 5)
# 定义温度参数
tau = 0.5
# 应用负 softmax 函数
probs = F.softmax(-x/tau, dim=1)
print(probs)

在上述示例中,我们首先创建了一个大小为 (1, 5) 的一行张量 x。然后,我们定义了温度参数 tau 为 0.5。接下来,我们使用 PyTorch 中的 torch.nn.functional.softmax() 函数和 - 运算符来将其转换为 Negative Softmax,即 -x/tau。最后,我们打印输出了转换后的概率分布张量 probs

请注意,与标准 Softmax 类似,如果需要处理多个样本的情况,可以将输入张量的第一维设置为样本数量,然后在 softmax() 函数中指定 dim 参数为 1。这将对每个样本进行独立的 Negative Softmax 转换,并返回一个大小为 (batch_size, n) 的张量,其中每一行都是对应样本的概率分布。同时也可以通过调整温度参数来控制输出分布的形状。

相关文章
|
8月前
|
算法
7-6 连续因子
7-6 连续因子
59 0
|
6月前
|
C++
1984. 学生分数的最小差值C++
1984. 学生分数的最小差值C++
|
7月前
技术心得记录:可决系数R^2和方差膨胀因子VIF
技术心得记录:可决系数R^2和方差膨胀因子VIF
88 0
|
8月前
R语言中固定与随机效应Meta分析 - 效率和置信区间覆盖
R语言中固定与随机效应Meta分析 - 效率和置信区间覆盖
【概率論】常用專業名詞中韓對照表 | 확률론 한중 번역표
【概率論】常用專業名詞中韓對照表 | 확률론 한중 번역표
75 0
HIMA 984865165 反映了分数带宽与频率增加的对数
HIMA 984865165 反映了分数带宽与频率增加的对数
HIMA 984865165 反映了分数带宽与频率增加的对数
|
PyTorch 算法框架/工具
torch 如何实现两点分布采样,要求采100个样本,其中20个样本为数字1,80个为数字2
可以使用 PyTorch 中的 torch.distributions 模块实现两点分布采样。具体来说,可以使用 Categorical 分布将数字1和数字2的概率分别设为0.2和0.8,然后调用 sample() 方法进行采样。可以先使用 torch.ones() 和 torch.zeros() 函数生成分别包含20个数字1和80个数字2的张量,然后使用 torch.cat() 函数将它们拼接在一起,再使用 torch.randperm() 函数对其进行打乱。
365 0
使用格里高利公式求π的近似值,要求精确到最后一项的绝对值小于10–4
使用格里高利公式求π的近似值,要求精确到最后一项的绝对值小于10–4
使用格里高利公式求π的近似值,要求精确到最后一项的绝对值小于10–4
01:判断数正负
01:判断数正负
123 0