keras 定义激活函数及layer

简介: 自定义激活函数通过定义个操作 Tensor 的函数,然后将其添加到 keras 系统中即可。from keras.utils.generic_utils import get_custom_objectsdef binary(x): # 注: tf.

自定义激活函数

通过定义个操作 Tensor 的函数,然后将其添加到 keras 系统中即可。

from keras.utils.generic_utils import get_custom_objects

def binary(x):
    # 注: tf.greater 函数没有 gradient 函数,因此在运行时候会报错
    # ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient 
    # defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.
    return K.cast(tf.greater(x, 0), tf.uint8)

# custom activation function
get_custom_objects().update({'binary': Activation(binary)})

自定义层

在 keras 层中除去输入层以外,不能使用没有定义 gradient 函数的函数,否则会报错。

因此如下层只能做 Input 层使用:

class MaskLayer(Layer):
    """
    输入与输出维度一致
    输出为 0/1
    """
    def __init__(self, **kwargs):
        self.weight_m = None
        super(MaskLayer, self).__init__(**kwargs)

    def build(self, input_shape):
        self.weight_m = self.add_weight(name='m_weight',
                                        shape=(input_shape[-1], input_shape[-1]),
                                        initializer='glorot_uniform',
                                        trainable=True)
        self.weight_b = self.add_weight(name='m_bias',
                                        shape=(input_shape[-1], ),
                                        initializer='glorot_uniform',
                                        trainable=True)
        super(MaskLayer, self).build(input_shape)

    def call(self, x, **kwargs):
        m = K.dot(x, self.weight_m) + self.weight_b
        m = tf.layers.batch_normalization(m)

        # 注: tf.greater_equal 函数没有 gradient 函数,因此在运行时候会报错
        # ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient 
        # defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.
        return K.cast(K.greater_equal(x, 0), tf.uint8)

    def compute_output_shape(self, input_shape):
        return input_shape

对于Layer的定义也可以通过 Activation 定义的方式一样,通过 get_custom_objects 的方式添加到 keras 系统中去。

自定义初始化函数

from keras import backend as K
import numpy as np

def my_init(shape, name=None):
    value = np.random.random(shape)
    return K.variable(value, name=name)

model.add(Dense(64, init=my_init))

这里主要能初始化的内容是 float 数据类型

获取上层输出维度

简单的通过 python 命令行,查看下 Layer 属性相关内容:

>>> from tensorflow.keras.layers import Input, Dense
/srv/anaconda/lib/python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.
  from ._conv import register_converters as _register_converters
>>> inp = Input(shape=(3,))
>>> inp
<tf.Tensor 'input_1:0' shape=(?, 3) dtype=float32>
>>> inp.shape
TensorShape([Dimension(None), Dimension(3)])
>>> m = Dense(10)(inp)
>>> m.shape
TensorShape([Dimension(None), Dimension(10)])

在 Layer 定义过程中使用上层输出来做为本层的维度定义, 比如:

from keras.models import Model
from keras.layers import Input, Dense, Conv2D, Flatten, MaxPool2D

inp = Input(shape=(20, 20, 1, ))
m = Conv2D(16, kernel_size=(3, inp.shape[2].value))(inp)
m = MaxPool2D(pool_size=(m.shape[1].value, 1))(m)
m = Flatten()(m)
outp = Dense(m.shape[-1].value)(m)
model = Model(inputs=inp, outputs=outp)
model.summary()

输出如下内容:

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_4 (InputLayer)         (None, 20, 20, 1)         0         
_________________________________________________________________
conv2d_6 (Conv2D)            (None, 18, 1, 16)         976       
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 1, 1, 16)          0         
_________________________________________________________________
flatten (Flatten)            (None, 16)                0         
_________________________________________________________________
dense_1 (Dense)              (None, 16)                272       
=================================================================
Total params: 1,248
Trainable params: 1,248
Non-trainable params: 0
_________________________________________________________________
目录
相关文章
|
Java API 开发工具
得物开放平台接入得物SDK
得物开放平台、得物SDK、得物PUSH、获取订单、虚拟发货
2246 1
 得物开放平台接入得物SDK
|
3月前
|
人工智能 自然语言处理 安全
从模型到应用:企业级Agent平台如何打通AI落地“最后一公里”
2026年,企业级AI智能体迎来规模化落地关键期,但仅17%企业完成部署。瓴羊AgentOne以“大模型×好数据×强场景”为核心,打造可调度、能协同、对结果负责的数字员工矩阵,覆盖营销、客服、分析、运营四大场景,推动AI从“能聊”跃升为“能干、能信、能打”的生产力引擎。
|
4月前
|
数据采集 存储 运维
电商竞品监控工具全链路解决方案:从数据采集到经营落地闭环
本文系统解析电商竞品监控解决方案,直击人工调研滞后、维度单一、数据割裂等五大痛点,提出覆盖采集防护、清洗存储、多维监控、智能预警、分析决策与业务落地的全链路体系。适配淘宝、京东、拼多多、抖音及反向海淘独立站场景,详解SaaS工具与自研系统双路径选型,助力中小卖家降本增效、品牌商构建数据驱动的竞争壁垒。(239字)
|
4月前
|
弹性计算 监控 API
💸《拼多多API 0.01元/百次听起来便宜?预充值+云外×10倍才是杀手》(附Python源码)
拼多多API“0.01元/百次”看似便宜,实则暗藏三大陷阱:预充值模式(非实时扣费、到账延迟)、云外调用单价×10、欠费即硬切断(非限流,订单瞬断)。叠加增值接口云外禁用,极易引发半夜漏单。成本与稳定性风险远超表面报价。(239字)
|
4月前
|
运维 Java Linux
阿里云计算巢MC我的世界服务器零基础搭建全教程,Java/基岩双版本一键部署实操指南
《我的世界》凭借自由创造、多人联机、海量模组拓展的核心玩法,长期拥有庞大玩家群体,但绝大多数玩家尝试家用电脑搭建联机服时都会遇到难以解决的痛点:家用宽带无公网IP、上行带宽极低、多人同时在线卡顿严重、电脑关机服务器直接下线、内网穿透工具不稳定频繁掉线。想要稳定和全国各地好友长期联机,云服务器是最优解决方案。2026年阿里云依托计算巢平台上线我的世界专属一键部署服务,无需编写代码、无需手动配置Java运行环境、不用调试防火墙端口,全程可视化点击操作,零基础游戏玩家几分钟即可搭建专属稳定MC服务器,同时完整兼容Java原版、模组整合包、基岩版三大主流游戏类型,搭配10M不限流量BGP多线带宽
1026 0
|
12月前
|
人工智能 边缘计算 安全
阿里云 ESA「函数和Pages」云栖发布:代码即部署,边缘原生落地
阿里云边缘安全加速(ESA)发布全新“函数和Pages”平台,国内首个实现站点托管与边缘函数原生打通,支持全球3200+节点极速部署、企业级安全防护及自动化发布流程。通过GitHub一键集成,结合AI编程助手,实现从代码到全球上线的分钟级交付,定义边缘原生与AI原生的下一代开发体验。
1019 0
阿里云 ESA「函数和Pages」云栖发布:代码即部署,边缘原生落地
|
5月前
|
数据采集 人工智能 JavaScript
GEO优化小白入门:30个问题搞懂AI搜索时代的内容优化
这是一份由Geo专家于磊原创的GEO优化实战指南,用大白话讲透AI搜索时代新规则:GEO不是SEO翻版,而是让AI主动引用你、推荐你的能力。涵盖人性化内容、交叉验证、E-E-A-T权威建设、结构化表达等核心方法,拒绝割韭菜,强调真实经验、长期积累与可信输出,助力个人与中小企业在AI大脑中建立不可替代的专业位置。
607 0
|
存储 机器学习/深度学习 人工智能
MXFP4量化:如何在80GB GPU上运行1200亿参数的GPT-OSS模型
GPT-OSS通过MXFP4量化技术实现1200亿参数模型在单个80GB GPU上的高效运行,将权重压缩至每参数4.25位,大幅降低内存需求,同时保持高精度和竞争力的基准性能,为大规模模型部署提供了新思路。
1228 13
MXFP4量化:如何在80GB GPU上运行1200亿参数的GPT-OSS模型
|
人工智能 自然语言处理 搜索推荐
产业园区运营升级新趋势,数字人激活园区展厅智慧展示新价值
随着“制造强国”“数字中国”战略推进,全国产业园区超8万家,正从规模扩张转向价值创造。传统展厅面临体验沉闷、成本高、同质化等问题。AI数字人作为智慧中枢,实现24小时讲解、智能交互、个性导览与系统联动,重塑园区“第一窗口”。当前,数字人已落地30余案例,助力园区迈向智能化、个性化、可持续的产业新生态。
374 0