稀疏自编码器一览表-白红宇

强烈建议你试试无所不能的chatGPT，快点击我

稀疏自编码器一览表

阅读量：6494 次

发布时间：2019-06-24

本文共 498 字，大约阅读时间需要 1 分钟。

以下是我们在推导sparse autoencoder时使用的符号一览表：

符号	含义
$\textstyle x$	训练样本的输入特征， $\textstyle x \in \Re^{n}$ .
$\textstyle y$	输出值/目标值. 这里 $\textstyle y$ 能够是向量. 在autoencoder中。 $\textstyle y=x$ .
$\textstyle (x^{(i)}, y^{(i)})$	第 $\textstyle i$ 个训练样本
$\textstyle h_{W,b}(x)$	输入为 $\textstyle x$ 时的如果输出，当中包括參数 $\textstyle W,b$ . 该输出应当与目标值 $\textstyle y$ 具有同样的维数.
$\textstyle W^{(l)}_{ij}$	连接第 $\textstyle l$ 层 $\textstyle j$ 单元和第 $\textstyle l+1$ 层 $\textstyle i$ 单元的參数.
$\textstyle b^{(l)}_{i}$	第 $\textstyle l+1$ 层 $\textstyle i$ 单元的偏置项. 也能够看作是连接第 $\textstyle l$ 层偏置单元和第 $\textstyle l+1$ 层 $\textstyle i$ 单元的參数.
$\textstyle \theta$	參数向量. 能够觉得该向量是通过将參数 $\textstyle W,b$ 组合展开为一个长的列向量而得到.
$\textstyle a^{(l)}_i$	网络中第 $\textstyle l$ 层 $\textstyle i$ 单元的激活（输出）值. 另外，因为 $\textstyle L_1$ 层是输入层，所以 $\textstyle a^{(1)}_i = x_i$ .
$\textstyle f(\cdot)$	激活函数. 本文中我们使用 $\textstyle f(z) = \tanh(z)$ .
$\textstyle z^{(l)}_i$	第 $\textstyle l$ 层 $\textstyle i$ 单元全部输入的加权和. 因此有 $\textstyle a^{(l)}_i = f(z^{(l)}_i)$ .
$\textstyle \alpha$	学习率
$\textstyle s_l$	第 $\textstyle l$ 层的单元数目（不包括偏置单元）.
$\textstyle n_l$	网络中的层数. 通常 $\textstyle L_1$ 层是输入层， $\textstyle L_{n_l}$ 层是输出层.
$\textstyle \lambda$	权重衰减系数.
$\textstyle \hat{x}$	对于一个autoencoder，该符号表示其输出值；亦即输入值 $\textstyle x$ 的重构值. 与 $\textstyle h_{W,b}(x)$ 含义同样.
$\textstyle \rho$	稀疏值，能够用它指定我们所需的稀疏程度
$\textstyle \hat\rho_i$	（sparse autoencoder中）隐藏单元 $\textstyle i$ 的平均激活值.
$\textstyle \beta$	（sparse autoencoder目标函数中）稀疏值惩处项的权重.

转载地址：http://drkyo.baihongyu.com/

你可能感兴趣的文章

if、for、while的详解及实例（一）

守护进程vs 守护线程

mysql数据库的理解

asp.net mvc中自行搭建实现工厂模式的spring.net+三层架构（更新）

在文本元素中加上图标

C++官方文档-常量成员函数

BFC块级格式

为什么要使用数据库连接池？以及用法(DBUtils)

装饰器未完待续。。。

Redis 数据类型List链表

sublime text3好用的插件

旋转正方形矩阵

力扣算法题—082删除排序链表中的重复元素2

4.1 State Snapshot Transfer

CodeChef TechFest 2013 Cool Numbers(搜索)

Mysql 声明变量

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！-- 愿君每日到此一游！

当前时间: 2025-01-19 07:18:23 当前IP: 3.148.105.152 联系邮箱:javaeecc@qq.com Copyright © 2020 - 2022 baihongyu.com 京ICP备2021015314号-2

强烈建议你试试无所不能的CHAT-GPT，快点击我

强烈建议你试试无所不能的CHAT-GPT，快点击我