支持的初始化器

DL4J 支持所有可用的 Keras 初始化器, 名称为:

• Zeros

• Ones

• Constant

• RandomNormal

• RandomUniform

• TruncatedNormal

• VarianceScaling

• Orthogonal

• Identity

• lecun_uniform

• lecun_normal

• glorot_normal

• glorot_uniform

• he_normal

• he_uniform

从Keras 到 DL4J的初始化器映射可以从 KerasInitilizationUtils中找到。

支持的正则化器

DL4J模型导入支持所有Keras正则化器。

• l1

• l2

• l1_l2

正则化器映射可以在KerasRegularizerUtils 中找到

支持的优化器 支持所有标准的Keras优化器，但是导入自定义TensorFlow优化器将不能工作：

• SGD

• RMSprop

• Adagrad

• Adadelta

• Adam

• Adamax

• Nadam

• TFOptimizer

Keras 模型导入: 支持的功能

鲜为人知的事实：DL4J的创始人，Skymind，在我们的团队中拥有前五名的Keras贡献者中的两个，使其成为继Keras的创始人Francois Chollet之后对Keras的最大贡献者。 虽然并非DL4J中的每个概念在Keras中都有等效的概念，反之亦然，但是许多关键概念可以匹配。将Keras模型导入DL4J是在我们的deeplearning4j-modelimport 模块中完成的。下面是当前支持的特性的综合列表。

• 层

• 损失

• 激活函数

• 初始化器

• 正则化器

• 约束

• 度量

• 优化器

层

将模型映射到DL4J层是在模型导入的层子模块中完成的。该项目的结构随意地反映了Keras的结构。

核心层

• ✅ Dense

• ✅ Activation

• ✅ Dropout

• ✅ Flatten

• ✅ Reshape

• ✅ Merge

• ✅ Permute

• ✅ RepeatVector

• ✅ Lambda

• ❌ ActivityRegularization

• ✅ Masking

• ✅ SpatialDropout1D

• ✅ SpatialDropout2D

• ✅ SpatialDropout3D

卷积层

• ✅ Conv1D

• ✅ Conv2D

• ✅ Conv3D

• ✅ AtrousConvolution1D

• ✅ AtrousConvolution2D

• ❌ SeparableConv1D

• ✅ SeparableConv2D

• ✅ Conv2DTranspose

• ❌ Conv3DTranspose

• ✅ Cropping1D

• ✅ Cropping2D

• ✅ Cropping3D

• ✅ UpSampling1D

• ✅ UpSampling2D

• ✅ UpSampling3D

• ✅ ZeroPadding1D

• ✅ ZeroPadding2D

• ✅ ZeroPadding3D

池化层

• ✅ MaxPooling1D

• ✅ MaxPooling2D

• ✅ MaxPooling3D

• ✅ AveragePooling1D

• ✅ AveragePooling2D

• ✅ AveragePooling3D

• ✅ GlobalMaxPooling1D

• ✅ GlobalMaxPooling2D

• ✅ GlobalMaxPooling3D

• ✅ GlobalAveragePooling1D

• ✅ GlobalAveragePooling2D

• ✅ GlobalAveragePooling

本地连接层

• ✅ LocallyConnected1D

• ✅ LocallyConnected2D

循环层

• ✅ SimpleRNN

• ❌ GRU

• ✅ LSTM

• ❌ ConvLSTM2D

嵌入层

• ✅ Embedding

合并层

• ✅ Add / add

• ✅ Multiply / multiply

• ✅ Subtract / subtract

• ✅ Average / average

• ✅ Maximum / maximum

• ✅ Concatenate / concatenate

• ❌ Dot / dot

高级激活层

• ✅ LeakyReLU

• ✅ PReLU

• ✅ ELU

• ✅ ThresholdedReLU

归一化层

• ✅ BatchNormalization

噪声层

• ✅ GaussianNoise

• ✅ GaussianDropout

• ✅ AlphaDropout

层包装器

• ❌ TimeDistributed

• ✅ Bidirectional

失损

• ✅ mean_squared_error

• ✅ mean_absolute_error

• ✅ mean_absolute_percentage_error

• ✅ mean_squared_logarithmic_error

• ✅ squared_hinge

• ✅ hinge

• ✅ categorical_hinge

• ❌ logcosh

• ✅ categorical_crossentropy

• ✅ sparse_categorical_crossentropy

• ✅ binary_crossentropy

• ✅ kullback_leibler_divergence

• ✅ poisson

• ✅ cosine_proximity

活激

• ✅ softmax

• ✅ elu

• ✅ selu

• ✅ softplus

• ✅ softsign

• ✅ relu

• ✅ tanh

• ✅ sigmoid

• ✅ hard_sigmoid

• ✅ linear

初始化器

• ✅ Zeros

• ✅ Ones

• ✅ Constant

• ✅ RandomNormal

• ✅ RandomUniform

• ✅ TruncatedNormal

• ✅ VarianceScaling

• ✅ Orthogonal

• ✅ Identity

• ✅ lecun_uniform

• ✅ lecun_normal

• ✅ glorot_normal

• ✅ glorot_uniform

• ✅ he_normal

• ✅ he_uniform

正则化器

• ✅ l1

• ✅ l2

• ✅ l1_l2

约束

• ✅ max_norm

• ✅ non_neg

• ✅ unit_norm

• ✅ min_max_norm

优化器

• ✅ SGD

• ✅ RMSprop

• ✅ Adagrad

• ✅ Adadelta

• ✅ Adam

• ✅ Adamax

• ✅ Nadam

• ❌ TFOptimizer

支持的损失函数

DL4J支持所有可用的Keras损失函数（除了logcosh），即：

• mean_squared_error

• mean_absolute_error

• mean_absolute_percentage_error

• mean_squared_logarithmic_error

• squared_hinge

• hinge

• categorical_hinge

• logcosh

• categorical_crossentropy

• sparse_categorical_crossentropy

• binary_crossentropy

• kullback_leibler_divergence

• poisson

• cosine_proximity

Keras的损失函数映射可在KerasLossUtils中找到。

所有的 Keras 约束 都被支持:

• max_norm

• non_neg

• unit_norm

• min_max_norm

在 KerasConstraintUtils中实现Keras 到 DL4J 约束映射。

可用的激活

我们支持所有的，即：

• softmax

• elu

• selu

• softplus

• softsign

• relu

• tanh

• sigmoid

• hard_sigmoid

• linear

Keras到DL4J激活函数的映射定义在中。