Deep Neural Networks in a Mathematical Framework

1 - Preface [Seite 7]
2 - Contents [Seite 10]
3 - Acronyms [Seite 12]
4 - 1 Introduction and Motivation [Seite 13]
4.1 - 1.1 Introduction to Neural Networks [Seite 14]
4.1.1 - 1.1.1 Brief History [Seite 14]
4.1.2 - 1.1.2 Tasks Where Neural Networks Succeed [Seite 15]
4.2 - 1.2 Theoretical Contributions to Neural Networks [Seite 16]
4.2.1 - 1.2.1 Universal Approximation Properties [Seite 16]
4.2.2 - 1.2.2 Vanishing and Exploding Gradients [Seite 17]
4.2.3 - 1.2.3 Wasserstein GAN [Seite 18]
4.3 - 1.3 Mathematical Representations [Seite 19]
4.4 - 1.4 Book Layout [Seite 19]
4.5 - References [Seite 20]
5 - 2 Mathematical Preliminaries [Seite 23]
5.1 - 2.1 Linear Maps, Bilinear Maps, and Adjoints [Seite 24]
5.2 - 2.2 Derivatives [Seite 25]
5.2.1 - 2.2.1 First Derivatives [Seite 25]
5.2.2 - 2.2.2 Second Derivatives [Seite 26]
5.3 - 2.3 Parameter-Dependent Maps [Seite 27]
5.3.1 - 2.3.1 First Derivatives [Seite 28]
5.3.2 - 2.3.2 Higher-Order Derivatives [Seite 28]
5.4 - 2.4 Elementwise Functions [Seite 29]
5.4.1 - 2.4.1 Hadamard Product [Seite 30]
5.4.2 - 2.4.2 Derivatives of Elementwise Functions [Seite 31]
5.4.3 - 2.4.3 The Softmax and Elementwise Log Functions [Seite 32]
5.5 - 2.5 Conclusion [Seite 34]
5.6 - References [Seite 34]
6 - 3 Generic Representation of Neural Networks [Seite 35]
6.1 - 3.1 Neural Network Formulation [Seite 36]
6.2 - 3.2 Loss Functions and Gradient Descent [Seite 37]
6.2.1 - 3.2.1 Regression [Seite 37]
6.2.2 - 3.2.2 Classification [Seite 38]
6.2.3 - 3.2.3 Backpropagation [Seite 39]
6.2.4 - 3.2.4 Gradient Descent Step Algorithm [Seite 40]
6.3 - 3.3 Higher-Order Loss Function [Seite 41]
6.3.1 - 3.3.1 Gradient Descent Step Algorithm [Seite 44]
6.4 - 3.4 Conclusion [Seite 45]
6.5 - References [Seite 46]
7 - 4 Specific Network Descriptions [Seite 47]
7.1 - 4.1 Multilayer Perceptron [Seite 48]
7.1.1 - 4.1.1 Formulation [Seite 48]
7.1.2 - 4.1.2 Single-Layer Derivatives [Seite 49]
7.1.3 - 4.1.3 Loss Functions and Gradient Descent [Seite 50]
7.2 - 4.2 Convolutional Neural Networks [Seite 52]
7.2.1 - 4.2.1 Single Layer Formulation [Seite 52]
7.2.1.1 - Cropping and Embedding Operators [Seite 53]
7.2.1.2 - Convolution Operator [Seite 55]
7.2.1.3 - Max-Pooling Operator [Seite 58]
7.2.1.4 - The Layerwise Function [Seite 61]
7.2.2 - 4.2.2 Multiple Layers [Seite 62]
7.2.3 - 4.2.3 Single-Layer Derivatives [Seite 62]
7.2.4 - 4.2.4 Gradient Descent Step Algorithm [Seite 63]
7.3 - 4.3 Deep Auto-Encoder [Seite 64]
7.3.1 - 4.3.1 Weight Sharing [Seite 64]
7.3.2 - 4.3.2 Single-Layer Formulation [Seite 65]
7.3.3 - 4.3.3 Single-Layer Derivatives [Seite 66]
7.3.4 - 4.3.4 Loss Functions and Gradient Descent [Seite 67]
7.4 - 4.4 Conclusion [Seite 69]
7.5 - References [Seite 70]
8 - 5 Recurrent Neural Networks [Seite 71]
8.1 - 5.1 Generic RNN Formulation [Seite 71]
8.1.1 - 5.1.1 Sequence Data [Seite 72]
8.1.2 - 5.1.2 Hidden States, Parameters, and Forward Propagation [Seite 72]
8.1.3 - 5.1.3 Prediction and Loss Functions [Seite 74]
8.1.4 - 5.1.4 Loss Function Gradients [Seite 74]
8.1.4.1 - Prediction Parameters [Seite 75]
8.1.4.2 - Real-Time Recurrent Learning [Seite 76]
8.1.4.3 - Backpropagation Through Time [Seite 77]
8.2 - 5.2 Vanilla RNNs [Seite 82]
8.2.1 - 5.2.1 Formulation [Seite 82]
8.2.2 - 5.2.2 Single-Layer Derivatives [Seite 83]
8.2.3 - 5.2.3 Backpropagation Through Time [Seite 84]
8.2.4 - 5.2.4 Real-Time Recurrent Learning [Seite 86]
8.2.4.1 - Evolution Equation [Seite 86]
8.2.4.2 - Loss Function Derivatives [Seite 87]
8.2.4.3 - Gradient Descent Step Algorithm [Seite 88]
8.3 - 5.3 RNN Variants [Seite 88]
8.3.1 - 5.3.1 Gated RNNs [Seite 89]
8.3.2 - 5.3.2 Bidirectional RNNs [Seite 90]
8.3.3 - 5.3.3 Deep RNNs [Seite 90]
8.4 - 5.4 Conclusion [Seite 90]
8.5 - References [Seite 91]
9 - 6 Conclusion and Future Work [Seite 92]
9.1 - References [Seite 93]
10 - Glossary [Seite 94]