Hyperparameters in Deep learning

• Hyperparameters in Deep learning
  • Batch Size
  • Upsampling
  • Footnotes

Hyperparameters in Deep learning

深度学习中的hyperparameters(超参数)很多，有时候对结果的影响还挺大的，根据数据的不同、模型的不同会有比较大的区别，下面只是记录一些关于这的blog的内容。

Batch Size

Batch Size 是很关键的一个参数，因为它影响利用的内存、每epoch的时间等 ¹，相同的epoch，steps（iteration）的次数也不同。在比较大的Batch Size时，learning rate同时增加，学习结果最好。

Upsampling

Footnotes

1. https://medium.com/mini-distill/effect-of-batch-size-on-training-dynamics-21c14f7a716e . ↩