首页 > 学院 > 开发设计 > 正文

CAFFE学习笔记(三):调参

2019-11-08 01:11:33
字体:
来源:转载
供稿:网友

总结solver文件个参数的意义

test_iter: 1000 //测试的批次,一次性执行全部数据,效率较低,因此分几个批次进行执行, //如果每个批次数量设为batch_size,则有以下关系:test_iter = 测试样本总数/batch_size test_interval: 1000 //测试间隔,即每训练1000次,进行一次测试 base_lr: 0.01 // 基础学习速率(初始学习率),迭代过程中可以对基础学习速率进行调整,调整策略通过lr_policy来设置 lr_policy: "step" // lr_policy设置参数: //- fixed:   保持base_lr不变. //- step:    如果设置为step,则还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数 //- exp:   返回base_lr * gamma ^ iter, iter为当前迭代次数 //- inv:   如果设置为inv,还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power) //- multistep: 如果设置为multistep,则还需要设置一个stepvalue。这个参数和step很相似,step是均匀等间隔变化,而multistep则是根据 stepvalue值变化 //- poly:    学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power) //- sigmoid: 学习率进行sigmod衰减,返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize)))) gamma: 0.1 //学习率变化的比率 stepsize: 3000 //每迭代3000次,调整一次学习率 display: 20 //每20次迭代,显示一次 max_iter: 12000 //最大迭代次数。这个数设置太小,会导致没有收敛,精确度很低。设置太大,会导致震荡,浪费时间。 momentum: 0.9 //学习的参数,不用变 weight_decay: 0.0005 //权重衰减项,防止过拟合的一个参数 snapshot: 5000 //每迭代5000次,保存一次训练权值 snapshot_PRefix: "caffenet_train" //设置保存训练权值的路径 solver_mode: GPU //选择使用CPU还是GPU运行
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表