一本毒小说

手机浏览器扫描二维码访问

第14章 一不小心站在了技术发展的最前沿(第2页)

当梯度太大时,参数的调整会变得过于剧烈,网络的学习变得不稳定,甚至会导致训练失败。

这就像你在陡峭的悬崖边滑落,一下子失去了控制。

网络的参数变化过大,导致结果变得很不稳定,甚至完全错误。

概括地说:

梯度消失就像在一座越来越平的山坡上,梯度变得很小,神经网络不知道该怎么调整,进而学习变得很慢,甚至无法进步。

梯度爆炸就像从悬崖边滚下去,梯度变得很大,网络的学习变得过于剧烈,结果会非常不稳定,训练过程变得不可控。

这两个问题经常会出现在深层神经网络中。

而这也是马库斯所要倾诉的困扰。

“说起来,最近的研究还卡在了‘梯度消失’的问题上。”马库斯苦笑着说道,靠在沙发上,“我们在训练一些更深层次的神经网络时,发现模型一旦超过一定的深度,反向传播算法中的梯度会逐渐趋近于零,根本无法有效更新权重。深度越大,梯度就越容易消失,整个网络的学习效率大幅下降。”

马库斯知道林枫硕士是麻省理工学院的计算机硕士,因此也就全都用专业术语表述了。

对于这些林枫当然能听明白,非但能听明白,而且作为一个资深的人工智能从业人员。

林枫也清楚知道马库斯面临的难题。

林枫对AI的发展也有所了解,涉及到梯度问题在2014年是深度学习研究中的一个巨大挑战。

甚至可以说解决不了梯度问题就很难有真正的深度学习,也就不会有后来的人工智能成果的一系列井喷。

林枫心说,自己这是一不小心站在了技术发展的最前沿了吗?

不得不说,这种举手投足之间就能影响时代命运的感觉是真的无比美妙。

“梯度消失的问题一直存在,尤其是深层网络。梯度爆炸倒是相对好解决,但梯度消失会直接导致学习过程停滞不前。”林枫沉思片刻,补充道,“这不仅是你们实验室的问题,也是整个领域的瓶颈。反向传播的基本原理决定了,当信号在网络中层层传递时,梯度的变化会以指数级缩小。”

马库斯脑海中泛起了大大的问号,梯度爆炸问题好解决吗?

他怎么觉得梯度爆炸问题也挺麻烦的?

不过聊天本来就是求同存异,既然林同样认为梯度消失难以解决就够了。

马库斯也没纠结为什么林说梯度爆炸容易解决,而是继续就梯度消失发表观点说道:“是啊,哪怕有了ReLU(修正线性单元)激活函数的引入,虽然能在一定程度上减轻梯度消失,但对深层网络还是不够。”

林枫想了想,说道:“你们有考虑过改进网络结构吗?”

喜欢不朽从二零一四开始请大家收藏:()不朽从二零一四开始

请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。

八零:迫嫁糙汉怀上三胞胎  祁木温年  纨绔女王爷:腹黑夫君别使坏  清末小旗兵  我有无限分身,成就仙帝不过分吧  第四天灾:我的玩家会修仙  费伦大陆的普通奇幻冒险  鬼魂与反派的禁忌之恋  我在都市学会了修真直到无敌于世  贾二虎的迷乱青春续集  综穿带着王者系统当bKing  全民巨鱼求生:我能听到巨鱼心声  你跟我很想至少一半以上  轮回天帝  趣谈老祖宗那些事儿  穿越后,我被新帝瞄上了  致命毒宠,凛冬玫瑰  小小领主不好惹!惹急眼了争天下  穿越大唐:打造最强工业园  人在四合院:我能看见弹幕  

热门小说推荐
弃妇难为:特工王妃太诱人

弃妇难为:特工王妃太诱人

顶尖特工一朝穿越成被渣男休掉的弃妇,带着一只可怜小包子,住着顶不遮雨墙不避风的破屋子,揭开米缸连屁都没有,这日子还咋过?采野菜卖野果进酒楼平绣坊,凤瑶就不信了,还过不上好日子了?眼看着破...

漂亮亲妈觉醒,在年代文养崽驯夫

漂亮亲妈觉醒,在年代文养崽驯夫

简介拥有木系异能的末世大佬阮烟穿越了,还穿成了年代后妈甜宠文里的炮灰原配。刚睁开眼,阮烟就发现自己正处在和渣男私奔的路上,被渣男生拉硬拽。阮烟一个过肩摔,将渣男摔在了地上,私奔是不可能私奔的!要回钱,拿回票,阮烟去供销社买了大包小包,高高兴兴的回家找两个崽崽。阮烟漂亮亲妈觉醒,在年代文养崽驯夫推荐地址...

六扇门之剑指江湖

六扇门之剑指江湖

武侠百万大征文参赛作品如果您喜欢六扇门之剑指江湖,别忘记分享给朋友...

横练鸣人

横练鸣人

关于横练鸣人从小被村民冷暴力的漩涡鸣人一直希望能够拥有朋友。直到那年,一个横练系统绑定了他,系统对他说只有强者才配拥有友情,横练吧,鸣人,你会拥有很多的朋友的。半信半疑的鸣人开始了横练之路。后来,鸣人,你愿意跟我耍朋友吗?地上,鼻青脸肿的宇智波佐助屈辱地对鸣人说道。听到这话,鸣人松开了拳头,热情拉起佐助,一脸微笑地说道当然,我接受你这个朋友。这是一个走上歪路的漩涡鸣人的故事。...

武德充沛

武德充沛

我姓武,大家都叫我小武。我曾在地底深处见过那些超越人类想象的机动战甲,我也曾在太空的陨石带,看见有人一拳打爆星辰,兄弟你听好了,下面是我的一些打架心得跟龙族打的时候别听它说什么,只管打到死为止揍妖精麻烦一点,最好别让它看见你,要打黑枪搞兽人就是一个字,裸绞!魔鬼要找麻烦,你就死命掰它的角,它一定跪好了,我现...

恶魔贤者

恶魔贤者

魔兽践踏,巨龙咆哮,巫师诅咒,魔法璀璨之光照耀知识灯塔!如果您喜欢恶魔贤者,别忘记分享给朋友...

每日热搜小说推荐