注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾

2021/05/19 18:42 · 提高注意力训练 ·  · 注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾已关闭评论
专注力注意力训练提升
摘要:

注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村?|首届乡村注意力经济发展论坛回顾原标题:什么样的注意力,才能真正激活乡村?|首届乡村注意力经济发展论坛回顾2019年2月23日,《海峡旅游》在连城四堡举办了首届乡村注意力经济发展论坛。在我们以媒体的角度关注乡村发展的这几年时间中,我们发现越来越多“注意

注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾

原标题:什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾

2019年2月23日,《海峡旅游》在连城四堡举办了首届乡村注意力经济发展论坛。在我们以媒体的角度关注乡村发展的这几年时间中,我们发现越来越多“注意力”投向了乡村,但有哪些注意力是“良质”的,是真正能为乡村带来帮助的?又有哪些“良质的注意力”能够真正激活乡村?

我们请来一干乡村的实践者,将好的案例摆上台面,与大家一起分享他们在乡建过程中新鲜、有趣、先锋的实践,让更多的人看到、听到、并且谈论他们,最终激起一些浪花,促成一些合作,正是我们举办这个论坛的初衷。

当这些大咖们齐聚,会擦出什么样的火花?

>>> 论坛干货分享 <<< PART 1 嘉宾分享 / 让注意力的“良质”激活乡村 有一种生活方式在乡村。我们到乡野里去,与自然连接,与人连接,也与在地文化发生连接,以此激活对美好生活的向往,激活乡野优质资源,以传媒力量汇聚注意力。我们探索和实践,本质上都是在为乡村打造注意力的良质,当越来越多的良质的注意力汇聚到乡村的时候,乡野脉搏才会真正被激活,城乡美好才能真正联动起来。 ——《海峡旅游》社长、村跑CEO丁晓玲 / 宿集既是乡建的入口,也是带动当地乡村发展的一个平台 我们相信,乡村的重生,不仅是建筑的更新,更是人的“更新”。「黄河·宿集」不仅仅是一个旅行度假目的地,更多的意义在于这是一种生活方式的分享,也是对乡村复兴的一种尝试。我们希望更多的人在「宿集」这样一个空间里面自己去创造、植入更多的产品,像村跑、音乐、艺术,很多东西都可以植入,以此带动当地乡村的发展,这是做「宿集」的意义,它既是乡建的入口,也是一个平台。 ——资深媒体人、借宿创始人、CEO夏雨清 / 要建立文化自信,乡村不是落后,只是我们没有发现乡村的价值 当设计真正进入乡村,用心灵去绘制蓝图时,美就产生了,而“人”正是文化回归、文化介入乡村振兴的最好理由,有了人,乡村就有了生机。我们这几年一直在做大规划,也坚持做陪伴式的服务,让设计师下乡去陪伴乡村,还取了一个特别大的名字:“乡村文化的复兴”,我们认为这里最关键的核心是要建立文化自信,乡村不是落后,只是我们没有发现乡村的价值。我们关注乡村,用设计改变乡村,让文化唤醒乡愁,希望有一天农民能把他自己的财产变成真正的幸福的资产。 ——优山美地总规划师马少辉 / 民宿应该不止于宿,与乡村自然文化达成更深层次的联结,是民宿的发展方向 我们的价值观,是传递美好的乡村生活,发现美好的地方,然后聚集美好的人。民宿不是工具,而是内容和一种生活方式的体现。民宿最重要的是把内容做好,但仅凭一家民宿要实现这点却很难,既要做餐饮,又要做咖啡馆、酒吧、文创空间、开展活动,这些竟是不挣钱的事。单家小民宿往往难以承担这些成本。面对这样的矛盾,我们尽可能做了一些配套。直到民宿开始规模化之后,我们才有了更多空间,去承载这些配套和文创的内容。民宿应该不止于宿,谦卑的与乡村自然文化达成更深层次的联结,是民宿的发展方向。 ——“大乐之野”民宿联合创始人 莫干山民宿学院院长吉晓祥 / 如何让“乡野食味”进入城市? 民宿和村跑是把人吸引到村子里,而我们的工作则是搬运,我们提供带有中国风味的地方食物,尝试把乡野食味搬到城市里,带到全球去,让大家从舌尖上感受到真正的乡野趣味。民宿属于低频消费的需求,相比之下,零食的散播率更广,更容易面向大众,我们也希望通过食品这个载体,与不同领域发生化学反应,把各个地方的注意力聚拢在一起,实现相辅相成。 ——“味 BACK”创始人丁卯 / 那么多人在叹息美好的乡村生活已经远离,而我们要让它回家 “墟里”这个名字来自于陶渊明的诗:“暧暧远人村,依依墟里烟”。墟里其实就是村庄的意思,也指代着理想的中国乡村生活。在我们只有小小的三间房间的时候,我们就在想着我们需要做扎根乡村的事。墟里正在探索的,是乡村运营的一条路,是可持续发展的社区之路。包括年轻人城里人如何回到乡村?他们在乡村可以是怎么样的工作和生活方式?乡村的价值与美如何转化?我们如何和当地村跑更融合地生活在一起等等,那么多人在叹息美好的乡村生活已经远离,而我们,要让它回家。 ——“墟里”品牌合伙人胡珊 PART 2 圆桌会议(一) / 文化、体育、艺术、音乐能为乡村带来什么? 厦门翔安有一个特色小镇叫澳头,在2017年的时候我们团队过去做艺术策划运营,全程跟着小镇有一年半的时间,基本上见证了小镇艺术从0到现在的状态,我们想了很多的方式以去艺造小镇,在百年古厝里办展,邀请青年雕塑家去田野乡村做公关艺术展,邀请艺术家去小镇写生........我们带艺术家去发现乡村、到乡村做展览,甚至驻村,首先肯定会给当地带来知名度,其次是可以带来很大的人流量,间接促进当地经济发展,促进当地人就业。 ——资深艺术文创产业管理运营专家 厦门时代空间总经理刘芸 参与文艺乡建这么多年,我认为文化艺术在乡村里面是一个先锋的角色,它是一种视角,让乡村的价值观、乡村的传统资源进入现代的视野,发现传统反哺现代文化的一种可能性。它也是打破城乡藩篱的利器。为什么呢?我想提“感动”的重要性,我们每次感动的时候都很嗨,不管是美景、音乐还是艺术所感动,我觉得关键词就是动,用英文来说就是move,它让城乡之间的藩篱产生裂缝,我非常重视这个裂缝,所以其实我做的事情,就是带大家跑到这些裂缝里面看一看有一些什么可能性。 ——《碧山》杂志书前副主编 “早春游学”创始人林小熏 我们所在做的事情就是将体育旅游爱好者带到美好的乡野目的地去。对于都市人群来说,越野赛是在城市高压生活下寻找的一种释放自我的方式。我们的比赛一旦有了“野”字,我们必须来乡村,我们想打造的赛事体验是从地域到天堂的概念。这两年我们也在寻找这样的乡野目的地,这也是一个认识中国大好河山的好机会,在赛事中和大自然接触并接受它的磨炼,再回到人类文明社会,这才是真正的美好。 ——三夫赛事创始人章超慧 如果说民宿是打开乡建的门,那么音乐也要流进乡村,音乐是流动的艺术,本身是一个具备流量的很好载体。我们从去年开始尝试,让很成熟的音乐人,或者是专业的音乐人,包括制作人开始下乡,进行实践,我们给这场实践想了一个名字叫“野行”,我们希望未来野行能成为一个好的发现者,透过音乐人的眼睛发现乡村的生活,发现和传播这里的文明、美食和物产等等,当我们把“野行”带到各个美丽的乡村里面去,音乐就可以为乡村的振兴、发展起到一个真正的助推作用。 ——原北京京文唱片总经理,知名音乐人李辉 PART 3 圆桌会议(二) / 什么样的注意力才能真正激活乡村? 这是我参加过的比较文艺的一场论坛,我觉得它也是一个相对低调,但却有注意力的论坛。过去十年,乡建是比较自嗨的状态,很多人在这里寻找自我的精神家园,或是一个归宿。但现在,我们可以通过整合和交流不断扩大影响力。未来是乡村振兴的风口,乡建者可以多同政府、市场沟通,让官方听到更多乡建人员的声音。这对于乡村振兴的从业人员来说是一个好机会。 ——旭东乡创研习社主理人张旭东 80后有乡愁,我们要思考的是90后的乡愁在哪里?很多年轻人,从小在城里长大,没有接触过乡村,对他们来说这里可能只是逃离大城市压力的场所,无所谓喜欢与否。而要提升年轻人对乡村这个概念的认同,则需要有掌握话语权、掌握经济能力、掌握设计概念的人,去让更多年轻人爱上乡村。 ——飞宿连锁民宿品牌创始人兼CEO张玉平 乡建的真正道路,源于自下而上的动力,而乡建的真正的动力,源于文化自信和内心复苏。除了一些基础要素之外,另一件重要的事,便是按照自己的感觉去“溯河”。这个“河”可能是物化的,从乡村图书馆、博物馆,到富有影响力的网红民宿,这些元素让人们愿意去看,去了解乡村,为同行制造交流的可能,提高政府对它的关注度。这些“河”的存在,将汇聚成一股川流,从而真正活化乡村。 ——优山美地总规划师马少辉 编辑 / 和子 视频 / 灿斌 撰文 / 张晓霏 摄影 / 叶香玉 ▼ 开放线上预售 戳“阅读原文”,直达微店购买 在这些空间 你也可以看到我们返回搜狐,查看更多 责任编辑: 注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾  第1张

注意力分散的时候更容易激活,基于注意力的CNN类别激活图生成方法与流程

本发明属于深度学习与计算机可视化
技术领域:
:,尤其涉及一种基于注意力的cnn类别激活图生成方法。
背景技术:
::卷积神经网络(convolutionalneuralnetwork,cnn)在许多领域取得了巨大成功,但由于其端到端的“黑盒”特性,掩盖了中间层知识存储与处理机制,使人们无法窥探其内部特征及外部决策的依据,在一定程度上影响了其应用价值。可视化即为一种常见的用于解释cnn决策原因、展示其内部学习到的特征的方式,目前有一些研究将其应用到cnn的特征理解与决策原因解释中,例如cam方法(classactivationmap),grad-cam方法(gradient-basedcam)(r.r.selvaraju,m.cogswell,a.das,r.vedantam,d.parikh,andd.batra.grad-cam:visualexplanationsfromdeepnetworksviagradient-basedlocalization.inarxiv:1610.v3,2017.),反卷积方法(deconvolution),但有些方法受到网络结构的限制,只能对特定结构的网络进行可视化,有些只能可视化内部特征或对原图进行重建,无法将内部特征和cnn外部决策依据关联起来,实现对cnn分类依据的有效解释。因此,需要在现有方法基础上,提出一种更好的可视化方法,在可视化cnn内部所学特征的同时,对cnn决策依据进行有效解释,使内部所学特征与外部决策结果对应起来,进一步增强对cnn决策机制的理解。技术实现要素:本发明针对虽然基于深度卷积网络的图像分类模型在准确率上越来越高,但由于深度网络“端到端”属性的限制,导致该分类过程如同一个“黑盒”,无法对其分类结果进行解释,也无法定位图像哪些区域的特征对分类结果贡献最大的问题,提出一种基于注意力的cnn类别激活图生成方法。为了实现上述目的,本发明采用以下技术方案:一种基于注意力的cnn类别激活图生成方法,包括:步骤1:计算特征图m=(m0,m1,...,mk-1)每个像素点的梯度值作为神经元类别相关的空间注意力权重;步骤2:获取各类别神经元对应的连接权重作为通道注意力权重;步骤3:根据空间注意力权重及通道注意力权重生成cnn类别激活图。进一步地,在所述步骤1之前还包括:在含有gap层或不含有gap层的cnn中,对输入特征图m=(m0,m1,...,mk-1)进行特征提取与分类层神经元分类;计算第一类别激活权重及第二类别激活权重的关系,将第一类别激活权重作为通道注意力权重,将第二类别激活权重作为空间注意力权重;所述第一类别激活权重为各类别神经元的连接权重,所述第二类别激活权重为关于神经元类别c的梯度值;第一类别激活权重及第二类别激活权重的关系如下:其中,为一端与ml相连接且另一端与分类层第c类神经元相连接的权重,ml表示通道ml平均池化后的值,表示l通道内位置(i,j)处的梯度值,l表示通道号,k表示通道数目。进一步地,所述步骤1包括:对cnn输出的分值反向传播,计算特征图中每个像素点关于得分的梯度作为类别相关的空间注意力权重,得到空间注意力权重矩阵,即像素级梯度矩阵gc:其中,表示梯度矩阵的l通道每个元素值对应像素点的梯度值。进一步地,所述步骤2包括:获取分类层各类别神经元的连接权重作为各类别神经元对应的通道注意力权重,得到通道注意力权重矩阵,即连接权重矩阵wc:进一步地,所述步骤3包括:按照如下公式根据空间注意力权重及通道注意力权重生成cnn类别激活图根据第一类别激活权重及第二类别激活权重的关系对式(10)进一步变形,得到空间-通道注意力权重调节的类别激活图生成公式:与现有技术相比,本发明具有的有益效果:基于深度卷积网络的图像分类模型在准确率上越来越高,但由于深度网络“端到端”属性的限制,导致该分类过程如同一个“黑盒”,无法对其分类结果进行解释,也无法定位图像哪些区域的特征对分类结果贡献最大。为了让基于卷积网络的图像分类过程在保证分类效果的同时,决策原因变得更加能够被用户理解,本发明提出基于注意力的cnn类别激活图生成方法,该方法将类别激活权重作用注意力权重,同时利用特征图的通道-空间位置重要性,与cam、grad-cam方法相比,生成的类别激活图的可视化效果更好,并且该方法不受网络结构的限制,使用更加灵活。附图说明图1为resnet-18网络可视化示例图;其中,(a)、(g)为输入原图,(b)~(f)表示中间层特征图可视化,conv1表示第1个卷积层,conv2_x~conv5_x表示resnet-18设计的卷积模块;(h)为最高层特征图可视化;(i)和(j)为分别针对输入原图中“dog”和“cat”的cam可视化;(k)和(l)为分别针对输入原图中“dog”和“cat”的grad-cam类别激活图可视化;图2为cam网络结构及类别激活图生成过程示意图;图3为grad-cam网络结构及类别激活图生成过程示意图;图4为类别激活图生成过程示意图;图5为含有gap层的cnn特征提取与分类流程图;图6为采用4种不同池化方式(gap,池化窗口大小为整个特征图大小;averagepooling,池化窗口大小为(2,2),步长设为2;maxpooling,池化窗口大小为(2,2),步长设为1;averagepooling,池化窗口大小为(2,2),步长设为1)的过程示意图;图7为本发明实施例一种基于注意力的cnn类别激活图生成方法流程图;图8为resnet-18类别激活权重可视化结果图之一;其中(a)为resnet-18:“dog”的类别激活权重可视化结果;(b)为resnet-18:“cat”类别激活权重可视化结果;(c)为densenet-161:“dog”的类别激活权重可视化结果;(d)为densenet-161:“cat”类别激活权重可视化结果;图9为resnet-18类别激活权重可视化结果图之二;其中,(a)为resnet-18:top3类别激活权重softmaxweight可视化结果,(b)为resnet-18:top3类别激活权重averagegradient可视化结果;图10为不同网络结构下不同类别激活图生成方法可视化效果比较图;其中,(a1)、(b1)、(c1)、(d1)为输入原图;(a2)~(a4)分别为squeezenet网络结构下分别采用cam、grad-cam、att-cam的可视化结果;(b2)~(b4)分别为resnet-18网络结构下分别采用cam、grad-cam、att-cam的可视化结果;(c2)~(c4)分别为rennet50网络结构下分别采用cam、grad-cam、att-cam的可视化结果;(d2)~(d4)分别为densenet-161网络结构下分别采用cam、grad-cam、att-cam的可视化结果;图11为类别激活图对于不同输出类别的可视化结果图;其中,(a)、(b)、(c)为输入原图;(a1)~(a5)分别为(a)对应的densenet-161网络结构下采用att-cam方法top5类别激活图;(b1)~(b5)分别为(b)对应的densenet-161网络结构下采用att-cam方法top5类别激活图;(c1)~(c5)分别为(c)对应的densenet-161网络结构下采用att-cam方法top5类别激活图;图12为对同一类别的不同图像的可视化效果比较图;其中,(a)为spider类图像可视化结果;(b)为hourglass类图像可视化结果;(c)为chimpanzee类图像可视化结果;(d)为butterfly类图像可视化结果。具体实施方式下面结合附图和具体的实施例对本发明做进一步的解释说明:(1)特征图可视化、cam及grad-cam分析卷积神经网络擅长表示学习,隐含层滤波器可看作不同类型的特征提取器,对输入图像进行分层次的特征提取与表示。不同层次隐含层编码的特征图关注重点不同,较低层的特征图学习到边缘、纹理等轮廓特征,较高层的特征图则学习到目标细节等局部特征。越往高层的卷积层神经元,所含语义信息越丰富,对物体、场景等目标越具有区分性。因此,cnn的特征图可视为输入图像的特征空间,尤其是高层特征图蕴含着较为丰富的语义信息,对特征图可视化有利于理解cnn内部特征与表达。特征图直接可视化可观察cnn中间各层的特征表达,如图1所示,输入原图(a)和(g)中有2个较显著的目标物体,即“dog”和“cat”,图1中(b)~(f)为resnet-18中间卷积层((b)conv1,(c)conv2_x,(d)conv3_x,(e)conv4_x,(f)conv5_x)输出,可见越往高层特征表达越抽象。图1中(h)将其最高层(conv5_x)特征图各通道叠加并投影到原图,得到最具区分性的特征表达,从中可以看出,cnn最高层特征图可定位到具有语义概念信息的特征位置,图像中重要目标区域特征都被编码到网络中,表明整个网络的特征学习是有效的。然而,虽然特征图可视化能够帮助理解cnn学习到了输入图像的哪些特征,但这些特征是被统一的表达与展示出来,无法确定这些特征与当前决策结果的关联性高低,即特征图可视化具有类别无关性,无法对cnn的决策结果做出有效解释。zhou等人(参见b.zhou,a.khosla,a.lapedriza,a.oliva,anda.torralba.learningdeepfeaturesfordiscriminativelocalization.incvpr,2016.)提出了利用特征图加权叠加的方式生成类别激活图,使用这种类别相关的热力图(class-specificheatmap)对cnn分类原因进行解释。热力图可定位目标区域的关键特征,该特征能够支撑当前具体分类结果。如图1中(i)和(j),分别表示cam方法生成的与resnet-18分类结果中“dog”和“cat”相关的热力图,图中分别对关键区域进行高亮,表示该区域特征与当前决策最相关。图2所示为cam方法所依赖的cnn结构,其中前半部分为常见cnn结构,如alexnet、vggnet和googlenet等,用于输入图像特征提取,后半部分是去除原始cnn中的全连接层并添加3个层:卷积层、gap层和softmax分类层,其中gap(globalaveragepooling,gap)表示全局平均池化操作,将整张特征图平均化为一个数值。在该网络结构中,生成cam热力图的具体过程如虚线所示,由softmax分类层关于某个类别的神经元权重,与最高层特征图各通道加权叠加得到。cam方法生成类别激活图过程非常简单,且定位效果较好,缺点在于结构中对gap层的依赖,并不是所有cnn结构中都含有gap层。因此,使用cam方法可视化cnn分类原因时,需修改原始cnn结构(将全连接层替换成卷积层、gap层和softmax层),使其后半部分符合图2所示的结构,并且修改结构后需重新训练网络,这样导致其使用较为复杂。同时,由于gap操作将丢失大量特征图信息,因此修改后的网络与原始cnn相比,分类性能有所下降。由于cam方法的限制,使其并不适用于一般类型网络,因此,selvaraju等人(参见r.r.selvaraju,m.cogswell,a.das,r.vedantam,d.parikh,andd.batra.grad-cam:visualexplanationsfromdeepnetworksviagradient-basedlocalization.inarxiv:1610.v3,2017.)提出另一种生成类别激活图的思路——grad-cam。如图1中(k)和(l)所示,分别表示利用grad-cam方法生成的与resnet-18分类结果中“dog”和“cat”相关的热力图。grad-cam方法并不需要改变网络结构,而是通过计算反向传播过程中,特征图每个像素关于某个类别的梯度,再对各通道像素点的梯度加以平均,即得到各通道对应的权重大小。图3所示为grad-cam网络结构及类别激活图生成过程。虽然grad-cam需要反向传播计算梯度,但涉及对单张输入图像进行可视化解释时,只需获取梯度来计算权重,而无需更新网络参数,因此不需要重新训练网络。综上,这3种可视化方法均采用热力图的形式,对输入图像的关键区域进行高亮,以表示cnn学习到的特征及支撑当前分类结果的依据。热力图生成过程大致相同,如图4所示,使用的特征空间即最高层特征图,对其采用加权求和的方式,经过插值放大并与原图叠加,即可标明原图中关键区域及特征。不同点在于所使用的权重,不同的权重使得可视化效果的不同:特征图直接叠加等同于各通道权重均设置为1,此时权重是不含类别信息的固定数值,表明各个通道检测到的特征对当前分类结果的重要性相同;cam使用的权重来自softmax分类层中关于某个类别神经元的连接权值,该权重与gap层输出元素一一对应,进而映射到前一层特征图各通道重要性;grad-cam使用的权重则来自特征图各通道像素关于某个类别得分的反向梯度均值,这些梯度均值即对应各通道权重大小。图4所示类别激活图生成过程如下:其中,公式(1)仅表示类别激活权重为的情形,c表示类别,k表示通道数,其它两种类型同理。特征图可视化、cam和grad-cam均可看作对特征图采用通道注意力机制,为各通道分配不同注意力权重,注意力权重分布不同导致合成类别激活图的解释效果也不同。(2)类别激活权重分析通过对特征图可视化、cam和grad-cam方法的比较可知,cnn类别激活权重具有十分重要的作用,一定程度上决定了生成类别激活图的质量和解释效果。为了进一步分析比较cam与grad-cam方法所使用的类别激活权重,本发明首先在含有gap层的cnn网络,分析对比2种类别激活权重间的关系,再进一步打破gap层限制,研究在不含gap层的网络结构中两者间的关系。a.含有gap层的cnn类别激活权重gap层将特征图整个通道平均池化为一个数值点,该过程无需参数训练,可减少参数数量,防止过拟合。同时,gap层输出特征向量维度与输入特征图通道数(即卷积滤波器个数)相同,因此可使输出维度固定而不受输入图像尺寸影响。由于gap层的这些优势,越来越多cnn结构中使用其代替全连接层,对特征图进行全局平均池化,然后映射到softmax分类层。在cnn结构中含有gap层时,可在不修改网络结构的情形下,将cam和grad-cam这2种可视化方法统一到同一网络中,在相同网络结构与输入图像的情形下,可保证特征空间相同,从而针对不同的类别激活权重进行详细分析。在含有gap层的cnn中,对输入图像的特征提取与分类流程如图5所示:设最后一个卷积层输出特征图m=(m0,m1,...,mk-1),经过gap层输出特征向量,最后进入分类层,该过程形式化为:(未经过softmax函数,l表示通道号),其中类别c对应的得分yc计算方式如下:其中,ml表示通道ml平均池化后的值,其计算方式如下:其中,表示与ml相连接另一端与分类层第c类神经元相连接的权重,ml,i_j表示l通道内位置(i,j)处的像素值。由公式(2)、(3)可知,得分yc与特征图各像素值以及分类层权重有关。此时,分类层权重即为cam方法所使用的类别激活权重。另一方面,按照grad-cam方法的思路计算其类别激活权重,对得分yc反向传播到特征图空间,可获取其关于每个像素的梯度:其中,表示l通道(通道ml)内位置(i,j)处的梯度值,则l通道的梯度平均值为:注意,这些梯度均表示关于特定类别c的梯度。此时,各通道平均梯度值即为grad-cam方法所使用的类别激活权重。由公式(4)、(5),并结合公式(2)、(3),经计算可得这2种类别激活权重wc和间的关系:由公式(6)可知,在含有gap层的cnn结构中,2种不同的类别激活权重之间存在线性对应关系。直观地看,如图5所示流程,从多通道特征图映射为cnn输出各类别得分的过程中,中间仅包含gap操作,未使用非线性激活函数,且gap属于线性计算过程,因而可得出该线性关系。图1中(g)和(i)、图1中(h)和(j)对应的类别激活图可视化效果相近,也验证了该线性对应关系。b.不含gap层的cnn类别激活权重gap层的全局平均池化操作是一种特殊的池化方式,池化窗口为整张特征图大小。对于常见的池化方式如averagepooling和maxpooling,为了降低尺寸的同时保留更多特征图信息,池化窗口尺寸选择一般较小(如2x2或3x3),且maxpooling操作是一种非线性算子,因此在对最高层特征图进行普通池化层的cnn中,2种类别激活权重之间关系更加复杂,需对不同情形分别加以分析。以3通道4x4大小特征图为例,如图6所示,分别采用gap池化和其它3种普通池化方式,分析此时2种类别激活权重之间的关系。如图6所示,对于输入图像,经过cnn前半部分卷积和下采样,得到3x4x4大小特征图,分别经过4种不同池化(padding默认为0),再将池化后特征图展开,映射到二分类的分类层,输出得分y0和y1(未经过softmax函数)。其中,池化方式分为以下4种:1、gap,池化窗口大小为整个特征图大小。由公式(6),2种类别激活权重之间的关系为:此时,2种类别激活权重之间存在线性关系,系数大小为特征图尺寸的倒数。2、averagepooling,池化窗口大小为(2,2),步长设为2。此时,类别1的得分y1为:其中,根据averagepooling池化过程,可计算m0~m3的值:同理可计算m4~m11,由上式并结合(7)式可知,得分y1由分类层权重w1和特征图像素值加权得到。因此,反向传播中,特征图像素值的梯度仍与分类层权重相关,按照各通道平均梯度的计算公式(4)和(5),可计算此时关于类别1的各通道平均梯度值:此时,类别激活权重是wc元素的线性组合,求和元素的个数与池化结果所得特征图中各通道元素个数相同,线性组合系数大小仍为特征图尺寸的倒数。3、maxpooling,池化窗口大小为(2,2),步长设为2:得到结论同2。4、averagepooling,池化窗口大小为(2,2),步长设为1,此时,特征图池化步长重叠的位置产生梯度叠加,经过对通道内所有像素的梯度值相加再求平均,可得到如下关系:此时,类别激活权重仍是wc元素的线性组合,求和元素的个数及线性组合系数仍与情形2相同。由上述结果可知,在普通池化方式下,cam和grad-cam所使用的2种类别激活权重之间仍存在线性关系。其中,类别激活权重始终是wc元素的线性组合,求和元素个数等于池化结果中各通道元素个数,即池化结果所得特征图尺寸。即使在gap池化下,池化所得特征图大小为1,此时结论仍然成立。因此,cnn的2种类别激活权重wc和始终具有一致性,依据该一致性可对2种类别激活权重结合使用,对类别激活图生成过程进行细微调整以提升可视化质量。类别激活权重的作用相当于通道注意力权重,在合成类别激活图时,实现对特征图的通道级注意力调整。出于对类别激活权重一致性的考虑,并且其带有与cnn分类结果相关联的特征,本发明提出一种基于注意力的cnn类别激活图生成方法,采用通道级的类别激活权重作为通道注意力权重,采用特征空间每个像素点的梯度值作为空间像素级注意力权重,通过空间与通道注意力结合的方式,使特征图中与当前分类类别关联性高的位置和通道得到进一步加强,关联性的位置和通道得到进一步抑制,这样合成的类别激活图将更加突出对分类结果有重要贡献的特征,而相关度较低的特征被更好地抑制。将本发明提出的基于注意力的cnn类别激活图生成方法记作att-cam,其具体过程如图7所示,包括:步骤1:计算特征图m=(m0,m1,...,mk-1)每个像素点的梯度值作为神经元类别相关的空间注意力权重;步骤2:获取各类别神经元对应的连接权重作为通道注意力权重;步骤3:根据空间注意力权重及通道注意力权重生成cnn类别激活图。具体地,在所述步骤1之前还包括:在含有gap层或不含有gap层的cnn中,对输入特征图m=(m0,m1,...,mk-1)进行特征提取与分类层神经元分类;计算第一类别激活权重及第二类别激活权重的关系,将第一类别激活权重作为通道注意力权重,将第二类别激活权重作为空间注意力权重;所述第一类别激活权重为各类别神经元的连接权重,所述第二类别激活权重为关于神经元类别c的梯度值;第一类别激活权重及第二类别激活权重的关系如下:其中,为一端与ml相连接且另一端与分类层第c类神经元相连接的权重,ml表示通道ml平均池化后的值,表示l通道内位置(i,j)处的梯度值,l表示通道号,k表示通道数目。具体地,所述步骤1包括:对cnn输出的分值反向传播,计算特征图中每个像素点关于得分的梯度作为类别相关的空间注意力权重,得到空间注意力权重矩阵:cnn高层特征图编码中,与目标相关的语义信息丰富且空间位置相对集中,各通道内不同位置所含像素信息差别较大。由于各通道内特征分布并不均匀,单独使用通道注意力并不能很好地利用像素的空间分布特征,因此,本文采用空间注意力机制对各通道不同位置实现不同加权,可利用这种空间分布特征。通过对cnn输出分值反向传播,计算特征图中每个像素点关于得分的梯度,可得到类别相关的空间注意力权重矩阵,即像素级梯度矩阵gc:其中,表示梯度矩阵的l通道每个元素值对应像素点的梯度值,h和w分别表示高和宽。该梯度矩阵既含有各空间位置的重要性特征,也含有与分类类别相关的特征,可在生成类别激活图时实现像素级注意力加权。具体地,所述步骤2包括:获取分类层各类别神经元的连接权重作为各类别神经元对应的通道注意力权重,得到通道注意力权重矩阵:cam和grad-cam方法采用的通道注意力机制将特征图各通道视为一个整体,认为各个通道对应不同特征,对当前分类结果中各类别的贡献不同,因而在生成类别激活图时,通道之间应赋予不同大小注意力权重。在含有gap层的cnn中,通过获取分类层各类别神经元的连接权重,可得到各类别对应的通道注意力权重,如下:具体地,所述步骤3包括:此时,由空间-通道注意力权重调节的类别激活图生成方式如下:由公式(6)可知,在含有gap层的cnn中,2种类别激活权重wc和存在线性对应关系。结合公式(5)(6),可对公式(10)进一步化简:上式中,空间与通道注意力权重均由梯度构成,与(10)式相比,仅由梯度即可实现像素级与通道级注意力加权。池化方式采用avgpool/maxpool(2,2)/2时,由公式(5)、(8)可得第1个通道的通道注意力权重如下:其中,s表示池化后特征图中元素总数,其它通道类似。此时,忽略系数的影响,通道注意力权重仍可用像素级梯度求和代替:因此,在该池化方式下,类别激活图生成方法仍为公式(11)。同理,池化方式采用avgpool(2,2)/1时,由公式(5)、(9),可推导出公式(11)所示形式。综上,本发明att-cam方法如公式(11)所示,该式在现有的通道注意力基础上,添加空间注意力提升类别激活图质量,并将不同池化方式下的通道注意力权重与空间注意力权重的表示统一起来,无需再依赖分类层权重对通道加权,简化了类别激活图生成过程。值得注意的是,文献(m.t.ribeiro,s.singh,andc.guestrin.whyshoulditrustyou?:explainingthepredictionsofanyclassifier.inacmsigkddinternationalconferenceonknowledgediscoveryanddatamining,pages1135–1144,2016.)、(sanghyunwoo,jongchanpark,joon-younglee,andinsokweon.cbam:convolutionalblockattentionmodule.ineccv,2018.)和(chen,l.,zhang,h.,xiao,j.,nie,l.,shao,j.,liu,w.,chua,t.s.:sca-cnn-spatialandchannelwiseattentioninconvolutionalnetworksforimagecaptioning.cvpr(2017)6298–6306.)在cnn结构中加入空间-通道注意力机制,注意力权重跟随网络参数一起调整更新,用于提升cnn分类准确率。与之不同,本发明所提方法att-cam仅实现基于类别激活图的cnn可视化解释,通过对特征图使用空间-通道注意力加权,提升类别激活图生成质量。因此,本发明所用注意力权重采用网络的梯度构成,可离线获取而不跟随网络一起训练。为验证本发明效果,进行如下实验:实验使用的预训练模型采用torchvision自带的预训练cnn网络,分别为squeezenet、resnet-18、resnet-50和densenet-161,这些网络预先在imagenet数据集上训练至最佳性能。理论上讲,分类准确率越高的模型,特征提取及表示能力越强,重要特征定位能力就越好,生成的类别激活图可视化效果也越好。实验使用的预训练网络在imagenet数据集上的分类性能如表1所示。表1、4种网络在imagenet数据集上的错误率及最高层特征图尺寸实验在ubuntu18.04系统下,anaconda4.4.10集成环境中,使用深度学习框架pytorch实现,其中torchvision自带大量在imagenet上的预训练网络。由于可视化实验是对预训练的cnn分类结果进行解释,因此不涉及网络训练及参数调优。1、类别激活权重可视化实验类别激活权重对生成热力图的解释效果至关重要,实验对resnet-18和densenet-161的类别激活权重进行可视化及比较。按照前文所述,类别激活权重分为2种:(1)cam方法中,采用分类层某个类别对应的神经元与前一层的连接权重,作为特征图各通道的权重;(2)grad-cam方法中,采用各通道特征图关于某个类别输出得分的梯度平均值,作为特征图各通道的权重。(1)关于同一输出类别的不同类别激活权重比较实验对于残差网络resnet-18和densenet-161,输入图像为图1中(a),尺寸大小为224x224x3。以resnet-18为例,对resnet-18类别激活权重进行可视化,由于高层特征图通道数较多,为了便于清晰展示,从其conv5_x层输出的512个通道中,随机选取50个通道对应的权重进行可视化,如图8中(a)和(b)所示。由于反向传播的梯度在数值上非常小,与前向分类层的权重数值上相差较大,因此为方便比较其关系,绘图时对averagegradient数值上扩大100倍,这样并不会影响二者在数值上的关系比较。图8所示的类别激活权重有以下2种:softmaxweight:表示softmax分类层某个神经元(类别)的连接权重,即第1种类别激活权重;averagegradient:表示特征图关于某个类别的梯度均值,即第2种类别激活权重。图8中(a)和(b)分别表示resnet-18输出类别“dog和“cat”时,所对应的2种类别激活权重。其中,横轴表示特征图的各个通道(随机选取),纵轴表示该通道对应的2种类别激活权重值大小。可以看出,这2种类别激活权重存在明显的对应关系,数值大小总是呈现相同的波动,表明二者之间存在数值上的线性对应关系。与之类似,图8中(c)和(d)分别表示densenet-161输出类别为“dog”和“cat”时对应的类别激活权重,可以看到相似的线性关系。(2)关于不同输出类别的同一类别激活权重比较实验考虑对于同一种类别激活权重,关于不同输出类别的各通道权重值大小,如图9所示。图9中(a)表示对resnet-18的类别激活权重softmaxweight的可视化,其输出top3类别为boxer=0.426,bullmastiff=0.265,tigercat=0.175,其中softmaxweight1~3分别与之对应。同理,图9中(b)表示对类别激活权重averagegradient的可视化。可以看出,对于同一类别激活权重,在同一通道上,不同输出类别对应的权重值差异巨大,表示该通道对各输出类别的贡献大小互不相同。因此,由于权重值的差异化,其与特征图的加权叠加才能够出现不同的类别激活区域效果。同时,对图9(a)和(b)中各类别对应的权重曲线进行横向比较,进一步验证了上一小节的结论。2、类别激活图可视化与比较实验通过3组实验,对本发明提出的att-cam方法的可视化效果进行验证,以及与其它几种可视化方法的效果对比。(1)att-cam与cam、grad-cam可视化效果比较在同一输入图像上,对4种cnn网络:squeezenet、resnet-18、resnet-50和densenet-161,分别采用3种可视化方法:cam、grad-cam、att-cam(本文方法)进行效果比较,如图10所示。这里应用的4种cnn结构中,都带有gap层进行全局平均池化,因此根据类别激活权重分析,可在其上同时使用cam和grad-cam可视化,这样可保证预训练网络结构及参数的一致性。从图10所示可视化结果,可以看到:a.从横向看,在同一cnn结构下,采用cam、grad-cam和att-cam这3种可视化方法,可看到本发明提出的att-cam方法的可视化效果更好。由于att-cam所使用的注意力权重同时包含了2种类别激活权重,因此对区分性特征区域定位效果更好;b.从纵向看,对于同一种可视化方法,对比在不同网络下的可视化效果。从表1可以看出,这4种网络的分类错误率高低依次为:squeezenet>resnet-18>resnet-50>densenet-161,即分类准确率顺序相反。因此,从可视化效果对比发现,分类网络自身的准确率越高,生成的热力图定位效果越好。直观地理解,cnn自身性能越好,其中间层特征图对目标物体的特征关注越集中,学习到的特征越全面,因此采用特征图加权的方式生成的热力图解释效果也更好。(2)att-cam关于不同输出类别的可视化att-cam方法使用的注意力权重来自两种类别激活权重,这些类别激活权重与网络输出类别直接相关,因此,att-cam方法可对特定类别特征进行可视化,对和输出类别相关的感兴趣区域进行定位。如图11所示,表示对densenet-161各个输出类别进行可视化解释。对于图11中原图(a),densenet-161top5分类结果分别为:flowerpot=0.270,littleblueheron=0.148,hummingbird=0.069,walkingstick=0.062,bulbul=0.051;对于图11中原图(b),densenet-161top5分类结果分别为:schooner=0.821,pirateship=0.051,yawl=0.021,wreck=0.013,dock=0.009;对于图11中原图(c),densenet-161top5分类结果分别为:studiocouch=0.860,bookcase=0.118,library=0.010,rockingchair=0.003,tablelamp=0.002;在每个类别对应的类别激活图中,与该分类结果最相关的图像区域被高亮,表示该区域最能支撑当前分类结果。由图11所示的可视化结果,并结合类别激活权重分析可以得知,可视化效果与输出类别非常相关,不同类别对应的类别激活权重显著不同,因而生成的类别激活图可实现对特定输出类别的解释。但可视化效果与该类别对应的得分无关,即图像属于该类别的可能性大小并不会影响其可视化效果。(3)att-cam关于同一类别图像的可视化选取同一类别的多张图像,可视化其中的区分性特征,测试att-cam从不同图像中定位同类目标的能力,如图12所示,表示对属于4个类别“spider”、“hourglass”、“chimpanzee”和“butterfly”的不同图像进行区分性特征定位结果。图12可视化结果表明,对于同一类别的图像,在分类结果相同的情形下,att-cam方法能够有效地定位与该图像中目标相关的区域。同时,对于有些图像中像素非常相近的目标,该方法也可从中寻找到合理的区域以解释当前分类结果,表明att-cam可视化方法具有较好的鲁棒性。本发明在详细分析特征图可视化、cam和grad-cam方法的基础上,通过对不同池化情形下的类别激活权重进行研究分析,发现不同的类别激活权重之间存在一致的线性对应关系,据此提出了涉及一种基于注意力的cnn类别激活图生成方法att-cam,该方法将不同的类别激活权重结合作为注意力权重,可在同时关注特征图通道特征和空间分布特征的情况下,提升类别激活图生成质量。实验结果表明,与现有的方法相比,本文方法能够有效提升类别激活图的可视化效果。以上所示仅是本发明的优选实施方式,应当指出,对于本
技术领域:
:的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。当前第1页1 2 3 当前第1页1 2 3 
注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾  第2张

注意力分散的时候更容易激活,怎么将注意力集中到眉心?还有这样就能激活松果体,开启第三只眼了吗?

可以的,但是不建议你守眉心,我刚开始练静功什么都不懂,网上找的守眉心功法,练了半年后发现练偏了真气上头。。。我就停练了十天,十天后我又打坐收功时无意中发现很多像蚯蚓一样的细线往下丹田跑,(我是用朦胧眼去看)从那以后就慢慢出现底片一样的骨骼,经络,气流,内脏,呈现方式是立体的,还会动(但是内脏看得很模糊)。天冷后因为衣服穿多了我就透不穿了,我也没练了,停了几个月,前几天我突然想坐一会,我坐了近一个小时我朦胧眼向下看,直接就化开两件衣服看到我的食道,食道里的管子,还有一根细细的不知道什么东西,会动的。几个月的时间没练不但没有消失还在增长,我觉得应该是一旦激活它就不会消失而是会成长。

这问题真反人类,完全不懂

注意力分散的时候更容易激活,注意力机制下的激活函数,自适应参数化ReLU

本文在综述传统激活函数和注意力机制的基础上,解读了一种注意力机制下的激活函数,即自适应参数化修正线性单元(Adaptively Parametric Rectifier Linear Unit,APReLU),希望对大家有所帮助。
1. 激活函数
激活函数是现代人工神经网络的重要组成部分,其作用是实现人工神经网络的非线性化。我们首先来介绍几种最常见的激活函数,即Sigmoid激活函数、Tanh激活函数和ReLU激活函数,分别如下图所示。
Sigmoid激活函数和Tanh激活函数的梯度取值范围分别是(0,1)和(-1,1)。当层数较多时,人工神经网络可能会遭遇梯度消失的问题。ReLU激活函数的梯度要么是零,要么是一,能够很好地避免梯度消失和梯度爆炸的问题,因此在近年来得到了广泛的应用。
然而,ReLU激活函数依然存在一点瑕疵。如果在人工神经网络的训练过程中,遇到了特征全部小于零的情况,那么ReLU激活函数的输出就全部为零。这个时候就训练失败了。为了避免这种情况,有些学者就提出了leaky ReLU激活函数,不将小于零的特征置为零,而是将小于零的特征乘以一个很小的系数,例如0.1和0.01。
在leaky ReLU中,这个系数的取值是人工设置的。但是人工设置的系数未必是最佳的,因此何恺明等人提出了Parametric ReLU激活函数(参数化ReLU激活函数,PReLU激活函数),将这个系数设置为一个可以训练得到的参数,在人工神经网络的训练过程中和其他参数一起采用梯度下降法进行训练。然而,PReLU激活函数有一个特点:一旦训练过程完成,则PReLU激活函数中的这个系数就变成了固定的值。换言之,对于所有的测试样本,PReLU激活函数中这个系数的取值是相同的。
到这里我们就大概介绍了几种常用的激活函数。这些激活函数有什么问题呢?我们可以思考一下,如果一个人工神经网络采用上述的某种激活函数,抑或是上述多种激活函数的组合,那么这个人工神经网络在训练完成之后,在被应用于测试样本时,对全部测试样本所采用的非线性变换是相同的。也就是说,所有的测试样本,都会经历相同的非线性变换。这其实是一种比较呆板的方式。
如下图所示,我们如果以左边的散点图表示原始特征空间,以右边的散点图表示人工神经网络所学习得到的高层特征空间,以散点图中的小圆点和小方块代表两种不同类别的样本,以F、G和H表示非线性函数。那么这些样本是通过相同的非线性函数实现原始特征空间到高层特征空间的变换的。也就是说,图片中的“=”意味着,对于这些样本,它们所经历的非线性变换是完全相同的。
那么,我们能不能根据每个样本的特点,单独为每个样本设置激活函数的参数、使每个样本经历不同的非线性变换呢?本文后续所要介绍的APReLU激活函数,就做到了这一点。
2. 注意力机制
本文所要介绍的APReLU激活函数借鉴了经典的Squeeze-and-Excitation Network(SENet),而SENet是一种非常经典的、注意力机制下的深度学习方法。SENet的基本原理如下图所示:
这里介绍一下SENet所蕴含的思想。对于许多样本而言,其特征图中的各个特征通道的重要程度很可能是不同的。例如,样本A的特征通道1非常重要,特征通道2不重要;样本B的特征通道1不重要,特征通道2很重要;那么在这个时候,对于样本A,我们就应该把注意力集中在特征通道1(即赋予特征通道1更高的权重);反过来,对于样本B,我们应该把注意力集中在特征通道2(即赋予特征通道2更高的权重)。
为了实现这个目的,SENet通过一个小型的全连接网络,学习得到了一组权重系数,对原先特征图的各个通道进行加权。通过这种方式,每个样本(包括训练样本和测试样本)都有着自己独特的一组权重,用于自身各个特征通道的加权。这其实是一种注意力机制,即注意到重要的特征通道,进而赋予其较高的权重。
3. 自适应参数化修正线性单元(APReLU)激活函数
APReLU激活函数,在本质上,就是SENet和PReLU激活函数的集成。在SENet中,小型全连接网络所学习得到的权重,是用于各个特征通道的加权。APReLU激活函数也通过一个小型的全连接网络获得了权重,进而将这组权重作为PReLU激活函数里的系数,即负数部分的权重。APReLU激活函数的基本原理如下图所示。
我们可以看到,在APReLU激活函数中,其非线性变换的函数形式是和PReLU激活函数一模一样的。唯一的差别在于,APReLU激活函数里对负数特征的权重系数,是通过一个小型全连接网络学习得到的。当人工神经网络采用APReLU激活函数时,每个样本都可以有自己独特的权重系数,即独特的非线性变换(如下图所示)。同时,APReLU激活函数的输入特征图和输出特征图有着相同的尺寸,这意味着APReLU可以被轻易地嵌入到现有的深度学习算法之中。
综上所述,APReLU激活函数使每个样本都可以有自己独特的一组非线性变换,提供了一种更灵活的非线性变换方式,具有提高模式识别准确率的潜力。

参考文献:
[1] He K, Zhang X, Ren S, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]//Proceedings of the IEEE international conference on computer vision. 2015: 1026-1034.
[2] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141.
[3] Zhao M, Zhong S, Fu X, et al. Deep residual networks with adaptively parametric rectifier linear units for fault diagnosis[J]. IEEE Transactions on Industrial Electronics, 2020, DOI: 10.1109/TIE.2020..

注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾  第3张

注意力分散的时候更容易激活,激活大脑额叶区,保持神经递质高水平,培养孩子“超强专注力”

有家长私信抱怨说,她家5岁的儿子平时做什么都挺聪明的,但是就是有一个很不好的习惯,做什么都静不下心来,不专心,就连玩玩具车的时候,都要去喝杯水,一会儿看看绘本,一会儿玩玩彩笔……
平时拼个小汽车,明明十几分钟就能做好,就是因为做事不专心,结果拖一个多小时。“现在做事情这么不专心,以后上学可怎么办?”
孩子学习竞争压力大,专注力问题在如今已经变成了一种常态,对于很多父母来说,则是摆在他们面前的很大的一个困扰。
解决注意力分散问题已经成了头等大事。
美国心理学家埃里克·埃里克森科为了搞清楚如何才能提高注意力,提出了一个更为客观的注意力测量方法,叫做埃里克森侧抑制任务。
为了能够衡量专注力的大小,为此制作了一份测试表。
测试表中全部都是一个个随机的5个箭头指向,比如(<><>>)。测试任务要求受试者尽可能快地指出中间箭头的指向,通过所用时长与正确率来衡量一个人的选择性注意能力。
同时,在测试过程中,科学家为受试者的大脑进行了MRI检查,观察受试者顶叶与额叶区域(这部分对我们保持专注至关重要)的活跃程度。
在受试者参与埃里克森侧抑制任务的同时,他们也接受了体能测试。
结果表明,身体更健康的受试者在埃里克森侧抑制任务中的表现更好,他们的所用时长更短,正确率更高,额叶区域更活跃。
为了搞清楚其中的因果关系,将受试者分为两组,进行长达的六个月的对照研究。
一组为步行组,另一组为伸展组。两组的运动频率和时间相同,区别只有一个:伸展组运动量较少,心率不会在此过程中加快。
结果显示:步行组受试者的测试结果显示,保持长期运动能帮助注意力提升,他们所用的时间更短,正确率更高,且负责选择性注意力的顶叶和额叶区发生了变化。
神经学家研究发现,影响注意力的因素有两个:与多巴胺息息相关的大脑奖励系统和常用来做决定的大脑额叶。
大脑奖励系统,它是推动我们进行某种行为的发动机。它的构成主要由扮演脑细胞信息传递信使的神经递质-多巴胺、奖励中心的接收器-受体和可以感受到快乐感的脑细胞群-伏隔核。
多巴胺:
是种正向的情绪物质,人要兴奋,大脑中一定要有多巴胺,我们的快乐中心伏隔核里面都是多巴胺的受体。
受体:
当多巴胺与受体结合时,会在脑细胞群中引发反应,让你感到愉悦。
伏隔核:
能够让我们产生一种快乐、积极的感觉,让我们想重复这些行为。
大脑额叶:
控制我们集中注意力的主要区域,是大脑的高级控制系统。我们的大脑深处会产生很多波动,额叶会抑制这种波动,像过滤器一样消除噪音,使我们能够集中注意力。
运动后,多巴胺水平会立即提升,并且当训练结束后,多巴胺水平在几分钟内依然会上升,然后维持几个小时的高水平。很多人在运动后觉得思维变得更加敏锐、冷静与专注,就是这个原因。
运动后大脑奖励系统会做出调整,并且对于经常锻炼的人而言,额叶可以产生新的血管,这样可以更好的供血和清除代谢废物。而额叶的功能区域越强大,我们消除噪音,集中注意力的能力就越强大。
04
孩子在日常生活中,表现出做事不专心,容易走神的情况时,家长就要引起重视,可以带孩子适当做一些户外体育运动,帮助增强孩子大脑多巴胺保持高水平的状态,促进大脑额叶区的发育。
除此之外,我们能通过以下几种方法,帮助孩子避免注意力被分散。
详细每日任务
如果孩子学习没有任务规划,孩子学习没有阶段目标,很容易因学习用品准备不全,或没有良好时间概念,而转移注意力,降低学习效率。
家长可以和孩子共同商讨制定详细的每日任务,共同制定学习规则,但要注意劳逸结合,让多巴胺水平保持稳定,让孩子以良好学习状态,去做下一项任务。
创造低噪音的学习环境
孩子在集中注意力学习时,我们要尽量给孩子创造一个安静的环境,减少其他无关噪音的产生,减少孩子因为其他声音或动静转移注意力的机会。
给孩子创造好的外部环境,可以降低周边环境对孩子大脑额叶的刺激,抑制耐力活动,更好的集中注意力投入到学习中去。
科学训练
利用脑电生物反馈技术训练孩子专注力。
通过科学仪器检测孩子脑波运动数据,帮助孩子提升学习专注力,养成高效用脑习惯。
这样孩子在学习或做事的时候,主动性和积极性会更高,能够自然集中注意力,养成良好的学习习惯,摆脱家长的提醒和催促。
举报/反馈注意力分散的时候更容易激活,什么样的注意力,才能真正激活乡村? | 首届乡村注意力经济发展论坛回顾  第4张

注意力分散的时候更容易激活,自注意力机制-------通道注意力-----------压缩激活模块

本文首先说明自注意力可以作为图像识别模型的基本组成部分。 然后旨在探索自注意的变体并评估其对图像识别的有效性。 重点考虑两种形式的自注意力:一个是pairwise自注意力,它主要对标准点积的注意力进行改进,从根本上讲是一个集合运算符;另一个是patchwise自注意力,它比卷积网络的性能更好。本文提出的pairwise自注意力网络匹配或优于它们相应的卷积网络,而patchwise模型则明显优于卷积基线。 同时作者进行一些实验以探讨子注意力对表示学习的鲁棒性,得出结论:自注意力网络在鲁棒性和泛化性方面可能有.

您可能感兴趣的文章

本文地址:https://www.wskee.cn/19564.html
文章标签:
版权声明:本文为原创文章,版权归 专注力训练与注意力训练网 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!