一文读懂AI 与神经网络发展历程

2019-06-11 16:16:41 来源:tuicool
标签:

AI神经网络

人工智能已经发展了六七十年,经历了几度繁荣和衰落。虽然已取得不错的进展,但是与理想中的人工智能差距还是很大。

 

人工智能三大学派:符号学派、连接学派、行为学派。符号学派认为,任?#25991;?#22815;将物理的某些模?#20132;?#31526;号进行操作并转化成另外一些模?#20132;?#31526;号的系统,就可能产生智能行为;连接学派认为高级的智能行为是从大量神经网络的连接中自发出现的,通过大量神经元来模拟大脑;行为学派并没有把目光聚焦到高级智能的人类身上,而是关注低级的昆虫能灵活走动并快速反应。上世纪的八九十年代形成三足鼎立的形势。

 

这几年再度让人工智能火起来的是连接学派,连接学派通过深度学习将以往很多领域的表现都大幅提高,连接方式无疑已经成为目前最闪耀的人工智能解决方案。连?#20248;?#30340;模型都是以神经网络为基础进行创新的,所以核心部分仍然是神经网络结构。

 


关于分类

人类对事物的识别其实很大程度就是对事物进行分类。就好比下面图中的各种花,我们看到桔梗时就知道它是一种花,看到曼陀罗时也认为它是一种花,看到不同的花我们?#32423;?#23427;们进行分类。类似的还有人、树、汽车等等,都属于分类概念,当看到相应事物时都会对其进行分类。

 

分类是人工智能的核心部分,神经网络则可以实现像人类这样的识别分类能力。对于机器来说,所有信息都是用离散的数字信号来表征的,神经网络的目标就是通过这些离散的信号来进行分类从而达到识别效果。

 


最简神经网络

感知器是最基础的神经网络,它可以有多个输入(x1,x2,…xn),每个输入对应有一个权重(w1,w2…wn),除此之外还有一个偏置项w0。每个输入和对应的权重相乘然后进行累加,再通过一个?#33258;?#20989;数,最简神经网络就是这么简单。这么简单的模型有什么用?#31185;?#23454;它可用于线性分类。

 


假如现在有两类事物,分别用蓝色和黄色表示。我们提取了两个判断因子x1和x2,现在准备使用简单的神经网络函数来决定某个点属于蓝色还是黄色。先计算z = a x1+b x2+c,然后再将z值通过Sigmoid激活函数,Sigmoid函数如图,其?#24403;?#21387;缩到0-1之间,0.5作为蓝黄色的分界线。

 


现在的问题是a、b、c参数该怎么确定才能正确地将蓝色和黄色分开呢?我们?#20154;?#20415;猜三个值,比如a=0.20,b=-0.3,c=0.7,则此时的分类效果如下。

 


继续猜a=-0.20,b=-0.7,c=-0.5,这会?#20284;?#22909;,效果看起来挺不错的,都正确分类了。可以肯定的是我们可以无限地猜测下去,而?#19968;嵴业?#26356;加完美的分割线。但是哪条分割线是最好的,而且我们应该如何来寻找这些分割线呢?目前为止我们采取的是猜的策略,也许一猜就中,也许永远都猜不中。

 


更强大的神经网络

简单的感知机属于线性模型,而通过嵌套多个神经网络层和增加神经元就可以解决很多复杂的问题。

 

整个神经网络模型包含了三要素?#21512;?#24615;变换、非线性变换和线性决策。线性与非线性变换?#23548;?#19978;就是坐标变换,将信息聚合到其他空间中。从线性到非线性属于特征变换,将某种特征转成另外一种特征。而多层神经网络就是做表征学习。

 

从数学上看,神经网络的嵌套就是多个函数嵌套,通过复杂的函数嵌套关系来描述特征关系。

 


同样是对两类事物进行分类,但这次的任务比较复杂,可以看?#20132;?#33394;和蓝色并不能通过简单的函数进行分割,这时最简单的神经网络已经无能为力了,此时就需要嵌套多个神经网络层并?#20197;?#21152;神经元来解决了。

 


现在我们先对原来中间的网络层增加两个神经元,并再增加一层网络,一共拥有两个隐含层。

 


最终这种多层的神经网络确实能够完成对这种比较复杂的两类事物的分类。

 


训练神经网络

我们不可能靠猜测靠?#20284;?#21507;?#26775;?#31070;经网络的参数也一样,还是要踏踏实实地按照科学的方针来训练神经网络。?#23548;?#19978;我们常常用误差逆传播算法来训练神经网络,它使用的是梯度下降法,通过反向传播不?#31995;?#25972;神经网络中各个权重从而使输出层的误差平方和最小。

 

神经网络的输出层我们会获取到了一个最终的输出,而这个输出与目标值可能存在误差,可以使用误差平方和作为评判标准,这样我们就可以判断我们?#19994;?#30340;函数的好坏。

 


而且,误差是会反向传播的,每个神经元都会有对应的误差。具体处理时通过梯度下降法便可以更新每一个神经元的权重,这样就能解决了神经网络中连接的参数值了,即能确认所有函数的参数。

 


大概流程为:

计算从输入到输出的前馈信号。

根据预测值和目标值计算输出误差E。

通过前一层中的权重和相关激活函数的梯度对它们进行加权反向传播误差信号。

基于反向传播误差信号和输入的前馈信号计算参数的梯度

 

使用计算好的梯度来更新参数,公式为

 

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
5位大咖+12位battle长,这场AI芯片创新者大会开启产业交流新玩法

创新是科技发展的永恒关键词,但很多人依然会困惑什么是创新,AI时代的到来,数据、算法、芯片、应用,围绕AI的一切似乎都可以属于创新。

H6 Hi-Life 上市,哈弗生态的终极进展到哪一步了?
H6 Hi-Life 上市,哈弗生态的终极进展到哪一步了?

哈弗Hi-Life智能生活云系统无疑给这辆已经常年占据销量榜的“神车”又增加了不少竞争力。

AI 与自动化的进步,女性就业会受到比?#34892;?#26356;大的冲击?

最近有很多?#33455;?#25552;到,人工智能和自动化为主的技术进步,可能让女性就业受到比?#34892;?#26356;大的冲击。

在英特尔 X86 近乎垄断的情况下,鲲鹏产业如何爆发?

目前包括东方通、用友等在内的25家企业完成了与鲲鹏?#21697;?#21153;兼容性测试的认证。

具体落地任重道远,智能切片还面临哪些挑战?

在近?#31449;?#34892;的2019年IMT-2020(5G)峰会上,IMT-2020(5G)推进组网络技术工作组副组长张晶发布了《基于AI的智能切片管理和协同》白皮书。

更多资讯
北美市场增长,诺基亚第二季度利润增长7%

?#20381;?#30005;信网络设备制造商诺基亚发布报告,称第二季度利润意外增长,主要原因是需求增加,此外,诺基亚将继续维?#21046;?019年的盈利前景。

商务部?#22909;?#19981;保护华为专利权议案是典?#36864;?#26631; 自相矛盾

在今天商务部举行的例行记者会上,针对美国近日有?#25105;?#38498;提出有关的议案,要求不允许保护华为公司的专利权的问题,新闻发言人高峰表示,中方?#28304;?#24863;到十分遗憾。

世界市场被“五朵云”统治,国内云战场如何?
世界市场被“五朵云”统治,国内云战场如何?

云是对网络、互联网一种挺?#34892;?#24847;的比喻,但令人惊奇的是,以SaaS为代表的?#21697;?#21153;技术,早在20世纪90年代末就已经出现。技术出现的很早,不过直到2006年,亚马逊推出AWS服务,才使得产业界,真正认识到?#21697;?#21153;或者说云计算服务这?#20013;翴T服务模式的诞生。

?#26412;?#26102;间7月25日早间消息,据美国媒体报道,软银准?#24863;?#24067;对其第二支愿景基金投资400亿美元,高盛和渣打银行是第二支愿景基金首批确认的投资者。

美多?#19968;?#32852;网企业反垄?#31995;?#26597;总计,拆?#21046;?#19994;是杀手锏?

美国司法部23日宣布对多家大型互联网技术企业发起反垄?#31995;?#26597;,但没有列出具体调查对象。

陕西快乐十分计划