人工智能漫談演講April

人工智能漫談譚營(yíng)北京大學(xué)計(jì)算智能實(shí)驗(yàn)室（CIL@PKU）北京大學(xué)智能科學(xué)系漫談要點(diǎn)???????人工智能的起源人工智能的發(fā)展歷程計(jì)算智能的研究幾個(gè)人工智能發(fā)展中的重大成就當(dāng)前人工智能的熱點(diǎn)對(duì)人工智能發(fā)展的幾點(diǎn)思考結(jié)語(yǔ)人工智能的起源?

思想萌芽可以追溯到十七世紀(jì)的巴斯卡和萊布尼茨，萌生了有智能的機(jī)器的想法。?

十九世紀(jì)，布爾和摩爾根提出了“思維定律”，這是人工智能的開(kāi)端；英國(guó)科學(xué)

家巴貝奇設(shè)計(jì)了第一架“計(jì)算機(jī)器”，被認(rèn)為是計(jì)算機(jī)硬件，也是AI硬件的前身。?

1943年M-P

Model提出，Heb學(xué)習(xí)率發(fā)現(xiàn),

Perceptron的提出，神經(jīng)網(wǎng)絡(luò)訓(xùn)練,

…?

1956年Dartmouth會(huì)議，由J.McCarthy及一批多學(xué)科的科學(xué)家在Dartmouth大學(xué)召開(kāi)的會(huì)議上，首次提出“Artificial

Intelligence”概念。?

今年是AI誕生60周年（1個(gè)甲子）！計(jì)算機(jī)能具有智能嗎？

?

阿蘭·圖靈認(rèn)為機(jī)器可以模擬人腦思維過(guò)程；一個(gè)良好設(shè)計(jì)的計(jì)算

機(jī)能夠做到人腦所能做的一切?！坝?jì)算機(jī)科學(xué)之父”、“人工智能之父”

——阿蘭·麥席森·圖靈The

Turing

Test圖靈獎(jiǎng)什么是人工智能？

?

讓機(jī)器做需要人類智能才可以做的那些事情。

?

讓機(jī)器做人類需要它做的任何事情。?

認(rèn)識(shí)、模擬和擴(kuò)展人的（自然）智能，為人類社會(huì)服務(wù)。2016/4/12

Tuesday6人工智能的發(fā)展歷程：

人工智能的三個(gè)學(xué)派?

符號(hào)主義學(xué)派

–

始于20世紀(jì)50年代–––以知識(shí)為基礎(chǔ)，通過(guò)推理來(lái)進(jìn)行問(wèn)題求解功能模擬的方法代表人物：Simon,

Minsky和Newell.

McCarthy,

Nillsson.?

聯(lián)接主義學(xué)派––––始于1943年的M-P模型（McCulloch,

Pitts）1982年Hopfiled提出的用硬件模擬神經(jīng)網(wǎng)絡(luò),

BP算法結(jié)構(gòu)-功能模擬的方法代表人物：

McCulloch,

Pitts,

Hopfield,

Rumelhart等。?

行為主義學(xué)派–––––進(jìn)化主義或控制論學(xué)派始于20世紀(jì)60-70年代智能行為的“感知-動(dòng)作”模式行為模擬的方法代表人物：

R.A.

Brooks螺旋式上升發(fā)展路線人工智能的研究?jī)?nèi)容方法層面：?

啟發(fā)式搜索?

推理方法?

知識(shí)表示?

AI語(yǔ)言(Lisp，Prolog,

…)?

模式識(shí)別?

機(jī)器學(xué)習(xí)?

生物激發(fā)方法（計(jì)算智能）……應(yīng)用層面：?

自然語(yǔ)言理解、數(shù)據(jù)庫(kù)的智能檢索、專家系統(tǒng)、機(jī)器定理證明、博弈、機(jī)

器人學(xué)、自動(dòng)程序設(shè)計(jì)、組合調(diào)度（智能優(yōu)化）、感知、語(yǔ)音、視覺(jué)、生

物特征識(shí)別、虛擬現(xiàn)實(shí)、復(fù)雜系統(tǒng)、大數(shù)據(jù)，等。計(jì)算智能的研究-Computational

Intelligence?????人工神經(jīng)網(wǎng)絡(luò)---例如：多層神經(jīng)網(wǎng)絡(luò)（MLP）及其Back

Propagation

(BP)

Alg.模糊邏輯與推理進(jìn)化計(jì)算---例如：Genetic

Alg.群體智能---例如：PSO,

Fireworks

Alg.等等計(jì)算智能（CI）涉及神經(jīng)計(jì)算、模糊計(jì)算、進(jìn)化計(jì)算和人工生命等領(lǐng)域，它的研究和發(fā)展正反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢(shì)，是人工智能的最新發(fā)展。傳統(tǒng)人工智能VS計(jì)算智能?

傳統(tǒng)人工智能

–符號(hào)人工智能

–始于20世紀(jì)50年代

–以符號(hào)形式的知識(shí)和信息為基礎(chǔ)，通

過(guò)邏輯推理，運(yùn)用知識(shí)進(jìn)行問(wèn)題求

解

–知識(shí)獲取、知識(shí)表示、知識(shí)組織與

管理、知識(shí)運(yùn)用、基于知識(shí)的智能

系統(tǒng)?

計(jì)算智能

–

計(jì)算人工智能

–

始于20世紀(jì)80年代

–

以數(shù)值數(shù)據(jù)為基礎(chǔ)，通過(guò)數(shù)值

計(jì)算，運(yùn)用算法進(jìn)行問(wèn)題求解

–

人工神經(jīng)網(wǎng)絡(luò)、進(jìn)化計(jì)算、群體

智能、人工免疫系統(tǒng)、模糊系統(tǒng)生物神經(jīng)網(wǎng)絡(luò)vs.人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層前饋人工神經(jīng)網(wǎng)絡(luò)模型∑

x,

x∈[?5,5]f

(x)

=

20

+

e

?

20exp?

0.2∑

1

=

i

x

2

?

exp

1∑cos(2πxi)

,

x

∈[?

32,32]n

n

i=111ni2f

(x)

=

ni=12）Rosenbrock

Function

2

i+1

i=1

3）Rastrigin

Function

D

2

i

i

i=1n1

nn4）Ackley

Function

復(fù)雜優(yōu)化問(wèn)題

Standard

benchmark

functions1）Sphere

Function12更復(fù)雜優(yōu)化問(wèn)題---智能優(yōu)化搜索方法遺傳算法-Genetic

Algorithm生物進(jìn)化是一個(gè)優(yōu)化過(guò)程，目的是在不斷變化的競(jìng)爭(zhēng)環(huán)境

中提高某生物(或系統(tǒng))的生存能力。個(gè)體環(huán)境候選解待求解問(wèn)題??達(dá)爾文適者生存，優(yōu)勝劣汰

建

模自然群體FWA?

Ying

Tan,

FireworksAlgorithm,

Springer,

2015.10.?

Y.

Tan,

C.

Yu,

S.Q.

Zheng

and

K.

Ding,

"Introduction

to

Fireworks

Algorithms

,"

International

Journal

of

Swarm

Intelligence

Research

(IJSIR),

October-December

2013,

vol.

4,

No.

4,

pp.

39-71.?

譚營(yíng)(著)，《煙花算法引論》,

科學(xué)出版社,

2015.04.機(jī)器學(xué)習(xí)（Machine

Learning）

通過(guò)經(jīng)驗(yàn)提高系統(tǒng)自身性能的過(guò)程

（系統(tǒng)自我改進(jìn)）機(jī)器學(xué)習(xí)是人工智能的主要核心研究領(lǐng)域之一,

也是現(xiàn)代智能系統(tǒng)的關(guān)鍵環(huán)節(jié)和瓶頸。一個(gè)沒(méi)有學(xué)習(xí)功能的系統(tǒng)是不能被稱為智能系統(tǒng)。機(jī)器學(xué)習(xí)正逐漸從AI中獨(dú)立出來(lái),成為一種新的問(wèn)題求解工具。2016/4/12

Tuesday譚營(yíng)---機(jī)器學(xué)習(xí)研究及最新進(jìn)展18機(jī)器學(xué)習(xí)的任務(wù)

?

令W是這個(gè)給定世界的有限或無(wú)限所有對(duì)象的集合，由于觀察能力的限制，我

們只能獲得這個(gè)世界的一個(gè)有限的子集Q?W，稱為樣本集。

?

機(jī)器學(xué)習(xí)就是根據(jù)這個(gè)有限樣本集Q

，推算這個(gè)世界的模型，使得其對(duì)這個(gè)世

界為真。WQWModel建模泛化訓(xùn)練與泛化淺層學(xué)習(xí)（Shallow

Learning）?

淺層學(xué)習(xí)是機(jī)器學(xué)習(xí)的第一次浪潮?

上世紀(jì)80年代，計(jì)算智能研究中的人工神經(jīng)網(wǎng)絡(luò)熱潮，給機(jī)器學(xué)習(xí)帶來(lái)了希望，掀起了基于統(tǒng)計(jì)模型的機(jī)器學(xué)習(xí)熱潮。?

多層感知機(jī)（Multi-layer

Perceptron），支撐向量機(jī)（SVM）、

Boosting、最

大熵方法（如Logistic

Regression）等。?

人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法（BP算法）深度學(xué)習(xí)

-

Deep

Learning?

2006年，Prof.

Geoffrey

Hinton等在《科學(xué)》上發(fā)

表的文章開(kāi)啟了深度學(xué)習(xí)的新浪潮。他們的兩個(gè)主要觀點(diǎn)：?

1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能

力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫(huà)，從

而有利于可視化或分類；?

2）深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題，可以通過(guò)“逐層預(yù)

訓(xùn)練”（layer-wise

pre-training）來(lái)有效解決。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的第二次浪潮?

Deep

learning

algorithms

attempt

to

learn

multiple

levels

of

representation

of

increasing

complexity/abstraction.Deep

Architectures?

Deep

multi-layer

neural

networks

are

the

basic

architectures

of

deeplearning.When

a

function

can

be

approximated

by

adeep

architecture

with

few

computationalelements,

it

might

need

a

very

largearchitecture

to

be

approximated

by

aninsufficiently

deep

one.Breakthrough?

Greedy

layerwise

unsupervised

pre-training.–

Hinton

et

al.,

2006;

Bengio

et

al.,

2007;

Ranzato

et

al.,

2007.?

Use

the

weights

got

by

pre-training

to

initialize

the

weight

of

supervisedtraining.?

Then

run

the

general

supervised

training

process

such

as

BP

algorithm.Experimental

ComparisonWithout

pre-training,

training

converges

to

a

poorer

apparent

local

minimum.Unsupervised

pre-training

helps

to

?nd

a

better

minimum

of

the

online

error.Experiments

were

performed

by

Dumitru

Erhan.Race

on

ImageNet

(Top

5

Hit

Rate)Answer

from

Geoff

Hinton:

85%,

2012在科技界，微軟、谷歌、Facebook、百度等巨頭對(duì)于研發(fā)的狂熱追逐舉世皆知，ImageNet

大規(guī)模視覺(jué)挑戰(zhàn)也是其角力的重要戰(zhàn)場(chǎng)人臉識(shí)別程序?

CUHK的湯曉鷗教授領(lǐng)導(dǎo)的計(jì)算機(jī)視覺(jué)研究組

(.hk)

開(kāi)發(fā)了

一個(gè)名為DeepID的深度學(xué)習(xí)(DL)模型，

在LFW

(Labeled

Faces

in

the

Wild)數(shù)

據(jù)庫(kù)上獲得了99.15%的識(shí)別率，這也是有史以來(lái)首次超過(guò)99%的LFW識(shí)別率，比肉眼識(shí)別更加精準(zhǔn)。?

此前,

Facebook發(fā)布了另一套基于深度學(xué)習(xí)的人臉識(shí)別算法DeepFace，在LFW上取得了97.35%的識(shí)別率。

免疫濃度特征?

生物免疫系統(tǒng)中的抗體濃度垃圾郵件與正常郵件的濃度特征分布?

郵件樣本的抗體濃度特征

–

“自己”“異己”濃度

免疫應(yīng)答過(guò)程中抗體濃度的變化?

抗體濃度特征的表征能力

濃度特征在分類器BPNN、LD、SVM上與其他方法的對(duì)比Single-CDCS-LALWFGWFDTE-DLAccuracy?

基于危險(xiǎn)理論的集成檢測(cè)模型

–

危險(xiǎn)區(qū)域定義匹配信號(hào)與危險(xiǎn)信號(hào)的協(xié)同

免疫檢測(cè)模型?

P.

Matzinger的免疫危險(xiǎn)模型集成檢測(cè)中的匹配信號(hào)集成檢測(cè)中的危險(xiǎn)信號(hào)PU2PU3PUATREC0.89

PU1

免疫危險(xiǎn)模型?

集成檢測(cè)模型的性能表現(xiàn)

0.98

0.97

0.96

0.95

0.94

0.93

0.92

0.91

0.9集成檢測(cè)模型與其他集成方法的對(duì)比圍棋人機(jī)大戰(zhàn)：AlphaGo

v.s.

Lee

Sedol（李世石）Results:

4:1人工智能下棋程序AlphaGo獲得大勝！引起了世界范圍的廣泛關(guān)注與熱議，以及對(duì)人工智能飛速發(fā)展的鼓舞，和些許恐懼與擔(dān)憂！AlphaGoCombining?

Monte

Carlo

Search

Tree

(MCST)

+

Supervised

Learning

(SL)

+

Reinforcement

Learning

(RL)

+

Deep

Neural

Networks

(DNN).Clever

Idea:?

(Good

starting

point):

Use

SL

Policy

Network

to

learn

from

human

expertgood

experience?

(Rapidly

boosting

up):

Use

RL

Policy

Network

to

improve

by

playing

withitself?

(Efficient

strategy):

Use

RL

Value

Networks

to

compute

the

outcome

ofevery

moveAlphaGO’s

Framework31Monte

Carlo

tree

search

(MCTS)Supervised

learning

of

policy

networks

in

AlphaGO?

Definition:?

s:

state

(3^(19*19))?

a:

action

(19*19)?

SL

policy

network:–

predict

p(a|s)?

RL

policy

network–

sampling

each

move

from

its

outputprobability

distribution

over

actions.?

RL

policy

network

vs

SL

policy

network?

won

80%

of

games32

Evaluating

the

playing

strength

of

AlphaGo?

AlphaGo

vs

other

Go

programs

–

won

494

out

of

495

games

(99.8%)?

The

distributed

AlphaGo

vs

AlphaGo

–

won

77%

of

games?

The

distributed

AlphaGo

vs

othe