百度深度學(xué)習(xí)進展介紹

百度深度學(xué)習(xí)進展介紹2024/3/26百度深度學(xué)習(xí)進展介紹

百度十年愿景?

Annual

income

exceeding

CNY

160

billion?

In?uential

Chinese

company

in

global

economy

??Prestigious

brand

in

>

50%

countries

worldwide?

One

of

the

world’s

largest

new

media

platform

我們相信技術(shù)的力量百度深度學(xué)習(xí)進展介紹百度希望學(xué)術(shù)界解決的9個難題2012年8月13日，百度CEO李彥宏在國際數(shù)據(jù)挖掘會議ACM

KDD上發(fā)表演講，提出9個希望學(xué)術(shù)界幫助解決的技術(shù)難題，其中前三項是：1.

自然圖片OCR2.

語音識別和理解3.

圖像搜索百度深度學(xué)習(xí)進展介紹業(yè)界現(xiàn)狀和趨勢：讀圖時代百度深度學(xué)習(xí)進展介紹業(yè)界現(xiàn)狀和趨勢：讀圖時代百度深度學(xué)習(xí)進展介紹業(yè)界現(xiàn)狀和趨勢：讀圖時代百度深度學(xué)習(xí)進展介紹業(yè)界現(xiàn)狀和趨勢：語音交互百度深度學(xué)習(xí)進展介紹業(yè)界現(xiàn)狀和趨勢：語音交互百度深度學(xué)習(xí)進展介紹Gartner

Emerging

Tech

Hype

Cycle

2012百度深度學(xué)習(xí)進展介紹Deep

Learning

Since

20069/16/1310百度深度學(xué)習(xí)進展介紹2013年十大突破性技術(shù)之首MIT

Technology

Review

雜志，

2013年4月23日百度深度學(xué)習(xí)進展介紹席卷學(xué)術(shù)屆到工業(yè)屆的浪潮

2012.6

“谷歌大腦”項目2012.11

微軟智能同聲傳譯百度深度學(xué)習(xí)進展介紹9/16/1313圖像識別領(lǐng)域的突破

72%,

2010

74%,

2011

85%,

2012

ImageNet

Challenge百度深度學(xué)習(xí)進展介紹9/16/13Word

error

oSlide

Courtesy:

Geoff

Hinton

14錯誤率降低20%-30%百度深度學(xué)習(xí)進展介紹百度投入基礎(chǔ)技術(shù)研發(fā)n

2013年初年會上，Robin宣布要成立研究院：我們會吸引這個領(lǐng)域里全球最頂尖的高手陸續(xù)加盟，為我們新一年的產(chǎn)品和業(yè)務(wù)發(fā)展提供最堅實的基礎(chǔ)！我希望百度IDL會成為像AT&T-Bell

labs，Xerox

PARC這樣的頂尖的研究機構(gòu)，為中國，為全世界的創(chuàng)新歷史再添一筆濃墨重彩！百度深度學(xué)習(xí)進展介紹機器學(xué)習(xí)技術(shù)的兩次浪潮

2010

第二次浪潮

深度學(xué)習(xí)1990

第一次浪潮

淺層學(xué)習(xí)百度深度學(xué)習(xí)進展介紹深度學(xué)習(xí)機制更接近人腦

DeepArchitecture

in

the

BrainArea

V4Area

V2Area

V1RetinaHigher

level

visualabstractionsPrimitive

shapedetectorsEdge

detectorspixels百度深度學(xué)習(xí)進展介紹深度學(xué)習(xí)和人類學(xué)習(xí)的共同點

pixels

18object

parts(combinationof

edges)

edgesobject

modelsDeep

Architecture

in

the

BrainArea

V2Area

V1RetinaArea

V4Primitive

shapedetectorsEdge

detectorspixelsHigher

level

visualabstractions百度深度學(xué)習(xí)進展介紹人工智能新范式：大數(shù)據(jù)+深度學(xué)習(xí)

語音圖像文字百度深度學(xué)習(xí)進展介紹百度在深度學(xué)習(xí)方面的進展

??

2012年夏天投入研發(fā)

??

用GPU提升計算效率，處理海量訓(xùn)練數(shù)據(jù)

??

語音識

，OCR識，人臉識，圖像搜索等巨大提升

??

到目前，超過8項技術(shù)在產(chǎn)品上線

百度深度學(xué)習(xí)進展介紹百度在深度學(xué)習(xí)方面的進展??????????語音：錯誤率相對降低20-30％OCR：錯誤率相對降低30％人臉識別：LFW測試達到世界最好結(jié)果全網(wǎng)相似圖像搜索：效果顯著超谷歌同類產(chǎn)品全流量上線廣告CTR預(yù)估,顯著提升廣告點擊率百度深度學(xué)習(xí)進展介紹Pooling百度用于圖像識別的深度模型

9/16/1322CodingCodingPoolingPooling

CodingPoolingCodingFully

connected百度深度學(xué)習(xí)進展介紹語音搜索輸入法地圖搜索語音助手百度語音技術(shù)產(chǎn)品線百度深度學(xué)習(xí)進展介紹百度移動搜索-語音搜索n

中國第一個完全自主開發(fā)的中文語音搜索產(chǎn)品n

世界最好的中文語音搜索識別率n

2012年底，語音搜索流量占移動搜索達10%/baidusearch/

百度深度學(xué)習(xí)進展介紹語音搜索識別準確率語音搜索2G網(wǎng)絡(luò)響應(yīng)時間中文語音搜索識別準確率For

mobile

search,

the

proportion

of

voice

queries

has

grown

from

1%

to

10

%

in

2012.百度深度學(xué)習(xí)進展介紹地圖語音搜索/map/

百度深度學(xué)習(xí)進展介紹移動語音輸入法n

中國互聯(lián)網(wǎng)企業(yè)唯一自主開發(fā)的語音輸入法產(chǎn)品n

識別率大大超過蘋果Sirin

獲得用戶廣泛好評/input/

百度深度學(xué)習(xí)進展介紹短信輸入微博輸入古詩輸入新聞輸入適合多種應(yīng)用的高精度語音輸入/input/

百度深度學(xué)習(xí)進展介紹百度最高獎2013百度深度學(xué)習(xí)進展介紹

政治類

文字色情類廣告類?

反作弊?

點滴搜索?

拍照文字識?

百度翻譯App自然圖片OCR技術(shù)百度深度學(xué)習(xí)進展介紹文字識|條碼二維碼|視覺搜索|人臉識?

貼吧政治人物頭像反作弊，準確99%，召回96%；?

全網(wǎng)人臉?biāo)阉饕妗鞍俣茸R圖”，索引數(shù)億人臉，瞬間返回結(jié)果。百度深度學(xué)習(xí)進展介紹百度相冊：人臉?biāo)阉?

云相冊人臉檢索，準確90%，召回50%；百度深度學(xué)習(xí)進展介紹百度魔圖

單日最高上載9000萬張圖片，

在IOS

APP排行榜總榜排名第一達3周之久百度深度學(xué)習(xí)進展介紹百度魔圖

百度深度學(xué)習(xí)進展介紹百度魔圖

百度深度學(xué)習(xí)進展介紹百度魔圖

百度深度學(xué)習(xí)進展介紹百度魔圖

百度深度學(xué)習(xí)進展介紹基于深度神經(jīng)網(wǎng)絡(luò)的視覺搜索技術(shù)百度深度學(xué)習(xí)進展介紹何為相似？百度深度學(xué)習(xí)進展介紹百度深度學(xué)習(xí)進展介紹百度技術(shù)Google搜索結(jié)果百度識圖

檢索圖片百度深度學(xué)習(xí)進展介紹百度技術(shù)Google搜索結(jié)果百度識圖

檢索圖片百度深度學(xué)習(xí)進展介紹百度技術(shù)Google搜索結(jié)果百度識圖

檢索圖片百度深度學(xué)習(xí)進展介紹百度技術(shù)Google搜索結(jié)果百度識圖

檢索圖片百度深度學(xué)習(xí)進展介紹百度技術(shù)Google搜索結(jié)果百度識圖

檢索圖片百度深度學(xué)習(xí)進展介紹拍照寫詩–百度

iOS

APP百度深度學(xué)習(xí)進展介紹拍照寫詩–百度

iOS

APP百度深度學(xué)習(xí)進展介紹拍照寫詩–百度

iOS

APP百度深度學(xué)習(xí)進展介紹拍照寫詩–百度

iOS

APP百度深度學(xué)習(xí)進展介紹拍照寫詩–百度

iOS

APP百度深度學(xué)習(xí)進展介紹拍照寫詩–百度

iOS

APP百度深度學(xué)習(xí)進展介紹拍照寫詩–百度

iOS

APP少女殺手證百度深度學(xué)習(xí)進展介紹深度學(xué)習(xí)帶來的大數(shù)據(jù)思考百度深度學(xué)習(xí)進展介紹重要的方面…大數(shù)據(jù)

+

計算能力

+

統(tǒng)計模型

+

應(yīng)用創(chuàng)新百度深度學(xué)習(xí)進展介紹Accuracy"

Large-Scale

Learning

Matters!

??

How

to

get

good

prediction

when

doing

machine

learning?Training

set

size

(millions)"Banko

&

Biill,

200155百度深度學(xué)習(xí)進展介紹百度的典型訓(xùn)練樣本規(guī)模??圖像識別:數(shù)千萬訓(xùn)練樣本????????9/16/13OCR:

數(shù)千萬訓(xùn)練樣本語音識別：

數(shù)百億訓(xùn)練樣本廣告:

千億訓(xùn)練樣本…

我們預(yù)計訓(xùn)練數(shù)據(jù)每年增長10倍

…

56百度深度學(xué)習(xí)進展介紹

Arti?cial

Intelligence??

Deep

learning

might

be

our

current

best

shot

towards

AI

??

AI

is

our

ulFmate

goal

??

What’s

inside

AI?

Knowledge

有知識

Learning

會學(xué)習(xí)

Problem

Solving

解決問題

CreaFvity

創(chuàng)新

57Slides

by

Wei

Xu百度深度學(xué)習(xí)進展介紹The

Singularity

??

Happens

when

anAI

is

created

such

that

its

engineering

capabilities

surpassed

those

of

its

creators

–?

Lead

to

intelligence

explosion

??

Some

believe

that

this

will

happen

in

the

next

generation

??

AI

will

be

the

vehicle

to

spread

human

civilization

throughout

the

universe

(Ray

Kurzweil:The

Singularity

is

Near)58Slides

Courtesy:

Wei

Xu百度深度學(xué)習(xí)進展介紹Area

V2??????????1.5公斤,

占2%的體重,

卻消耗20%身體的能量.

大腦有1000億神經(jīng)元

每個神經(jīng)元有大約5000個神經(jīng)突觸

沒個神經(jīng)元的

?ring

rate:

200

次每秒

每秒計算能力:

–?

10^11*5000*200

=

10^17

=

100

peta?ops

–?

20

W,

5peta?ops/w

??

目前最快的計算機(天河二號）

–?

33.86

peta?ops

–?

18*10^6

w,

2.14G?ops/w

59人類大腦

Slides

by

Wei

XuRetinapixelsDeepArchitecture

in

the

Brain

Area

V4

Higher

level

visual

abstractions

Primitive

shape

detectors

Area

V1

Edge

detectors百度深度學(xué)習(xí)進展介紹195