電戰(zhàn) ~ AI 能讓人發(fā)笑嗎？AWS 和支持挑戰(zhàn)的技術(shù)

?

2020,

Amazon

Web

Services,

Inc.

or

its

affiliates.

All

rights

reserved.電笑戦~

AI

は人を笑わせられるのか?挑戦を支える技術(shù)とAWS

~針原佳貴(Yoshitaka

Haribara)スタートアップML

ソリューションアーキテクトアマゾンウェブサービスジャパン株式會(huì)社Agenda『電笑戦』の概要についてアマゾンウェブサービスジャパン針原佳貴サンプルモデルの説明

電通デジタル

石川

隆一『電笑戦』參加各社様の開発モデル説明ストックマーク株式會(huì)社

森長(zhǎng)

誠(chéng)カラクリ株式會(huì)社

武藤

健介吉本興業(yè)株式會(huì)社

田中

爽太まとめ

アマゾンウェブサービスジャパン

針原

佳貴寫真で一言ボケて例題ボケての人気ボケボケて電笑戦?

2020,

Amazon

Web

Services,

Inc.

or

its

affiliates.

All

rights

reserved.石川隆一(Ryuichi

Ishikawa)株式會(huì)社電通デジタル(DentsuDigital

inc.)自己紹介石川

隆一

Ryuichi

Ishikawa電通デジタル

AIクリエーティブ開発グループAIエンジニア/クリエーティブテクノロジスト2014年昭和音楽大學(xué)學(xué)士ミュージシャン活動(dòng)後、レコード會(huì)社にてアーティストマネージャーを経

て、ふとAIを習(xí)得。2018年、電通デジタル入社。データ分析?畫像分析?自然言語(yǔ)処理など、様々なジャンルにおけるAIのクリエーティブ応用を研究している。AI関連の論文は毎日チェックし、情報(bào)は常にアップデート。人工知能學(xué)會(huì)JSAI2020/JSAI2019/

畫像シンポジウム學(xué)會(huì)

MIRU2019などで論文執(zhí)筆趣味

Kagglea

surfer

riding

on

a

wave深層學(xué)習(xí)を用いた畫像の要約モデルは右の図を參照畫像の要約では、2014年頃から盛んに研究が行われるようになった

Encoder?Decoderモデルとなっている。ImageNetにて學(xué)習(xí)されたVGG16(Encoder)の全結(jié)合層から畫像のベクトルを抽出し、RNNやLSTM(Decoder)などの時(shí)系列アルゴリズムに繋げることで畫像を要約する。１単語(yǔ)ごとに出力し、出力を更に入力として用いることで文章として成立させる仕組みとなっている。深層學(xué)習(xí)を用いた畫像の要約深層學(xué)習(xí)を用いた畫像の要約入力畫像入力テキストNo

Textご主人様入力畫像入力テキストご主人様ご主人様が入力畫像入力テキストご主人様がご主人様が捕らわれてループ文章の出力def

sample(preds,

temperature=1.0):preds

=np.asarray(preds).astype('float64’)‘’’自然対數(shù)を取り、引數(shù)の値で割る。引數(shù)の値が大きいほど確率の低い単語(yǔ)も選ばれやすくなる?！痯reds=np.log(preds)/temperature’’’自然対數(shù)を元に戻す’’’exp_preds

=

np.exp(preds)‘’’総和が1となるように全値を総和で割る’’’preds=exp_preds/np.sum(exp_preds)’’’多項(xiàng)分布に基づいた亂數(shù)を用いて単語(yǔ)を決定する’’’probas

=

np.random.multinomial(1,

preds,1)return

np.argmax(probas)?

2020,

Amazon

Web

Services,

Inc.

or

its

affiliates.

All

rights

reserved.森長(zhǎng)誠(chéng)(Makoto

Morinaga)ストックマーク株式會(huì)社(Stockmark

Inc.)ストックマークの紹介會(huì)社名 ストックマーク株式會(huì)社オフィス東京都港區(qū)南青山1丁目12-3LIFORK

MINAMI

AOYAMA

S209設(shè)立2016年11月15日創(chuàng)業(yè)者代表取締役CEO

林達(dá)取締役CTO

有馬幸介従業(yè)員數(shù)

60名事業(yè)內(nèi)容自然言語(yǔ)処理技術(shù)を活用したビジネス意思決定サポートサービスの提供自然言語(yǔ)処理?ディープラーニングビジネスインサイトを?qū)С鲭娦楗猊钎敫乓B介教師データボケ缶:SP(300ボケ)、Red(8,500ボケ)※同一畫像のボケは排除ビジネス記事のタイトルと及び畫像データ(20,000件)前処理ボケ及び記事タイトルをMecab+Neologdで形態(tài)素解析後、トークン化(語(yǔ)彙數(shù)は約25,000)モデルEncoder–Decoder

モデル(ResNet+雙方向LSTM+Attention+Dropout)トレーニングAmazon

EC2

p3.2xlargeで3時(shí)間程度後処理出力に対して、一部の名詞をBERTの穴埋め予測(cè)で置換モデル開発で効果があった施策教師データの水増しボケだけでなく、ビジネス記事のタイトルとその畫像データを教師データに含め、真面目な文章とボケを組み合わせ。例)「イタリア、新型コロナの感染者1萬(wàn)人超え中國(guó)が醫(yī)師団派遣へ」「ロシアにおけるサイバー犯罪、1年間で92%増」「イノベーション成功の鍵とは何か」學(xué)習(xí)の早期切り上げボケに特徴的なキーワードが使われるパターンが多いため、収束すると教師データとほぼ同じ結(jié)果を出力してしまう例)「上杉軍から塩が屆いてテンション上がりまくりの武田軍」「ディアゴスティーニで屆くパーツがすべて完成品でつまらない。」「ブルーハワイって結(jié)局何味なんだろうね？」モデル開発で効果があった施策BERTの穴埋めによる?yún)g語(yǔ)置換BERTは事前學(xué)習(xí)で穴埋め問題を解いていますので、それを利用して、一部の単語(yǔ)をマスクして、マスクされた単語(yǔ)の前後の文字列から単語(yǔ)を予測(cè)して置換します。例)原文「本日は良い天気だ」マスク「本日は良い[MASK]だ」予測(cè) 「本日は良い値動(dòng)きだ」モデル開発での気付きどうしておもしろいかをモデルが分かっていないボケのエッセンスを?qū)W習(xí)しているのではなく、正解に近いボケを生成しているだけ數(shù)を打てば當(dāng)たるような形になってしまう畫像の細(xì)かな特徴を活かせていないおおまかな特徴をとらえているので、連想的なボケには良い畫像自體がおもしろい場(chǎng)合に上手くボケれていないケースがある渾身のボケ本戦への意気込み先ほどのボケのようにまだボケ缶の教師データを越えられているとは言えません。提供されている教師データからボケの特徴のみをとらえ、ボケを生成できるように本戦までに他にも色々な手法でチャレンジします！?

2020,

Amazon

Web

Services,

Inc.

or

its

affiliates.

All

rights

reserved.武藤健介(Kensuke

Muto)カラクリ株式會(huì)社(Karakuri

Inc.)CS

TechオンラインAI大學(xué)カラクリ株式會(huì)社AI技術(shù)を用いたカスタマーサポートのデジタル化チャットボットを用いた問い合わせ対応チャットログ分析によるサービスの改善提案YouTube

チャンネル好評(píng)配信中！前処理?モデル?トレーニング前処理「4人以上がいいねした」ボケ（約20萬(wàn)件）畫像から複數(shù)の物體を検出モデル「畫像から抽出した物體の特徴」から「ボケ」への翻訳モデルNeurIPS2019（トップカンファレンス）に採(cǎi)択された手法トレーニングDeep

Learning

AMI、Amazon

EC2

p3.2xlargeで學(xué)習(xí)開発の試行錯(cuò)誤難しい點(diǎn)畫像の狀況を適切に表すボケを生成するのは難しい畫像中に複數(shù)の物體がある場(chǎng)合、何が寫っているのか正確に認(rèn)識(shí)する必要がある物體の関係を正しく認(rèn)識(shí)してボケる必要がある工夫した點(diǎn)それぞれの畫像から複數(shù)の物體を検出する前処理を行った物體間の相対的な位置やサイズの情報(bào)を用いて學(xué)習(xí)を行った物體の空間的関係man

80%baby

70%watch90%畫像中の物體検出機(jī)械の認(rèn)識(shí)物體の空間関係の重要性man

80%baby

70%watch90%≠watch

90%baby

70%man80%モデルの概略渾身のボケ「お前、俺の事好きなんだ…」「パパ、ママ、この子の方がいいの？」渾身のボケ學(xué)習(xí)時(shí)間ボケ24000「この子は？」40000「パパ、ママの家に帰ってきたよ」66000「パパ、ママ、この子の方がいいの？」86000「お前、この子のこと好きなんだろ？」學(xué)習(xí)時(shí)間ごとのボケ「全力で、笑いのカラクリを探求します?。　闺娦楸具xへの意気込み?

2020,

Amazon

Web

Services,

Inc.

or

its

affiliates.

All

rights

reserved.田中爽太(Sota

Tanaka)吉本興業(yè)株式會(huì)社(Yoshimoto

Kogyo

Co.,Ltd.)吉本興業(yè)株式會(huì)社吉本興業(yè)カンパニー子會(huì)社?関連會(huì)社34社創(chuàng)

業(yè)

1912年（明治45年）4月1日社員數(shù)

865名（男性461名 女性404名）2019年6月現(xiàn)在タレントマネジメントのみならずエンタテイメントに関わる企畫?制作?PR?流通を日本全國(guó)47都道府県から、アジア?海外まで総合的に展開できる企業(yè)です！システム概要Rule-baseddataextractionInputOutputAmazonSageMakerVGG16ImageTaggedbokete

dataTextAmazonSageMakerWriters/DirectorAnnotationEmotion/Face

DetailAmazonRekognitionObjectSimilarityBokeEvaluation「寫真で一言」の面白いとは？?あくまで一理論だが「ズレ」を「共感」した時(shí)?「ズレ」るために寫真を正しく認(rèn)識(shí)/解釈する→Amazon

Rekognitionを利用し精度高く認(rèn)識(shí)→抽出ベースによってズレを表現(xiàn)コンセプト企畫コンセプト?大喜利の答えとして面白く技術(shù)コンセプト?大喜利などお笑いに長(zhǎng)けた構(gòu)成作家やディレクターがボケて回答データを分析/分類?企畫側(cè)とエンジニア側(cè)で一緒にPDCAを回せる仕組み/ツールを考案お客さんズレ答え「分かった。俺が行く。表に乳母車回しとけ?！钩啶沥悚?=かわいい)帽子を

被っている確かに！

分かる分かる共感ツール作家/ディレクターが使いやすいツールを開発

簡(jiǎn)単にタグ付け出來るようにアノテーションツールを

AWSサービス上で作成。516件の畫像とBokeのペアをタグ付けしたシステムの評(píng)価を簡(jiǎn)単に出來るようにチャットと連攜AWS

Lambda(Vue.js)Amazon

DynamoDB

Amazon

API

Gateway＋＋ボケてデータ分析得られた洞察①人の寫真が多く、その表情やセリフを言わせたボケが多い→人/表情/口の開閉の認(rèn)識(shí)を重視得られた洞察②bokete上では長(zhǎng)文/説明調(diào)等bokete獨(dú)特な回答が評(píng)価高→イベントに向けて使用するデータの精査が必要得られた洞察③ズレを生みやすいお題(外國(guó)人)、ズレた回答(ないない)などが評(píng)価高タグ回?cái)?shù)人404セリフ285外國(guó)人284狀況266表情257ポーズ250ないない248あるある157Star

1000未満Star

1000以上セリフ75.36%人81.22%人70.29%外國(guó)人61.11%狀況43.48%狀況54.50%表情43.48%ないない52.91%ポーズ41.30%表情52.12%外國(guó)人38.41%ポーズ51.06%あるある34.78%セリフ47.88%ないない34.78%bokete獨(dú)特35.71%第三者12.32%イベント不向き34.66%笑顔7.25%あるある28.84%