2018年學術頂會:深度研習的山威而鋼毒河如許多嬌

如前所述,自 2018 年 ICLR 劈頭實行雙盲評審軌造之後,爭議照舊存正在,好比 LipNet 論文作家再投 ICLR 再次铩羽、ICLR 2019 評審階段評論區疑似有水軍出沒等,且允諾作家正在 arXiv 等平台發表論文的做法使*雙盲*形同虛設。而同樣實行雙盲評審軌造的 ACL 大會法則送達論文正在肯定刻日內不得上傳到綻放平台。

除了 Ian Goodfellow、Zachy Lipton 以表,Geoff Hinton 前不久承擔采訪時稱,現正在的評審軌造和既定途徑倒黴于更始性念法的提出和傳達,junior 論文評審者恐怕壓根無法知道更始性論文。閉于此,國內學者也有相仿觀念,有名天然講話照料專家劉群熏陶說過:「審稿的時期……平時對照 junior 的審稿人會更峻厲極少,發掘極少幼題目就會目標于給低分,而 senior 的審稿人反倒寬松極少,假如感到論文確有可取之處,平時不會太較量極少幼題目。」此前,南京大學周志華熏陶稱:「senior 清楚論文價格便是那點新火花,有纰謬不要緊。前沿籌議要有優點,編造開辟要無瑕疵。」。威而鋼心得

工夫與人文他日會何如,咱們不清楚。但正在器重工夫的同時,尋找人文性、尋找人與人(不僅是特定局部的人)之間更敦睦地相處與協作已經必弗成少。

目前來看,社區對學術集會評審題目的體貼起到了肯定好的影響,學術集會圭表委員會也正在念舉措從多個層面修正同業評審的質地。咱們等待學術籌議越來越好。

AAAI 2018 收到的送達論文有 3808 篇,汲取論文 938 篇。此中呆板研習手腕的論文正在論文提交和汲取量上都居首位,而視覺界限的論文穩居第二,且比擬 2017 年該界限論文提交量增加了 257%、達成了奔騰。緊隨其後的是 NLP 與呆板研習、AI 與搜集、呆板研習運用等。

KDD 是國際數據發現界限的頂級集會。據統計,KDD 2018 共收到 1480 篇論文送達,收錄 293 篇,委任率 19.8%。

別的,FAIR 籌議科學家何恺明獲取本屆 CVPR 的 PAMI 青年籌議員獎,該獎項公告給 7 年內獲取博士學位且早期籌議極爲有潛力的籌議職員。

而正在對 2017 年美國 AI 名望的偵察中,高達 71% 的名望申請者是男性。

下圖閃現了 ICML 2018 論文子界限統計情形。可能看入迷經搜集架構和深化研習兩個子界限的投稿數目最多,深化研習界限的論文汲取數目最多,其它熱點傾向再有深度研習表面、最優化手腕、監視研習、正在線研習、統計研習表面等等。

別的,ICML 2019 圭表主席之一 Ruslan Salakhutdinov 熏陶正在 Twitter 上流露爲了激發可複現性和高質地的論文提交,本年 ICML 的圭表委員會正在論文提交上作出了三項調換!

憑據斯坦福 AI Index 2018 年度陳述,針對美國 AI 課程的注冊情形偵察顯示,斯坦福大學 2017 年的 AI 課程注冊學生中男性占 74.45%,ML 課程注冊學生中男性占比 75.91%;伯克利 2017 年的 AI 課程注冊學生中男性占 73.37%,ML 課程注冊學生中男性占比 78.67%。頂級估計打算機科學學校的 AI 熏陶中男女比例是:4:1——來自 UC 伯克利、斯坦福、UIUC、CMU、UC London、牛津、蘇黎世聯國理工學院的熏陶中 80% 爲男性。

估計打算機視覺是華人普及籌議的界限,正在此類頂會上常會看到華人的身影。比如,何恺明曾獲取 CVPR 2009、2016 的最佳論文獎,而他也獲取了本屆 CVPR 的 PAMI 青年籌議員獎。本年,華人正在估計打算機視覺頂會上的獲獎情形如下。

AI 熏陶、聯系名望方面的性別多樣化近況也許必要很長年華、多方面的奮發才略調換,但學術頂會的這些調換及其所激勵的主動影響將會對前者大有裨益。斯坦福大學李飛飛熏陶創立非營利性公益構造 AI4All,盡力于降低人爲智能界限的多樣性和原諒性,讓少數群體(網羅女性、亞裔、非裔等)都能加入到 AI 的研發曆程中。斯坦福以人工中央的 AI 設計(HAI)流露:「AI 的最終方針該當是鞏固咱們的人文性(humanity),而不是衰弱或代替它。」。

咱們對照谙習的學術集會多人采用雙盲評審軌造,此中 ICLR 資曆了從 open review 到雙盲評審的改動。ICLR 2017 多篇論文激勵爭議,好比 2016 年火爆的 DeepMind LipNet 論文遭拒(然而本年 DeepMind 的新唇讀編造論文又被 ICLR 拒了)、最佳論文《UNDERSTANDING DEEP LEARNING REQUIRES RETHINKING GENERALIZATION》蒙受質疑。自 2018 年劈頭,ICLR 采納采納雙盲評審,但該集會不禁止作家正在 arXiv 或其他大家論壇上公布著作,大會將只實行一輪論文評審,發轫評審完了後,作家和審稿人之間仍將有一個接洽期,作家可能陸續對論文實行刪改。

謎底顯而易見。本年 5 月,本科卒業天生爲 NeurIPS 2018 論文同業評審的事務激勵爭議;7 月份,NeurIPS 2018 論文評審結果出來後,良多人吐槽評核定見不專業。幾天後,GAN 之父 Ian Goodfellow 發推質疑同業評審機造的感化,他以爲同業評審導致 AI 頂會論文質地低浸,而緊要緣由正正在于評審職員秤谌紛歧。此前公布過「呆板研習之怪近況」的 Zachary Lipton 許諾 Goodfellow 的觀念,以爲同業評審機造的退化是呆板研習怪近況的緣由之一。

正在歸納性頂會和深度研習頂會中,本年獲獎的華人良多。特別是 IJCAI 2018,來自中國的籌議職員爲本屆 IJCAI 奉獻了緊要氣力,正在七篇卓異論文中,華人學者的籌議霸占四席;陳天琦獲取 NeurIPS 2018 最佳論文的籌議《Neural Ordinary Differential Equations》也激勵了社區的熱議。

那麽,正在當古人工智能界限各大頂會投稿量飛速增加的情形下,若何從軌造層面上確保底本旨正在鞭策綻放籌議的同業評審軌造表現其原來感化,裁汰正在推廣曆程中呈現的題目,一貫優化其推廣曆程和成果,同時正在呆板研習猛進展確當下,威而鋼毒同業評審不會節造新籌議的更始性,這值得咱們思索和接洽。

AAAI 2019 圭表主席、南京大學周志華熏陶正在講到 AAAI 2019 7700 多篇論文提交量的時期,評論道!

ICLR 是深度研習界限的嘉會,每年舉辦一次。2013 年,深度研習巨頭 Yoshua Bengio、Yann LeCun 主辦舉辦了第一屆 ICLR 大會。過程幾年的進展,正在深度研習炎熱的本日,ICLR 曾經成爲人爲智能界限弗成錯過的嘉會之一。

從本文第一局部,咱們可能看到這些學術頂會的論文提交數目一貫增加,有些增幅乃至超 40%。那麽一年過去了,及格的論文評審職員的增幅是否趕得上論文的增幅呢?

IJCAI 2018 共收到 3470 篇論文投稿,最終及第 710 篇。此中呆板研習論文正在論文提交和汲取量上都是第一,闊別是 1808 篇和 356 篇。緊隨其後的子界限有:估計打算機視覺、呆板研習運用、多智能體編造、天然講話照料、學問表征等。呆板研習和深度研習籌議炎熱,聯系頂會的投稿數目激增,良多人劈頭擔心論文評審的質地。常見的評審軌造有單盲評審(single-blind)、雙盲評審(double-blind)和綻放式評審(open review)等。單盲評審即評審職員對著作實行匿名評審,評審職員清楚著作作家的訊息。雙盲評審即評審人和著作作家彼此都不清楚對方的訊息,十足匿名。而正在綻放式評審中,一齊提交的論文城市公然姓名等訊息,而且承擔一齊同業的評議及提問(open peer review),任何學者都可匿名或實名評議論文。而正在公然評審完了後,論文作家也可以對論文實行調理和刪改。

雙盲評審可能有用裁汰評審人因清楚作家訊息而出現的刻板印象,但 ICLR 采用雙盲評審後已經惹起了爭議。前不久,ICLR 2019 完了論文投稿,一齊論文被放正在綻放平台 Openreview 上,以匿名體例供一齊人核閱。可是,一篇 9 月 28 號提交到 Openreview 上加入 ICLR 2019 雙盲評審的論文惹起了評論區的非正面交手:評論區疑似呈現匿名或非匿名的刷屏式好評。

針對這種情形,有網友指出:正在真正的評審結果面世之前發表可見的評論是一個恐怖的念法,有良多體例可能對評審員形成影響。

2018 年頂會論文提交與汲取情形一覽。紫色爲論文提交數目,藍色爲論文汲取數目。此中 AAAI 2018 論文提交數目爲 3808 篇,較舊年的 2571 擢升了 47%;ICML 2018 共收到 2473 篇提交論文,比舊年的 1676 篇降低 47.6%;EMNLP 2018 收到論文 2100 多篇(數目比舊年多出 46%);NeurIPS 2018 共收到 4856 篇投稿,創史乘最高記實。

別的,閉于投稿論文是否該當開源代碼、評審職員是否該當複現論文結果也激勵了多量商議。

過去這一年,學術界並不冷靜。特別是跟著環球 #metoo 運動的一貫進展,學術界爆出多量內部性別鄙夷、性騷擾的案例。NIPS 大會的名字因爲帶有情色意味,惹起了浩瀚社區成員的辯駁。正在資曆了官方調研、社區抗議等事項後,NIPS 大會終更名爲 NeurIPS。NIPS 大會事項絡續了好幾個月,惹起了 AI 社區的多量接洽和體貼。這件事不但調換了讓人不恬逸的名字,也指導社區成員屬意己方正在學術集會上的行動,學術集會該當是友誼綻放的,而不應由于某些人的失當行動導致另極少人的悲傷。別的,NeurIPS 2018 也劈頭正在基本辦法方面做出調換,如供給托兒辦事等便當要領。這些設施無疑正在學術界男女平權題目上是有所幫益的。