天文統(tǒng)計的前世與今生

1、天文統(tǒng)計的前世與今生張彥霞2020.11.27廈門天文學及與天文學相關的學科天文學：觀測地球外的物質，如太陽系的行星、銀河系中的恒星、宇宙中的星系和彌散物質，研究宇宙空間天體、宇宙的結構和發(fā)展的學科。主要通過觀測天體發(fā)射到地球的輻射，發(fā)現(xiàn)并測量它們的位置、探索它們的運動規(guī)律、研究它們的物理性質、化學組成、內部結構、能量來源及其演化規(guī)律。天文學是一門古老的科學，自有人類文明史以來，天文學就有重要的地位。天體物理學天體物理學：既是天文學的一個主要分支，也是物理學的分支之一，它是利用物理學的技術、方法和理論來研究天體的形態(tài)、結構、物理條件、化學組成和演化規(guī)律的學科。用物理學的技術和方法分析來自天體的

2、電磁輻射，可得到天體的各種物理參數(shù)。根據(jù)這些參數(shù)運用物理理論來闡明發(fā)生在天體上的物理過程，及其演變是實測天體物理學和理論天體物理學的任務。天體物理學相關的學科有太陽物理學、太陽系物理學、恒星物理學、恒星天文學、行星物理學、星系天文學、宇宙學、宇宙化學、天體演化學、射電天文學、空間天文學、高能天體物理學等。天文學相關的其他學科天文生物學天文地理學天文統(tǒng)計學天文信息學時序天文學行星天文學引力波天文學天文統(tǒng)計學天文統(tǒng)計學（Astrostatistics）：是一門天文學、天體物理學與統(tǒng)計學、機器學習、人工智能等學科交叉的學科。它主要利用統(tǒng)計學及相關學科的原理和方法來處理和分析天文數(shù)據(jù)，從而限制和促進天

3、體物理理論。天文統(tǒng)計學涉及了統(tǒng)計學的許多分支，包括非參數(shù)統(tǒng)計、多元回歸和分類、聚類、時間序列分析，貝葉斯推理等。天文信息學天文信息學（astoinformatics）：是一門天文學與信息學、計算機科學、高性能計算等學科交叉的學科。是研究天文數(shù)據(jù)的表示、獲取、存儲、傳遞、處理、挖掘和利用的規(guī)律性的一門新興學科。主要是指利用計算機及其程序設計來分析問題、解決問題的學科。1944.1.12出生-2007.1.28消失-2012.1.28死亡，享年68歲/ James Nicholas Gray主要貢獻吉姆格雷于1995年加入微軟，擔任技術研究員、學者和灣區(qū)研究中心經理。他的主要研究興趣是大型數(shù)據(jù)庫和

4、事務處理系統(tǒng)。他對可伸縮計算、從商品軟件和硬件構建超級服務器和工作組系統(tǒng)有著濃厚的興趣。正是由于他在數(shù)據(jù)庫和事務處理研究的突出貢獻及他在系統(tǒng)實現(xiàn)的技術引領作用，他于1998年獲得圖靈獎。從2002年起的工作集中在eScience：應用計算機解決問題數(shù)據(jù)密集型科學問題，是繼實驗、理論和模擬之后的第四種科學范式。 格雷博士是數(shù)據(jù)庫技術的先驅，也是最早開發(fā)計算機交易技術的人員之一。他的工作幫助發(fā)展了電子商務、在線售票和自動取款機。他在數(shù)據(jù)庫技術方面的研究被海洋學家、地質學家和天文學家所使用。他在微軟的成就包括TerraServer網站和他在斯隆數(shù)字天空調查上的工作。Alex SzalayBloomb

5、erg Distinguished Professor（ 彭博社特聘教授 ）Department of Physics and Astronomy,Department of Computer Science,The Johns Hopkins UniversityResearch Interests:The Large Scale Power Spectrum of FluctuationsCosmological Redshift-Space DistortionsSpatial StatisticsData-Intensive Computing ArchitecturesWireles

6、s Sensor NetworksMachine Learning and Classification ProblemsNumerical LaboratoriesThe SDSS ProjectLarge Scaleable Databases/szalay/萬維望遠鏡鼻主天文信息學的創(chuàng)始人天文學家和計算機學專家成功合作的典范G. Jogesh Babu/gjb6/Distinguished Professor of Statistics, Astronomy & AstrophysicsDirector, Center for Astrostatistics Interests: Boo

7、tstrap, Astrostatistics, Big DataOutstanding Contributions to Astrostatistics Award, Intl Astrostatistics Assn, 2016Eric FeigelsonDistinguished Senior Scholar and ProfessorDepartment of Astronomy and Astrophysics/astro/people/e5fOutstanding Contributions to Astrostatistics Award, Intl Astrostatistic

8、s Assn, 2016Interests: Astrostatistics, Big Data, X-ray astronomyScientific Editor of ApJ and AJ specializing in X-ray astronomy, star and planet formation, exoplanets, and statistical methodologyEric Feigelson的主要任職天文統(tǒng)計學的創(chuàng)始人天文學家和統(tǒng)計學專家成功合作的典范30多年來合作，致力于天文統(tǒng)計發(fā)展和推廣創(chuàng)建賓法尼亞州立大學天文統(tǒng)計中心Statistical Challenges

9、in Modern Astronomy（ 1991, 1996, 2001, 2006, 2011 ）每年天文統(tǒng)計暑期班(2005-)合作編寫了一書“Modern Statistical Methods for Astronomy with R Applications” (2012). Eric Feigelson 與 G. Jogesh BabuJoseph Michael Hilbe(1944-2017) Emeritus Professor, Univ. of Hawaii, Adj Prof of Statistics, Arizona State U., and Solar Sys

10、tem Ambassador, NASA/Jet Propulsion Laboratory, CalTech; the founding President of IAA; Elected Fellow of the American Statistical Assoc, an elected member of the International Statistical Institute, and a Full Member of the American Astronomical Society; author of seventeen statistics books since 2

11、001, including Modeling Count Data, Negative Binomial Regression, Practical Guide to Logistic Regression, and Logistic Regression Models, leading texts on the subjects. Modeling Count Data won the 2015 PROSE honorable mention award in mathematics, and was the only statistics text to win an award. IA

12、A授予：Outstanding Contributions to Astrostatistics， Elected Fellow 發(fā)展中的天文學與統(tǒng)計學幾個世紀以來，天文學和統(tǒng)計學是密切相關的研究領域，但它們在20世紀發(fā)生了分歧。其結果是削弱了天文學的方法論，無論是對現(xiàn)代統(tǒng)計概念的廣泛理解還是對大量統(tǒng)計程序的詳細了解。一門新興的天文統(tǒng)計學領域正在興起，它將解決天文大數(shù)據(jù)帶來的挑戰(zhàn)。會議、暑期學校、教科書和高性能的R統(tǒng)計軟件環(huán)境現(xiàn)在都可以用來提高我們社區(qū)對現(xiàn)代統(tǒng)計的知識和使用。統(tǒng)計學在天文中的應用統(tǒng)計用于：描述天文圖像、光譜和光變曲線；從有限的樣本推斷潛在某類天體的特性；將天文觀測與天體物理理論

13、聯(lián)系起來，以及數(shù)據(jù)和科學分析的許多其他方面。天文學家面臨的困難是：無法使用實現(xiàn)現(xiàn)代統(tǒng)計方法的軟件。幸運的是，近年來出現(xiàn)了一個大型的、集成的、用戶友好的公共領域軟件系統(tǒng)來實現(xiàn)現(xiàn)代方法。R擁有超過5000個附加CRAN軟件包，具有超過150000個統(tǒng)計功能、廣泛的圖形、到其他語言的鏈接等等。統(tǒng)計學briefly, and in its most concrete form, the object ofstatistical methods is the reduction of data. (R. A. Fisher, 1922)A statistical inference carries us

14、 from observations toconclusions about the populations sampled. (D. R. Cox, 1958）Statistics is the mathematical body of science that pertainsto the collection, analysis, interpretation or explanation, andpresentation of data.” (Wikipedia, 2014)Statistics is the study of the collection, analysis,inte

15、rpretation, presentation and organization of data.” (Wikipedia, 2015) 統(tǒng)計學與科學模型“Essentially, all models are wrong, but some are useful.” (Box & Draper 1987)There is no need for these hypotheses to be true, or even to be atall like the truth; rather they should yield calculations whichagree with obser

16、vations (Osianders Preface to Copernicus De Revolutionibus, quoted by C. R. Rao in Statistics and Truth)The object of statistical inference is to provide ideas andmethods for the critical analysis and, as far as feasible, theinterpretation of empirical data . The extremely challengingissues of scien

17、tific inference may be regarded as those ofsynthesising very different kinds of conclusions if possible into acoherent whole or theory . The use, if any, in the process ofsimple quantitative notions of probability and their numericalassessment is unclear. (D. R. Cox, 2006) 悲觀主義者統(tǒng)計學與科學模型The goal of s

18、cience is to unlock natures secrets. Ourunderstanding comes through the development of theoreticalmodels which are capable of explaining the existing observations as well as making testable predictions. “Fortunately, a variety of sophisticated mathematical andcomputational approaches have been devel

19、oped to help us through this interface, these go under the general heading of statistical inference.(P. C. Gregory, Bayesian Logical Data Analysis for the PhysicalSciences, 2005) 樂觀主義者科學數(shù)據(jù)分析的統(tǒng)計步驟模型獨立的數(shù)據(jù)探索科學問題的細致描述統(tǒng)計模型的選擇統(tǒng)計量的計算結果的科學評估Astronomers often do not adequately pursue each step.現(xiàn)代統(tǒng)計學的應用范圍和方法非

20、常廣泛。很難找到有用的東西，通常有幾種方法可以應用。非常令人費解：一些統(tǒng)計程序是基于數(shù)學證明來確定推斷已有結果的適用性。違反數(shù)學原理是危險的！ 有些問題在統(tǒng)計學家之間爭論，或者沒有已知 的解決方案。 科學推斷不應該依賴于方法論和變量尺度的任意選擇。當學科知識模糊時，更喜歡非參數(shù)和標度不變的方法。嘗試多種方法。 根據(jù)科學目標，很難解釋統(tǒng)計結果的含義。 統(tǒng)計只是一種從不完全信息中了解自然的工具。我們應該在應用統(tǒng)計時對數(shù)據(jù)有一定的了解，并對其作出合理的解釋。天文學與統(tǒng)計學：輝煌的歷史通常，天文學家也是統(tǒng)計學家！追述到12世紀的古希臘從零散的數(shù)據(jù)中，很好地估計一年究竟有長?范圍的中值: Hipparc

21、os (公元前4世紀) 僅靠一次觀測：中世紀 平均值: Brahe (16世紀), Galileo (17世紀), Simpson (18世紀) 中值： w/ bootstrap (21世紀)十九世紀：基于有限的數(shù)據(jù)，用牛頓天體力學估算行星/衛(wèi)星/彗星的軌道參數(shù) Legendre，拉普拉斯和高斯發(fā)展了最小二乘回歸和正態(tài)誤差理論（1800-1820） 著名天文學家對最小二乘理論作出了貢獻（1850-1900）天文學與統(tǒng)計學分離的世紀在19世紀末和20世紀，統(tǒng)計學轉向了人文科學（人口學、經濟學、心理學、醫(yī)學、政治學）和工業(yè)應用（農業(yè)、采礦、制造業(yè)）。在此期間，天文學認識到現(xiàn)代物理學的力量：電磁學、

22、熱力學、量子力學、相對論。天文學和物理學與天體物理學緊密相連。因此，天文學家和統(tǒng)計學家基本上斷絕了聯(lián)系；例如，天文學家的課程主要涉及物理學，但很少涉及統(tǒng)計學。今天的統(tǒng)計學家對現(xiàn)代天文學知之甚少?，F(xiàn)代天文統(tǒng)計學的現(xiàn)狀許多天文學研究局限于一系列熟悉的統(tǒng)計方法：時間分析的傅里葉變換（Fourier 1807）最小二乘回歸（Legendre 1805，Pearson 1901）Kolmogorov-Smirnov擬合優(yōu)度檢驗（Kolmogorov，1933）表的主成分分析（Hotelling 1936）甚至傳統(tǒng)的方法有時會被濫用！看ASAIP頁面關于KS檢驗。不容樂觀！天文與統(tǒng)計對應最近天文統(tǒng)計學的復

23、興更方便有效地獲得統(tǒng)計軟件。R/CRAN公共領域統(tǒng)計軟件環(huán)境，具有數(shù)千種功能。在過去十年里，天文文獻中的論文翻了一番，達到每年約500篇（方法：ADS）；短期培訓課程（賓夕法尼亞州立大學、印度、巴西、希臘、中國、意大利、法國、德國，西班牙、瑞典、LSST，IAU/AAS/CASCA/各種會議）跨學科研究合作（哈佛/ICHASC、卡內基梅隆大學、賓夕法尼亞州立大學、NASA Ames/斯坦福大學、CEA Saclay/斯坦福大學、康奈爾大學、加州大學伯克利分校、密歇根大學、帝國理工大學倫敦學院、斯文伯恩大學、德克薩斯A&M、JPL、LANL等）；跨學科會議（現(xiàn)代天文學中的統(tǒng)計挑戰(zhàn)，天文數(shù)據(jù)分析1

24、991-2016PhysStat，SAMSI 2006/2012，天體信息學 2012-16，IAU專題討論會2014）http:/服務國際統(tǒng)計研究所國際天體統(tǒng)計協(xié)會，國際天文聯(lián)合工作組（委員會），美國天文學會工作小組，Amer Stat Assn 興趣小組，LSST科學合作，IEEE Astro Data Miner工作組）新的要求：大型巡天數(shù)據(jù)和大數(shù)據(jù)集來自大型巡天項目和望遠鏡的海量圖像、光譜和多變量數(shù)據(jù) 10 9-10天體的測光數(shù)據(jù) x 10 0-10 3 時期（2MASS,SDSS, VISTA, CRTS, Pan-STARRS, DES, LSST ） 10 6-8 星系（SDSS

25、, LAMOST, ） 10 9 star 恒星天測星表（Gaia） 光譜和圖像數(shù)據(jù)(VLA, ALMA, IFUs) 射電干涉數(shù)據(jù)流 (e.g. 30 Tflops processor for LOFAR)虛擬天文臺致力于融合各種在線的天文數(shù)據(jù)資源面對TBy-PBy-Eby數(shù)據(jù)集，急需強有力的統(tǒng)計工具！天文信息學的快速崛起統(tǒng)計學指導科學家計算什么，信息學幫助科學家怎么計算：計算密集型天文學、數(shù)據(jù)挖掘、多元回歸與分類、機器學習、蒙特卡羅方法、有效算法等。軟件和硬件：多處理器機器上的并行處理，云計算、CUDA和GPU計算、數(shù)據(jù)庫管理和發(fā)布、軟件工程等。會議、研討會和培訓學校不斷涌現(xiàn)。第1屆天體信

26、息學 IAU研討會（2016年），第一屆IEEE研討會（2018年）。賓夕法尼亞州立大學開設了astroinfo暑期學校，以補充astrostat學校（2018年）。越來越多的人認識到社區(qū)培訓的重要性。天文統(tǒng)計的資源Bayesian Logical Data Analysis for the Physical Sciences: A ComparativeApproach with Mathematica SupportGregory, 2005Practical Statistics for AstronomersWall & Jenkins, 2nd ed, 2012Modern Stat

27、istical Methods for Astronomy with R Applications,Feigelson & Babu, 2012Statistics, Data Mining, and Machine Learning in Astronomy: A PracticalPython Guide for the Analysis of Survey Data,Ivecic, Connolly, VanderPlas & Gray, 2014Textbooks & Societies Intl Astrostatistics Assn affiliated with ISI (20

28、10) International Astrostatistics Association (IAA, 2012) AAS Working Group in Astroinformatics & Astrostatistics (2013) ASA Interest Group in Astrostatistics (2014) IAU Commissions B1-B2-B3 & WG/TDA (2015) IEEE Task Force on Astro Data Mining (2016) Modern Statistical Methods for Astronomywith R Ap

29、plications 模型(MLE, EM Algorithm, BIC, bootstrap) 多變量分類(LDA, SVM, CART, RFs) 時序數(shù)據(jù)分析(autoregressive models, state space models) 空間點過程(Ripleys K, kriging) 未探測數(shù)據(jù) (survival analysis) 圖像分析(computer vision methods, False Detection Rate) 統(tǒng)計計算(R) Statistics, Data Mining, and Machine Learning in Astronomy: A Practical Python Guide for the Analysis of Survey Data它是物理學和天文學研究生和