回頭去看疫情三年之后的彼時(shí)，一群來(lái)自清華地學(xué)系的研究生，在2020年年初所做的那份全球病例數(shù)據(jù)庫(kù)，直至如今依舊是眾多公共衛(wèi)生研究者案頭之上的免費(fèi)工具。他們憑借自身的專業(yè)能力，將“居家隔離”轉(zhuǎn)化成了切切實(shí)實(shí)的數(shù)據(jù)貢獻(xiàn)。
從刷疫情地圖到自己動(dòng)手建庫(kù)
2020年1月月底，地學(xué)系研團(tuán)的同學(xué)們每天早上醒來(lái)后做的第一件事情便是去刷丁香醫(yī)生的疫情地圖，然而他們很快就察覺(jué)到，不同平臺(tái)所呈現(xiàn)的數(shù)據(jù)偶爾狀況并不相符，有的能較快更新出來(lái)，可是缺少相應(yīng)細(xì)節(jié)，有的官方數(shù)據(jù)發(fā)布時(shí)間相對(duì)較晚，如果不停抱怨，莫如立馬動(dòng)手。
研團(tuán)發(fā)起一項(xiàng)名為“建立免費(fèi)共享病例數(shù)據(jù)庫(kù)”活動(dòng)的當(dāng)天，便有20多名同學(xué)報(bào)名參與。這些同學(xué)分成了三個(gè)小組，分別是數(shù)據(jù)抓取小組、交叉驗(yàn)證小組以及可視化小組。在沒(méi)有經(jīng)費(fèi)的情況下，他們選擇用個(gè)人電腦來(lái)跑程序；在沒(méi)有現(xiàn)成接口的狀況下，他們逐小時(shí)手動(dòng)解析衛(wèi)健委網(wǎng)頁(yè)源代碼。
數(shù)據(jù)打架時(shí)信誰(shuí)
最開(kāi)始時(shí)，最大的難題是，丁香醫(yī)生與衛(wèi)健委的數(shù)據(jù)存在不一致的情況。丁香醫(yī)生更新的速度較快，然而，曾將某一個(gè)地級(jí)市的確診數(shù)量錯(cuò)報(bào)成為全省的總和。同學(xué)們?cè)O(shè)計(jì)了雙重校驗(yàn)的機(jī)制，先是抓取丁香醫(yī)生的數(shù)據(jù)進(jìn)行預(yù)警，然后再使用衛(wèi)健委最終發(fā)布的版本進(jìn)行校準(zhǔn)。
關(guān)于要解決這個(gè)問(wèn)題，就讀于環(huán)境地理專業(yè)的徐海洋，連續(xù)一周時(shí)間，每天都僅僅睡四個(gè)小時(shí)。而且他察覺(jué)到，丁香醫(yī)生早期的數(shù)據(jù)是源自爬蟲抓取各地衛(wèi)健委的，存在著時(shí)間差。之后團(tuán)隊(duì)就把兩套數(shù)據(jù)并列來(lái)進(jìn)行展示，并且還在數(shù)據(jù)庫(kù)的備注欄當(dāng)中標(biāo)注了“丁香口徑”以及“官方口徑”之間的區(qū)別。
逐小時(shí)背后的技術(shù)硬仗
想要達(dá)成全球逐小時(shí)繪圖這一狀況，這就表示服務(wù)器必須進(jìn)行整日整夜且毫無(wú)間斷的抓取行動(dòng)。那個(gè)時(shí)候清華云盤并不存在自動(dòng)更新的 API，于是同學(xué)們就依靠手動(dòng)方式去設(shè)定定時(shí)任務(wù)，大約每隔 59 分鐘就開(kāi)啟一次爬蟲，以此來(lái)防止觸發(fā)反爬機(jī)制。
最具難度的在于處理涉及境外的數(shù)據(jù)美國(guó)約翰斯?霍普金斯大學(xué)所提供的數(shù)據(jù)其格式每日都會(huì)發(fā)生變化而日本厚生勞動(dòng)省其數(shù)據(jù)形式僅有PDF種類的公示表單。遙感專業(yè)范疇內(nèi)的同學(xué)們借助OCR該項(xiàng)技術(shù)來(lái)開(kāi)展對(duì)PDF表格實(shí)施識(shí)別接下來(lái)應(yīng)用Python施行清理整頓。鉆石公主號(hào)郵輪所關(guān)聯(lián)的數(shù)據(jù)過(guò)去曾因日本方面以及外國(guó)媒體所采用的統(tǒng)計(jì)口徑之間存在相異之處一度出現(xiàn)相互矛盾的狀況團(tuán)隊(duì)最終選用以船運(yùn)公司原始公告當(dāng)作標(biāo)準(zhǔn)尺度。
那個(gè)被下載10萬(wàn)次的壓縮包
在2020年3月3日的時(shí)候，數(shù)據(jù)庫(kù)首次進(jìn)行公開(kāi)操作。當(dāng)云盤鏈接被發(fā)布在清華內(nèi)部論壇之后，僅僅三小時(shí)其訪問(wèn)量就超過(guò)了一萬(wàn)。密碼“20200309”原本是被設(shè)定為自動(dòng)更新的日期，然而由于人潮水般大量涌入，導(dǎo)致云盤進(jìn)行了臨時(shí)擴(kuò)容操作。
截止到二零二零年五月之時(shí)，此份數(shù)據(jù)庫(kù)被下載超過(guò)了十萬(wàn)次。存在疾控中心研究員發(fā)來(lái)信件表明，他們運(yùn)用這份數(shù)據(jù)對(duì)傳播模型予以了驗(yàn)證；存在武漢社區(qū)志愿者稱，憑借逐日確診數(shù)的變化對(duì)團(tuán)購(gòu)物資的發(fā)放順序進(jìn)行了調(diào)整。同學(xué)們未曾想到，自己對(duì)著電腦敲出來(lái)的數(shù)字，確實(shí)能夠?qū)σ痪€起到幫助！
從疫情數(shù)據(jù)到學(xué)術(shù)傳承
在2020年的秋季學(xué)期期間，地學(xué)系安排開(kāi)設(shè)了名為“公共衛(wèi)生地理信息系統(tǒng)”的選修課，該課程之中的案例有半數(shù)的部分是源于此次數(shù)據(jù)庫(kù)項(xiàng)目。參與其中的同學(xué)將代碼庫(kù)進(jìn)行了整理從而形成講義、，后續(xù)這講義成為了新生入學(xué)階段培訓(xùn)時(shí)所使用的實(shí)操教材。
王同學(xué)，當(dāng)年那時(shí)負(fù)責(zé)數(shù)據(jù)可視化工作，現(xiàn)在于國(guó)家氣象局開(kāi)展工作，他講那段經(jīng)歷使他知曉，地理信息并非僅僅繪制臺(tái)風(fēng)路徑，同樣能夠繪制病毒傳播狀況。徐海洋，當(dāng)年曾因校準(zhǔn)數(shù)據(jù)熬過(guò)夜晚，畢業(yè)之后前往互聯(lián)網(wǎng)大廠從事數(shù)據(jù)分析工作，面試當(dāng)下講述這段事情，技術(shù)官當(dāng)場(chǎng)給出了錄用意向。
免費(fèi)共享背后的價(jià)值
過(guò)去三年，此數(shù)據(jù)庫(kù)早就不再進(jìn)行更新了。然而直至2023年初的時(shí)候，始終有公共衛(wèi)生專業(yè)的學(xué)生發(fā)送郵件去索要早期的歷史數(shù)據(jù)。云盤鏈接一直處于有效的狀態(tài)，密碼也未曾更改過(guò)。
學(xué)生們算過(guò)一筆賬，整個(gè)項(xiàng)目的人力成本要是按照實(shí)習(xí)生每小時(shí)薪資進(jìn)行折算的話，超過(guò)了十五萬(wàn)元，然而他們卻選擇完全免費(fèi)。當(dāng)被問(wèn)到原因的時(shí)候，研團(tuán)負(fù)責(zé)人說(shuō)得相當(dāng)直接，科研數(shù)據(jù)本來(lái)就應(yīng)當(dāng)是公共品。我們僅僅是運(yùn)用專業(yè)知識(shí)，把它從各個(gè)公告當(dāng)中撈出來(lái)，整理好之后放在大家手邊。
疫況給我們傳授了諸多，當(dāng)中一個(gè)是：當(dāng)諸多個(gè)體奉獻(xiàn)出自身的專業(yè)本事之際，聚合起來(lái)的力量比預(yù)想里頭地要強(qiáng)大許多。要是你也曾處在這個(gè)特別階段參與過(guò)任何樣式下的志愿舉動(dòng)——不管是搞科研、做物流或者是搞社區(qū)服務(wù)，歡迎于評(píng)論區(qū)去講述你的事兒，使得更多人瞧見(jiàn)普通大眾的閃光點(diǎn)。
