項(xiàng)目介紹
澳大利亞昆士蘭醫(yī)學(xué)研究院(QIMR)由昆士蘭州政府出資,成立于1945年,是澳大利亞最大和最成功的醫(yī)學(xué)研究機(jī)構(gòu)之一,并且是全球公認(rèn)的一流的科研機(jī)構(gòu)。
QIMR有總計(jì)有700名科學(xué)家、學(xué)生和后勤人員,成立有50個(gè)獨(dú)立的實(shí)驗(yàn)室,包含了6個(gè)大類的研究部門:生物學(xué)、細(xì)胞和分子生物學(xué)、遺傳學(xué)和計(jì)算生物學(xué)、免疫學(xué)、人口健康以及聯(lián)合方案。其研究人員調(diào)查了一系列的疾病,包括癌癥、哮喘、艾滋病、瘧疾、子宮內(nèi)膜異位癥、登革熱的遺傳和環(huán)境因素的影響。
挑戰(zhàn)
就像所有的研究設(shè)備一樣,QIMR的科學(xué)家們需要通過訪問高性能計(jì)算(HPC)資源,實(shí)現(xiàn)突破性的創(chuàng)新成果。如果沒有最先進(jìn)的設(shè)施,QIMR將無法支持科學(xué)家們的尖端項(xiàng)目或吸引最優(yōu)秀的研究人員。
QIMR的首席信息官Jonathan Davies說:“根據(jù)推動(dòng)生物信息學(xué)和統(tǒng)計(jì)分析的要求,用戶通常會(huì)開始要求更多的計(jì)算能力,研究人員需要訪問高性能計(jì)算集群來同時(shí)處理大量數(shù)據(jù)集合。而且很快會(huì)出現(xiàn)越來越多的用戶請(qǐng)求使用類似的資源。并且我們所談?wù)摰氖沁@里大多數(shù)的研究部門,而不僅僅是其中的一個(gè)兩個(gè)。在整個(gè)QIMR,這就是我們的科學(xué)家科研所需要的工作。”
為了滿足科研的需要,QIMR需要建立一個(gè)通過作業(yè)管理系統(tǒng)來管理作業(yè)調(diào)度和優(yōu)化吞吐量的HPC集群來為所有實(shí)驗(yàn)室提供共享的計(jì)算服務(wù)。
“對(duì)于作業(yè)管理系統(tǒng),最重要一點(diǎn)就是可靠性,我們希望有一個(gè)著名的、性能優(yōu)異的支持系統(tǒng),讓我們可以依靠它來實(shí)現(xiàn)我們的需求。”
圖1 DELL多核服務(wù)器
解決方案
在2010年底,QIMR購買了戴爾的多核服務(wù)器和存儲(chǔ)構(gòu)建了HPC集群,通過PBS Works以方便共享為核心服務(wù)服務(wù),為研究所的實(shí)驗(yàn)室提供高效計(jì)算資源。該集群由戴爾PowerEdge R815服務(wù)器和Dell PowerEdge R710服務(wù)器構(gòu)成。
在選擇一個(gè)作業(yè)管理系統(tǒng)時(shí),QIMR評(píng)估了許多商業(yè)和開源的系統(tǒng),當(dāng)然很多研究機(jī)構(gòu)和研究型大學(xué)都有類似的經(jīng)歷。QIMR的IT團(tuán)隊(duì)對(duì)多個(gè)系統(tǒng)進(jìn)行了細(xì)致的分析后,包括了大量的產(chǎn)品功能演示,最終選擇了Altair PBS Works。
PBS Works是一套包含作業(yè)調(diào)度、按需計(jì)算、HPC作業(yè)管理和分析產(chǎn)品。該套件的旗艦產(chǎn)品,PBS Professional®,是業(yè)界使用最為廣泛的HPC作業(yè)管理和調(diào)度系統(tǒng)。
Jonathan Davies說:“PBS Professional是我們了解的經(jīng)過實(shí)踐檢驗(yàn)的商業(yè)級(jí)的系統(tǒng),它性能可靠,特別是在復(fù)雜的環(huán)境中,可以為大量分散在許多不同實(shí)驗(yàn)室的研究者提供解決方案。我們也知道我們可以從Altair找到可靠的專家對(duì)我們進(jìn)行支持。”
QIMR同時(shí)希望,確保他們的群集可以容易地為研究的擴(kuò)大而擴(kuò)展。“PBS Professional是這個(gè)場景的理想方案,”Jonathan Davies說,“現(xiàn)在有很多可擴(kuò)展的作業(yè)管理系統(tǒng),PBS Professional是許多世界TOP500超級(jí)計(jì)算機(jī)在使用的可以擴(kuò)展到數(shù)百數(shù)千個(gè)核心作業(yè)管理系統(tǒng)。”
“最初的集群使用了Torque資源管理系統(tǒng),但我們發(fā)現(xiàn),需要大量的工作才能支持我們的團(tuán)隊(duì)。”Jonathan Davies說,“因此為了這套系統(tǒng)我們投入了大量的資源進(jìn)行了系統(tǒng)的維護(hù)和培訓(xùn)。”
IT團(tuán)隊(duì)在2011年安裝了PBS Professional,為用戶提供服務(wù);在2012年,他們把HPC集群移到一個(gè)新的專用數(shù)據(jù)中心,新的HPC提供更多的資源擴(kuò)展,增強(qiáng)了用戶操作環(huán)境,提供了更靈活的電源管理。現(xiàn)在的集群系統(tǒng),為所有六個(gè)部門的遍布世界各地的50名科學(xué)家提供服務(wù)。PBS Professional管理不同大小和類型的各種作業(yè),為每個(gè)研究人員提供了平衡的作業(yè)負(fù)載并確保每個(gè)人所需要的HPC計(jì)算資源可用。
結(jié)論
“每個(gè)人都得益于該系統(tǒng)的使用。”Jonathan Davies說,“我們的科學(xué)家現(xiàn)在可以提供更快、更準(zhǔn)確的科研成果——我們同時(shí)能夠處理更多的數(shù)據(jù),并且更加迅捷。研究人員還可以做很多以前無法完成的事情,比如多次運(yùn)行計(jì)算作業(yè)或使用更大的數(shù)據(jù)集合,實(shí)現(xiàn)其他方式無法獲得的結(jié)果。這套系統(tǒng)帶給我們的價(jià)值顯而易見。”
在一個(gè)例子中,遺傳學(xué)研究工作者們致力于上千基因組項(xiàng)目,他們希望針對(duì)大量的基因組數(shù)據(jù)來進(jìn)行計(jì)算。這種類型的工作以前根本無法完成。
QIMR的科學(xué)家們已經(jīng)發(fā)現(xiàn)PBS Professional對(duì)于提交HPC作業(yè)來說是一個(gè)易于使用且功能強(qiáng)大的工具。Jonathan Davies的報(bào)告指出,一組以前從來沒有用過類似PBS Professional產(chǎn)品的用戶,能夠非?焖俚脑诓坏1周的時(shí)間內(nèi)開始運(yùn)行自己的作業(yè),就像QIMR的資深用戶一樣。
“使用PBS Professional系統(tǒng)是非常簡單的。作為一個(gè)用戶,我在開始使用HPC之前感到有些害怕,PBS Professional可以很容易地運(yùn)行HPC作業(yè),并給我一些指導(dǎo),我現(xiàn)在發(fā)現(xiàn)通過集群運(yùn)行作業(yè)是一件非常容易的事情。”生物統(tǒng)計(jì)學(xué)家Leesa Wockner說,他在QIMR/RBWH部門的統(tǒng)計(jì)部門工作。
“以前,我們的科學(xué)家們在各自的工作站上運(yùn)行他們的計(jì)算進(jìn)程,這樣可能需要幾個(gè)星期才能得到他們所需要的結(jié)果,”Jonathan Davies說,“現(xiàn)在作業(yè)的周轉(zhuǎn)時(shí)間只需幾個(gè)小時(shí)或幾分鐘。”
即使是遺傳學(xué)和計(jì)算生物學(xué)部門,他們曾經(jīng)自己維護(hù)著一套Condor的集群,目前也已經(jīng)切換到了PBS Professional系統(tǒng)進(jìn)行管理。
“中央集群的最大特點(diǎn)是速度更快,并且研究人員有更多的可用計(jì)算資源”統(tǒng)計(jì)遺傳學(xué)實(shí)驗(yàn)室研究助理Yi Lu說。
QIMR的系統(tǒng)管理員喜歡的是PBS Professional易于管理的作業(yè)調(diào)度系統(tǒng),提供了任務(wù)和資源管理的靈活控制。
隨著越來越多的研究人員了解到這套共享系統(tǒng)的可用性和對(duì)用戶的好處,QIMR計(jì)劃擴(kuò)大集群的規(guī)模。
在一個(gè)例子中,系統(tǒng)神經(jīng)科學(xué)實(shí)驗(yàn)室的運(yùn)行MATLAB作為其心理健康研究的一部分。“MATLAB為我們提供了一個(gè)易于使用的界面包括了GPU計(jì)算和與PBS Professional的通訊使用,使我們能夠便利地從臺(tái)式機(jī)轉(zhuǎn)到利用的機(jī)群的資源,而無需重新編寫所有的代碼。”在實(shí)驗(yàn)室的博士生Anton Lord說,“這為我們節(jié)省了時(shí)間和精力。”
部分計(jì)算需從中央集群擴(kuò)展到多個(gè)節(jié)點(diǎn),需要判斷用戶的需求,如NVIDIA特斯拉通過Altair的系統(tǒng)調(diào)用中央戴爾的系統(tǒng)。“戰(zhàn)略上,我們選擇一個(gè)支持GPU(圖形處理器)的作業(yè)管理系統(tǒng),”Jonathan Davies解釋。
QIMR期望PBS Works成為他們的HPC增長所選平臺(tái),為醫(yī)學(xué)研究提供全球頂級(jí)的計(jì)算環(huán)境。
核心關(guān)注:拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:PBS Professional助力QIMR提升HPC能力和支持高質(zhì)量的研發(fā)能力
本文網(wǎng)址:http://www.ezxoed.cn/html/solutions/14019315309.html