時間:2023-09-19 16:27:34
開篇:寫作不僅是一種記錄,更是一種創造,它讓我們能夠捕捉那些稍縱即逝的靈感,將它們永久地定格在紙上。下面是小編精心整理的12篇計算機集群技術,希望這些內容能成為您創作過程中的良師益友,陪伴您不斷探索和進步。
關鍵詞:集群;并行計算;數據處理;統計信息系統
伴隨著經濟社會的迅猛發展,人們對信息的需求和汲取日益增多,單一的統計數據處理無法滿足人們的需求,有必要將單一的統計數據處理發展為經濟數據處理方向。對于經濟數據處理系統構建方面而言,在利用計算機集群技術基礎上,依據當下社會和大眾的需要以及經濟發展過程中出現的問題,依靠大量的準確可靠的實踐數據,對經濟管理方面的問題進行理論模擬和政策仿真。因此,基于計算機集群技術的經濟數據處理系統構建能夠為經濟社會提供有價值的參考。
1.計算機集群的概念
集群技術是指一組相互獨立的計算機,在高速通信網絡的大背景下,組成一個完整的計算機系統,每個集群中的每個計算機都是運行自己所屬程序進程的一個獨立的服務器。目前集群系統大多采用的是心跳機制,通過對健康狀況的全稱監測,有效地避開或替換故障節點,在故障得以修復之后再將其自動加入集群系統之中,值得注意的是,整個切入和切除的過程都在幾秒鐘進行完畢,并不影響整體運行。在集群中,每一個提供服務的計算機都可以被稱為一個節點,當一個節點不能使用時,集群系統也會自動完成。通常來說,兩個節點的集群的兩個服務器都處在活動狀態才是理想效果,如果其中一個節點出現故障不能使用,應用程度就會自動轉移到另一個節點上,這樣一來,原本屬于兩個節點的工作如今要靠一個節點來完成,解決這種問題要做出的解決方案是將另一個節點作為備用狀態,當活動節點出現狀況時,備用節點才開始工作,這種方案雖然可行,但是需要一定的經濟投入。因此在集群配置時,要充分提高可用性和可縮放性。
2.計算機集群的特點
集群系統從結構上可以分成開放式集群和封閉式集群系統兩種,事實上,最常采用的是可用性技術基礎之上的科學集群,這種科學的集群系統使用多個節點提供系統的冗余和服務,并且能夠相互協調工作,對于用戶而言,集群永遠不會停止操作,這對高性能的海量經濟數據處理系統構建是很有必要的。
計算機集群負載均衡,通過在多個節點上實現負載均衡,極大地發揮了個節點的運行速度和效率。很多企業對集群的要求很高,更注重計算機集群的使用價值,負載均衡這個特點使計算機集群中的各個節點平攤任務,在為大量用戶處理問題時,這種特點就顯現出了優勢,比如說對網絡流量的處理,當網絡服務程序面臨高入網流量,導致服務器無法迅速處理時,網絡流量就會向系統中其他節點發送運行的網絡服務程序。和科學的計算集群相比,負載均衡集群缺少跨節點運行的程序,普遍情況是每個節點單獨行使獨立的程序和任務,所以節點與節點之間的通信和交流要通過中央負載均衡服務器。
計算機集群的特點還體現在高可用性方面,當集群中一個系統發生故障時,相關軟件迅速做出反應,將由其他節點代替它,次節點往往是主節點的鏡像。由于集群使得服務器的運行速度盡可能加快,所以集群可以再多臺機器上運行冗余的節點,來相互跟蹤。
3.經濟數據處理的意義
經濟數據處理是把經濟數據轉換成便于觀察分析、傳送或進一步處理的形式,從大量的原始數據中抽取、推導出對人們又價值的信息以作為行動和決策的依據,科學地保存和管理已經處理過的大量數據,以便于人們能方便而充分地利用這些寶貴的信息資源。經濟數據處理的意義不僅體現在經濟發展上,對整個社會的綜合性進步也有重大影響。
4.基于計算機集群技術的經濟數據處理
如何用計算機集群技術處理經濟數據,從以下方面著手:
(1)經濟數據庫資源的應用。經濟類數據發展多年,已從宏觀經濟發展到微觀經濟,從區域經濟到國際經濟,甚至從行業到企業,大量的經濟類數據都可以作為科學研究的基礎,在實行具體的系統構建時,用戶需要將想要計算的作業上傳到集群的服務器上,運行并啟動相應程序,系統中的控制節點要負責作業分配計算,控制節點往往是通過監視狀態來監測各節點的運行狀態。另外,在計算機集群上,各經濟類數據之間的有機聯系是通過查詢、識別、比較等有效手段表現出來的。
(2)系統功能模塊。用計算機集群技術處理經濟數據要以核心數據庫為基礎,向用戶提供遠程數據檢測服務,在這類服務之下,用戶可通過相關條件,實現真正意義上的智能查詢。在模型與仿真這個版塊,收集整理現有的經濟數據理論,比如管理、財務、金融等,以現有數據理論和實踐為信息主要來源,在計算機集群基礎之上實現有效應用和即時維護,也可在原有條件下進行技術改革和創新。在具體操作過程中可能會出現運行失敗的情況,這要等到失敗的服務器重新恢復運轉之后,在進行網絡交換信息,實現經濟數據處理。
(3)數字化技術。現如今,“數字社會”“數字經濟”這類詞充斥了人們的日常生活,這說明作為工具學科的數字科學正在發揮巨大價值和潛能,在經濟數據處理方面,更是要利用好這個平臺,與此同時,計算機集群發展的基礎是具有完善的標準體系,而經濟數據處理的全過程都是建立在統一的標準之上,計算機集群技術發展的總趨勢勢必帶動經濟數據處理系統的不斷前進,而經濟數據處理系統的構建與升級也將反作用與計算機集群技術。實現這種全方位電子化數字化的戰略目標,也就預示著成果中技術含量會很高,經濟數據處理工作全部在網絡環境下運行,也就實現了相關技術的跨越式發展,同時,成果的時效性也會數倍提高。在計算機集群的幫助下,經濟數據處理從無序轉向有序,改變了以前沒有科學規章制度和精確運算的情況,既實現了資源共享,又依法保守了商業秘密或政府機密,有關資料管理業隨之走向安全化、制度化。這種堪稱為電子戰略化目標的實現,必然會極大地促進政府管理模式和統計模式制度方法的有效變革。
5.集群技術與經濟數據處理的發展與前瞻
總的來看,經濟數據處理之下的集群技術的發展趨勢將是高可用、不斷拓展和高性能,其中一個必然方向是計算機集群中各個節點共享內存、硬盤、CPU等重要的子系統。撇開一般的優勢,但從互聯網中心服務器的變化來分析,便可以清楚地發現集群結構是中心服務器的發展趨勢。
經濟高速發展的今天,人們對其數據的處理要求和需要也日趨強烈,基于計算機集群技術之上的經濟數據處理系統為我國統計分析工具的技術革新開創了嶄新的局面和較為可觀的發展前景,使得技術人員很快過渡到網絡計算當中,及時有效地完成吞吐量較大的科學計算和商業數據,使得經濟數據得到更好的管理和控制,從而全方位助推國民經濟進步。
小結
以經濟發展為基礎的現代化趨勢,強烈要求國家和企業充分重視到經濟數據的處理系統,而經濟數據龐大又很繁雜,并非單機就能解決,集群技術是一種尖端技術,目的是為了解決單機運算能力不足這個問題,為運算和數據統計提供了可靠性,降低整體方案的運算成本,獲得規模可擴展能力,在多元化數據信息系統的處理方面,與傳統的并行處理系統相比,集群系統有一定的優勢,集群的風險投資小并且可以繼承現有軟件和硬件資源,這一點就大大增加了經濟效益。利用計算機集群強大運算功能和數據庫的大量儲存信息的能力,輔之以統計專業軟件和多媒體技術,這就使得經濟數據處理形式不只停留在表面上,更有實際意義,在經濟管理方面,可以做企業經營管理的輔助工具,讓企業生產經營管理與國際先進水平接軌,為相關的科研機構提供有效理論和實踐數據,為政府提供科學的決策支撐,有助于經濟社會有效運轉。
參考文獻:
關鍵詞 計算機技術;集群方案;雙機技術
中圖分類號TP3 文獻標識碼A 文章編號 1674-6708(2013)84-0183-02
1 集群的概念
計算機集群簡稱集群是一種計算機系統,它通過一組松散集成的計算機軟件和/或硬件連接起來高度緊密地協作完成計算工作。在某種意義上,他們可以被看作是一臺計算機。集群系統中的單個計算機通常稱為節點,通常通過局域網連接,但也有其它的可能連接方式。集群計算機通常用來改進單個計算機的計算速度和/或可靠性。一般情況下集群計算機比單個計算機,比如工作站或超級計算機性能價格比要高得多。
按功效,可將集群分為:
1)高可用性集群 High-availability (HA) clusters;
2)負載均衡集群 Load balancing clusters;
3)高性能計算集群 High-performance (HPC) clusters;
4)網格計算 Grid computing。
高可用性集群提供了盡可能大的平均無故障時間時間、盡可能小的平均故障恢復時間。在集群內部署冗余設備,當系統中某臺機器發生故障時,備用機器立刻啟動接管任務。我們通常說的雙機熱備就是一種高可用性集群。
負載均衡集群提供了根據各個節點的閑置能力情況,將并發訪問分散到各個節點上的功能,以使得集群整體的處理能力最大化,或當個任務的等待時間最小。
高性能集群、網格計算著眼點在于如何將一個大型任務分解到集群的各個節點中協同處理。主要應用領域包括天氣預報、核試驗仿真等。在我司目前及未來的主要項目中,一般不包含此類大型任務處理的需求,而主要處理多用戶并發的小任務。這些并發小任務處理的性能問題特別適合使用負載均衡集群予以解決。
按照各種集群產品的技術路線,可將集群分為:
1)系統層集群
系統層集群是集群平臺。在這個平臺之上可以部署各個應用。由集群負責管理、監控應用,當節點發生故障時,集群將各種應用轉移到后備節點上。Windows故障轉移群集就是其典型代表。
2)應用層集群
特定應用所構成的集群。例如,數據庫應用集群,web服務器集群。相應的集群只能實現特定應用的故障轉移。
2 集群產品分析
2.1 Windows server故障轉移群集(MSCS->WSFC)
2.1.1 概述
Windows Server 故障轉移群集提供了各種基礎結構功能來支持所承載的服務器應用程序(如 Microsoft SQL Server和 Microsoft Exchange)的高可用性和災難恢復方案。如果一個群集節點或服務失敗,則該節點上承載的服務可在一個稱為“故障轉移”的過程中自動或手動轉移到另一個可用節點。
Windows故障轉移群集是windowsserver的一個組件。通過該組件將多個計算機構成基于共享存儲的集群。WSFC可以管理windows系統中的各種資源、應用程序和服務,為其提供系統層面的故障轉移能力。
Windows故障轉移群集是一個應用層集群、故障轉移集群。
在windows server 2003中稱為MSCS,在2008中稱為WSFC。
2.1.2 系統結構圖
2.1.3 功效
1)故障轉移
故障轉移功能是通過群集中連接的多個計算機中的冗余實現的,每臺計算機都具有獨立的故障狀態。為了實現冗余,需要在群集中的多個服務器上安裝應用程序。但在任一時刻,應用程序只在一個節點上處于聯機狀態。當該應用程序出現故障或該服務器停機時,此應用程序將在另一個節點上重新啟動。
2)可以實現多節點互備功能。
在集群中部署多個應用(例如數據庫、webserver等),正常情況下。各個應用分別在不同節點上運行。當任何一個節點故障時,該節點上運行的應用自動轉移到其他節點上,從而實現雙機互備。
3)可擴展性
可在線增加新節點
2.2 Oracle clusterware
概述:
Clusterware是oracle提供的集群軟件。提供系統級的故障轉移能力。類似于windows故障轉移群集。在其之上可以安裝各種應用(如數據庫、webserver),可實現各種應用的故障轉移。但實際情況是,clusterware往往只被用于oracle RAC方案中。
2.3 Oracle RAC
2.3.1 概述
Oracle RAC是oracle數據庫提供的數據庫集群功能組件。RAC支持一臺或多臺機器建立數據庫集群,可將多個性能一般的設備組成集群,從而提高集群整體的并發處理能力。RAC中的多個節點不分主、備,同時在線,同時對外提供服務。
Oracle標準版包含此組件。Oracle企業版可選擇此組件。
2.3.2 系統結構圖
2.3.3 功效
1)故障轉移 (failover)
實現了對客戶端透明(TAF)的故障轉移。所謂TAF,就是連接建立以后,應用系統運行過程中,如果某個實例發生故障,連接到這個實例上的用戶會被自動遷移到其他的健康實例上。對于應用程序而言,這個遷移過程是透明的,不需要用戶的介入,當然,這種透明要是有引導的,因為用戶的未提交事務會回滾。相對與Client-SideConnect Time Failover的用戶程序中斷,拋出連接錯誤,用戶必須重啟應用程序,TAF這種方式在提高HA上有了很大的進步。
ORACLERAC故障轉移的特點:
(1)訪問時應用透明(注意不是對oracle客戶端的透明),程序通過oracle端訪問rac,訪問程序無需了解數據庫是雙機還是單雙機,只通過本地服務名即可訪問;
(2)故障時應用透明,一些情況下,應用感受不到某個節點發生了失敗,不會收到異常。一些情況下,應用收到異常,但不需要再次連接,即可繼續執行訪問。一些情況下,應用程序收到異常,并需要重新連接。
2)負載平衡(load balance)
服務器端的負載均衡可以根據RAC中各節點的負荷及連接數情況,而判定將新的客戶端連接分配到負荷最小的節點上去。
3)可擴展性
在不中斷服務的情況下,在線增加節點。滿足業務擴展帶來的性能要求。減少首次投資,降低風險。
3 結論
3.1 集群總結
1)群集分兩個層面:系統層群集和應用層群集;
2)Oracel rac屬于應用群集;
3)Windows故障轉移群集是系統層群集;
4)群集能夠實現一部分高可用性的要求;
5)Rac能實現負載平衡的需求;
6)Windows群集能實現多種應用程序環境下的互備方案;
7)高可用性的需求和場景很多,還需要群集之外的方案來實現;
8)除了高可用性的需求外,用戶可能還要有其他需求,例如數據冗余、災備,需要用集群以外的方案來實現。
3.2 集群選型的一般步驟
1)確定用戶需求
技術方案與需求矩陣
需求
方案 高可用性 性能 數據冗余 災備
節點 網絡 存儲 負載均衡 IO
集群 RAC √ √
Windows WSFC √
DATA GUARD √ √
ASM √
RAID √ √
網卡驅動中間件 √
2)確定用戶價格偏好
3)確定用戶使用習慣
>> 基于linux系統集群的架構與實現 基于Linux的計算機集群系統的設計與實現 基于Linux系統的軟件技術應用研究 通過虛擬化技術在Linux系統下搭建Hadoop集群的研究與實現 基于ARM的Linux系統移植研究與實現 基于Linux嵌入式系統的研究與分析 基于linux集群系統負載平衡下的作業管理策略 基于ARM與Linux的嵌入式系統教學項目的研究與探索 基于Linux操作系統教學設計的應用分析 基于Linux的實時操作系統的研究 基于Linux系統的機房溫度監控報警平臺的研究與實現 基于PDA的linux文件系統裁剪問題研究 基于Linux系統的遠程控制技術研究 基于Linux智能DNS系統的研究和實現 基于Linux的文件系統監控技術研究 基于Linux內核的文件系統監控研究 基于Linux系統調用的反跟蹤技術研究 基于Linux操作系統的網絡編程方法研究 Linux環境下集群系統的資源管理 基于Linux的嵌入式監控系統軟件平臺研究與設計 常見問題解答 當前所在位置:l
# service httpd restart
(3)測試RS
訪問192.168.122.10,網頁中就會出現web1。
4.2 調度器配置Haproxy(主/備)
(1)安裝Haproxy
# yum -y install haproxy
# cp -rf /etc/haproxy/haproxy.cfg{,bak}
(2)配置Haproxy
(3)啟動haproxy
# service haproxy start
# chkconfig haproxy on
4.3 測試主備調度器
訪問192.168.122.2,不斷刷新,頁面中會隨機出現web1、web2和web3。輸入用戶名和密碼之后,顯示的界面;網頁中勾選http2――Soft Stop――Apply,訪問192.168.122.2,不斷的刷新,頁面中會出現web1和web3,但是不會出現web2,將http2Soft Start之后,又恢復正常。使用命令行的方式將web3的httpd的服務停掉,訪問192.168.122.2,不斷刷新頁面,頁面中會出現web1和web2,但是不會出現web3,而且192.168.122.2:1314/haproxystats頁面中http3變成紅色。在命令行中重新啟動web3的httpd服務,頁面中紅色的http3又變回綠色,重新訪問192.168.122.2的網站,又恢復正常。
5 結束語
集群并不是一個全新的概念,早在七十年代的時候,計算機廠商和一些研究機構就開始對集群系統進行研究和開發,對集群的研究源于集群系統性能的良好的可擴展性。文章以Haproxy LB集群為例進行集群應用的實施,使用Haproxy+Keepalived兩種軟件,實現了Linux系統下創建低成本、高性能、高可用的集群系統的效果,旨在為集群的發展與成熟提供參考和建議。
參考文獻
[1]王國明.集群計算系統的分析與研究[J].電腦知識與技術,2006(32).
[2]孟相武,等.基于Linux的高可用集群系統的設計及實現[J].電子科技大學學報,2005.
關鍵詞: 大型計算機網絡; 非正常數據; 數據挖掘技術; 合理挖掘
中圖分類號: TN711?34; TP393.08 文獻標識碼: A 文章編號: 1004?373X(2017)12?0059?04
Abstract: Various softwares and equipments in large?scale computer networks have security holes, which lead to the previously?proposed abnormal data mining methods in large?scale computer networks can′t make reasonable mining. Therefore, a new abnormal data mining method in large?scale computer network is put forward. The method can mine the abnormal data in large?scale computer network by data washing, data format conversion and pattern mining operation. The data mining system designed with the proposed method is composed of data mining processor, analysis module and database. The database provides the processing and mining schemes for data mining processor and analysis module. The data mining processor is used to monitor the abnormal situation in large?scale computer network in real time, and carry out data processing. The analysis module is used to analyze the processed data by means of "secondary activation" mode, and dig up the abnormal data. The experimental results show that the proposed method has good convergence, and the system designed with the method has strong scalability.
Keywords: large?scale computer network; abnormal data; data mining technology; reasonable mining
0 引 言
隨著電子信息技術的普及和不斷發展,大型計算機網絡隨之產生,越來越多的網民能夠更為便捷地享受各種信息資源,現如今,網絡已成為人們生活中不可缺少的一部分。大型計算機網絡在為人們提供便利的同時,也造成了一定的困擾,網絡入侵事件時有發生[1]。若想有效維護大型計算機網絡安全,需要將其中的非正常數據準確、高效地挖掘出來,相關組織已開始著手進行大型計算機網絡中非正常數據挖掘技術的研究工作[2]。
1 非正常數據挖掘技術
數據挖掘技術是指依據特定任務,將重要的隱含知識從具有一定干擾存在下的隨機數據集群中提煉出來[3]。數據挖掘技術是一項交匯科目,經其挖掘出來的數據具有一定的輔助決策作用。將這種技術用于進行大型計算機網絡非正常數據的挖掘工作中,能夠自動控制大量初始數據,為用戶提供更多的便利[4]。
所提大型計算機網絡中非正常數據挖掘方法的挖掘流程如圖1所示。
由圖1可知,所提方法先對大型計算機網絡中的初始數據集群進行統一處理,處理過程包括數據洗滌和格式變換。數據洗滌的目的是將初始數據集群中的噪音、重疊參數和缺失重要特征的數據除去,再經由格式變換,使洗滌后的數據集群特征更加明顯,提高對非正常數據的挖掘準確性。
當數據處理完畢,所提方法隨即開始進行模式挖掘。所謂模式挖掘,是指通過對比分析方式獲取大型計算機網絡中數據之間共有特征的過程,所獲取到的共有特征即為數據挖掘技術中的“知識”[5]。
將模式挖掘定義成向的映射,和均是大型計算機網絡中初始數據集群的一部分,并且,。在中隨機定義一個數據集群,此時可以將和在中出現的幾率設為向映射的知識,用表示,則有:
設置和的取值范圍可使所提大型計算機網絡中非正常稻萃誥蚍椒具有收斂性。若無特殊規定,可將二者的取值范圍均設置在0~100%之間。如果用戶需要對某一特定的非正常數據進行精準挖掘,也可隨時變更取值范圍。
取值范圍設定成功后,本文將式(1)和式(2)中的重疊部分輸出,用來表示大型計算機網絡中非正常數據的挖掘結果。
2 非正常數據挖掘系統設計
2.1 系統總體設計
現使用所提大型計算機網絡中非正常數據挖掘方法設計數據挖掘系統,以實現對大型計算機網絡安全的有效維護。
所設計的系統由數據挖掘器、分析模塊和數據庫組成,如圖2所示。數據挖掘器被安放在大型計算機網絡的特定節點上,用來實時監控網絡工作的非正常情況,并進行數據處理。分析模塊負責對數據挖掘器處理過的數據進行分析,進而挖掘出大型計算機網絡中的非正常數據。數據庫為數據挖掘器和分析模塊提供數據的處理和挖掘方案。
2.2 系統具體設計
在所設計的大型計算機網絡非正常數據挖掘系統中,數據挖掘器可看作是大型計算機網絡初始數據集群的接收端,用于獲取數據挖掘技術中的“知識”,其工作流程如圖3所示。
由圖3可知,在數據挖掘器開始工作前,數據庫會事先根據大型計算機網絡初始數據集群的特征制定數據挖掘器的具體挖掘方案,并對其實施驅動。數據挖掘器根據挖掘方案對數據進行洗滌和格式轉換等處理。處理結果將被存儲。
值得一提的是,數據挖掘器具有自檢功能,如果處理結果不符合用戶所設定的置信度,那么該結果將會被保留到數據挖掘器的緩存器中。一旦緩存器中有新鮮數據進入,數據庫便會重新驅動數據挖掘器,直至處理結果成功通過自檢。隨后,所設計大型計算機網絡中非正常數據挖掘系統的分析模塊將對數據挖掘器的處理結果進行分析。為了增強系統的可擴展性,應充分利用系統計算節點的性能,并縮減節點失效率,為此,給分析模塊設計出一種“二次激活”方式[6],以延長系統計算節點的使用壽命,如圖4所示。二次激活是指當系統計算節點出現疲勞狀態時,分析模塊將自動放出替補節點,使疲勞節點擁有足夠的時間去休整。休整后的計算節點將替換下替補節點,繼續進行數據挖掘工作。
在分析模塊中,每個計算節點均有多個替補節點,如果節點即將失效并且未能尋找到下一個合適的計算節點,將采取替補節點與性能相似節點同時工作的分析方式,以保證所設計大型計算機網絡中非正常數據挖掘系統的可擴展性,并使挖掘結果更加準確。
3 實驗驗證
3.1 方法收斂性驗證
在大型計算機網絡中,只有具有較好收斂性的非正常數據挖掘方法才能有效保證挖掘結果的準確性。為了驗證本文所提方法收斂性的優劣,需要進行一次實驗。本次實驗在某大型計算機網絡實驗室中進行。用于進行數據挖掘的主機配置為:3 GB內存、四核i7處理器、500 GB硬盤。實驗中,于主機寫入本文方法,并向大型計算機網絡中加入兩種類型的大數據集群,兩集群中的數據節點[7?8]分別為4萬個和80萬個。當數據節點中的數據不出現波動時,表示本文方法已進入收斂狀態,此時主機便不會再向下一節點傳遞數據。實驗結果如圖5所示。
從圖5可明確看出,本文方法具有收斂性,并且大數據集群中的數據節點越多,方法的收斂時間就越短。在兩種大數據集群中,本文方法的收斂時間分別為1.2 s和4.3 s。據統計,其他方法的收斂時間大多在10.8 s左右,這顯示出本文方法具有較好的收斂性。
3.2 系統可擴展性驗證
為了驗證經本文方法設計出的數據挖掘系統是否能夠合理應對大型計算機網絡中非正常數據的更新,需要對本文系統的可擴展性進行驗證。實驗選出的對比系統有基于Hadoop的數據挖掘系統和基于并行圖算法的數據挖掘系統。
在第3.1節實驗的基礎上,只保留大數據集群2,并分別以橫向和縱向方式向集群的數據節點中隨機寫入30 000個非正常數據。使用三種系統對大型計算機網絡中的非正常數據進行挖掘,所得實驗結果如圖6~圖8所示。
由圖6~圖8可知,三個系統在縱向寫入下的可擴展性均低于橫向寫入。與其他兩個系統相比,本文系統參與進行非正常數據挖掘的節點數量更多,并且節點失效率最少,證明使用本文方法設計出的數據挖掘系統具有較強的可擴展性。
4 結 論
本文提出一種新型的大型計算機網絡中非正常數據挖掘方法,并使用該方法設計數據挖掘系統。數據挖掘技術是指依據特定任務,將重要的隱含知識從具有一定干擾存在下的隨機數據集群中挖掘出來。將數據挖掘技術用于進行大型計算機網絡非正常數據挖掘工作中,能夠對大量數據進行自動控制,為用戶提供更多便利。實驗結果表明,本文方法具有較好的收斂性,使用本文方法設計出的數據挖掘系統也具有較強的可擴展性,可將大型計算機網絡中的非正常數據準確、高效地挖掘出來。
參考文獻
[1] 吳嘉瑞,唐仕歡,郭位先,等.基于稻萃誥虻拿老中醫經驗傳承研究述評[J].中國中藥雜志,2014,39(4):614?617.
[2] 李善青,趙輝,宋立榮.基于大數據挖掘的科技項目模型研究[J].圖書館論壇,2014,34(2):78?83.
[3] 丁騁騁,邱瑾.性別與信用:非法集資主角的微觀個體特征―基于網絡數據挖掘的分析[J].財貿經濟,2016,37(3):78?94.
[4] 楊丹丹.搜索引擎及網絡數據挖掘相關技術研究[J].數字化用戶,2014,20(11):126.
[5] 王元卓,賈巖濤,劉大偉,等.基于開放網絡知識的信息檢索與數據挖掘[J].計算機研究與發展,2015,52(2):456?474.
[6] 唐曉東.基于關聯規則映射的生物信息網絡多維數據挖掘算法[J].計算機應用研究,2015,32(6):1614?1616.
關鍵詞:超級計算;CAE集成平臺;架構設計;第1個原型
中圖分類號:TP311.52 文獻標識碼:A
Architectural Design of CAE Integration
Platform Based on Super Computation
DENG Ziyun1,2 , ZHANG Jing1,BAI Shuren2,LIU Zhaohua2,CHEN Lei2,ZHANG Wei2
(1.College of Electrical and Information Engineering, Hunan Univ, Changsha, Hunan 410082, China;
2.National Supercomputing Center in Changsha, Changsha, Hunan 410082, China)
Abstract:CAE Integration Platform based on Super Computation can solve some problems in industrial products design, such as CAE software integration, calculation speed and parallel computer using. This paper proposed the overall structure and the overall architecture of the platform for development. The platform consists of 5 layers and 7 subsystems. The front end system adopts SSH architecture, ESB bus and middleware uses Spring, Hibernate and Tuscany combination. Cluster system is mainly on the “Tianhe No.1” super computer scheduling system improvements. According to the overall architecture design, the prototype platform was developed.
Key words: super computation; CAE integration platform; architectural design; first prototype
1 問題提出
企業在應用CAE(Computer Aided Engineering,計算機輔助工程)軟件進行工業領域產品設計的過程中普遍發現存在以下問題:
1)CAE軟件集成問題
CAE軟件的品種有許多種,如CATIA,ABAQUS,ANSYS,LSDYNA,Fluent,SINOVATION等,行業應用、軟件功能各有側重,相互孤立,需要將這些軟件通過接口統一集成起來,從而可以共同工作[1-2],如能以云計算形式供企業共享使用則更為節約資源和成本.
2)計算速度問題
一個模型從初始建模、計算到優化處理,最終成型,要進行各種環境條件、材質、載荷下的仿真與計算,往往需要反復調整參數、計算、評估許多次,而CAE仿真需要進行大量的計算,現有計算機單機性能仍然存在瓶頸[3],需要使用超級計算機來支持大規模的并行計算來縮短工業設計仿真的計算時間.
3)并行計算機使用問題
使用超級計算機的技術門檻較高,需要操作人員掌握的專業技術知識較多,比如Unix或Linux操作系統、應用行業專業知識、并行計算,甚至系統分析設計及程序開發[3].超級計算機的計算資源如能以Web的方式提供給公眾用戶使用則更為便利.
解決這些問題的根本辦法就是研發出一個“基于超級計算的CAE集成平臺”(以下簡稱“超算CAE平臺”).要研發出“超算CAE平臺”首先要考慮的問題就是根據業務需求來理清平臺的構成,搭建起先進而又穩定的平臺總體架構,再進行下一步的設計和編碼.
2 研究現狀與趨勢
“超算CAE平臺”是工業設計領域的新興發展趨勢,國內國際的研究水平差距較小,但我國在超級計算機系統和CAE軟件的無縫集成技術方面,尚缺乏研究基礎和工程應用經驗[4-5].
大型工程和復雜產品,例如盾構機、火星著陸器、飛機、輪船等,結構及其仿真都很復雜,依靠PC機、普通工作站無法完成其結構、功能與可靠性一體化的優化設計,這就必須依靠超級計算機技術來解決問題[6-8].
以第三方軟件為平臺集成CAD(Computer Aided Design,計算機輔助設計)/CAE軟件是構建集成設計系統平臺的一種趨勢.適應于超級并行計算機和機群的高性能CAE求解技術,多種專業領域的CAE計算分析軟件的集成化及其聯合仿真,建立多物理場、多場耦合、不確定性的大型工程和復雜產品的計算模型,實現對大型工程和復雜產品的全面仿真分析和優化設計,是解決其多目標優化設計問題的必然途徑[4-5].
3 主要業務過程描述
“超算CAE平臺”的主要用戶是工業設計中的設計人員,其目的是利用該平臺實現工業設計中各類產品的設計、分析、計算、仿真和試驗,并且讓用戶可以通過互聯網環境使用該平臺.“超算CAE平臺”中的主要業務流程有三種:
1)針對各種CAE商業軟件的求解器應用.
這種應用的主要過程要經歷用戶作業生成、作業提交、作業監控、結果運用4個階段[9].
2)針對各種CAE商業軟件的前后處理的應用.
該流程有前處理和后處理.前處理流程包括CAD模型的導入、相關參數的設置、前處理結果的導出、網格的劃分、載荷的施加等.在擁有超級計算機的情形下,可將網格劃分較細以得到更加優質和精確的計算結果[10].后處理流程包括計算結果的導入和計算結果的展示,即將求解的結果導入到CAE軟件中,查看并進一步分析計算結果,計算結果可以圖形化的方式來展現.
3)多種CAE軟件的綜合應用.
這種應用主要是復雜業務流程的組合,例如機電液一體化聯合仿真、流固耦合、CAE參數的迭代優化等復雜過程.
4 平臺總體構成
“超算CAE平臺”由5層7個子系統構成,如圖1所示.
表現層為“超算CAE平臺”門戶網站;應用層為作業提交與監控系統、計算資源管控系統;表現層和應用層合為平臺的前端系統部分.
ESB(Enterprise Service Bus,企業服務總線)層為服務構件裝配與復雜業務流程組合系統;中間件層為“超算CAE平臺”中間件系統;ESB層和中間件層合為平臺的ESB總線與中間件系統部分.
HPC(Hign Performance Computing,高性能計算)層則分別在Linux集群(“天河1號”超級計算機)和Windows集群中駐留研發的軟件,比如完成作業調度的功能、資源監控的功能,以供中間件層進一步整合資源,形成共同和相對獨立且機制靈活的任務調度;HPC的兩個集群駐留軟件系統合為平臺的集群端系統部分.
安全管控系統貫穿于其它系統之中,但各個系統中有關安全的部分又能組合形成一個綜合的解決方案.
5 平臺總體架構設計
5.1 平臺總體架構
“超算CAE平臺”的總體架構設計如圖2所示.下面針對該平臺的總體架構各層分別描述如下.
1)門戶層
可針對不同的用戶類型和用戶對界面進行個性化配置;可對集成的應用系統,包括作業提交與監控系統、計算資源管控系統進行界面集成、信息集成,形成統一的Portalets;可對不同的用戶類型做出不同的權限配置;子系統集成可實現單點登錄,用戶登錄時應當使用USB Key進行身份認證.
2)應用層
應用層的系統主要包括作業提交與監控系統和計算資源管控系統.用戶在使用作業提交與監控系統時可生成作業、提交作業、監控作業、監控作業的執行過程、獲取作業結果、進行作業的前處理和后處理,展現計算結果和查看作業的計費情況;計算資源管控系統可查看執行的作業的情況,進行能耗管理,生成資源熱圖和資源統計報表,進行必要的賬務處理,如針對不同的用戶設置賬戶預留資金、對賬戶進行充值等,可查看平臺生成的各種日志,可查看Linux集群(“天河1號”超級計算機)和Windows集群的網絡狀況,可對用戶的作業進行必要的干預,可對用戶的類型、信息、賬戶數據進行適當的審批和調整.
3)ESB總線
ESB總線即服務構件裝配與復雜業務流程處理系統,利用開源的Tuscany SOA(ServiceOriented Architecture,面向服務的架構)軟件對各種服務構件在協議解藕的基礎上進行統一的封裝,形成與其它系統集成與通信的接口[11-12];在通信上統一采用XML(Extensible Markup Language,可擴展標記語言)報文,支持使用XML Schema進行數據校驗;可將XML報文利用路由配置接收來自其它系統的報文,再根據報文處理的需求和情況發送到目標系統;采用Spring開源軟件對各種構件使用AOP(AspectOriented Programming,面向切面的
程序設計)編程技術進行前置、后置等增強處理,形成不同業務的處理流程,支持復雜業務流程的處理.
4)中間件
中間件主要功能是屏蔽Windows集群和Linux集群(“天河1號”超級計算機)之間的差異,根據目標集群來生成不同的指令或腳本,提交目標集群執行,并獲取到中間結果和最終結果;可獲取集群的結點狀態,CPU/GPU、License等資源的分配情況和使用情況;作業執行的情況,以及對作業可進行干預;支持在一個作業中執行多個任務或作業步,從而可在一個作業中進行協同作業.
5)HPC層
在Windows集群和Linux集群(“天河1號”超級計算機)中會裝有各種CAE大型商業行業應用軟件,可執行結構力學、流體力學、電磁學等學科的有限元分析與計算,通過集群內的調度軟件來進行大規模分布式計算作業;改進集群端的調度軟件,以支持優先級調度、CAE行業應用軟件License管理等功能.
5.2 前端系統架構
前端系統主要包括門戶、作業提交與監控系統、計算資源管控系統,各層次劃分及功能描述如圖3所示.
1)展示層
展示層負責處理與操作者的交互,收集操作數據提供給應用服務者,并根據應用服務者的反饋將返回的數據通過一定的形式在界面上展示.展示層包括客戶端界面邏輯和應用服務端數據表示邏輯.
2)業務層
業務接口層對上層傳遞來的數據進行解析并分別送入不同的邏輯處理,向用戶返回底層邏輯處理結果.
[3] 朱小謙, 孟祥飛, 菅曉東, 等.“天河一號”大規模并行應用程序測試[J].計算機科學,2012,39(3):265-267.
ZHU Xiaoqian, MENG Xiangfei, JIAN Xiaodong,et al. Performance test of massively parallel program on TH1 A [J]. Computer Science,2012,39(3):265-267. (In Chinese)
[4] 田榮.中國CAE軟件發展的新契機[J].計算機輔助工程,2011,20(1):141-143,147.
TIAN Rong. New opportunity for CAE software development in China [J]. Computer Aided Engineering,2011,20(1):141-143,147. (In Chinese)
[5] SUN Ninghui,KAHANE D,CHEN D. Highperformance computing in China: research and applications[J]. Int J High Performance Computing Applications,2010,24(4): 363-409.
[6] 丁峻宏, 李根國, 金先龍, 等.基于高性能計算的CAE技術在大型盾構施工仿真中的應用[J].計算機輔助工程,2011,20(1):163-167.
DING Junhong, LI Genguo, JIN Xianlong,et al. Application of CAE technology based on high performance computing in largescale shield construction process [J]. Computer Aided Engineering,2011,20(1):163-167. (In Chinese)
[7] KASPER T, MESCHKE G. On the influence of face pressure, grouting pressure and TBM design in soft ground tunneling[J].Tunneling & Underground Space Technol,2006,21(2):160-171.
[8] SCHMITT J, FRITSCH M,GATTERMANN J,et al. Numerical investigations to the influence of rearrangement of ground pressure for shield tunneling[C]//Proc ICOSSAR 2005.Rotterdam: Mill Press,2005:1317-1323.
[9]王波 章巧芳 彭偉.基于廣域網的CAE資源共享平臺的開發及應用[J].機械設計與制造,2010(4):64-66.
WANG Bo, ZHANG Qiaofang, PENG Wei. The development and application of CAE resource sharing platform based on the WAN [J]. Machinery Design & Manufacture,2010(4):64-66.(In Chinese)
[10]劉德仿,李麗英,周臨震,等.基于ANSYS的建模及分析方法研究[J].制造業自動化,2011,33(10):140-142,149.
LIU Defang, LI Liying, ZHOU Linzhen,et al. Research of modeling and analysis method based on ANSYS[J]. Manufacturing Automation,2011,33(10):140-142,149. (In Chinese)
[11]鄧子云, 楊曉峰, 黃婧.基于ESB的SOABPM系統集成平臺關鍵技術研究與實現[J].科學技術與工程,2010,10(3):798-802.
DENG Ziyun, YANG Xiaofeng, HUANG Jing. The key technology research and implementation of SOABPM system integration platform bBased on ESB[J]. Science Technology and Engineering, 2010,10(3):798-802. (In Chinese)
[關鍵詞] 疊前逆時偏移;CPU/GPU集群;設計;部署;地震成像
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2013 . 21. 028
[中圖分類號] F270.7;TP315 [文獻標識碼] A [文章編號] 1673 - 0194(2013)21- 0047- 02
1 引 言
目前,國內外所有行業的信息化、數字化建設突飛猛進,各種應用軟件及科研手段日益依賴于各種有效的信息渠道(數據中心、信息通道),通過這種高度的信息化、數字化方式,生產效率得到前所未有的提高,企業效益(收益)豐厚,企業資源得到很好的積累與保護,企業資源得到合理使用與規劃,企業競爭力增強。作為高性能運算應用的主要領域,石油地震數據處理系統要求計算機系統運算性能與運行穩定性極高的計算環境。作為核心技術的代表和戰略決策的參謀部,大慶油田勘探開發研究院承擔著大慶探區24萬平方千米的油氣勘探重任,為了不斷適應今后企業的市場需求和強化自身的競爭力,擁有運行穩定、技術先進、性能優異的CPU/GPU集群處理系統來滿足勘探技術要求是非常必要的,特別是提升大慶油田疊前深度偏移和疊前逆時偏移的處理能力。
2 CPU/GPU集群系統的總體架構設計
本次引進的CPU/GPU集群系統由偏移處理集群、常規處理集群、GPU集群、管理節點、刀片機箱、集群軟件及機柜組成;該集群系統的核心是268臺 HP BL460c G7刀片服務器作為偏移處理CPU節點、56臺 HP Proliant DL160G6作為常規處理CPU節點,42臺SL390作為逆時偏移CPU節點/逆時偏移GPU節點,15臺DL380G7服務器作為管理控制節點,配備先進的Extreme BDX8萬兆網絡交換機、兩臺4萬兆IB交換機用來提升高性能計算系統的計算能力,進而提升大慶油田地震資料處理系統中疊前深度偏移的處理能力,使之能夠滿足現在及未來幾年內研究院生產任務的高性能計算需求。具體的拓撲示意圖如圖1所示。
3 CPU/GPU集群系統的軟件架構
在CPU集群上安裝GeoEast常規處理軟件(256個CPU許可),在GPU集群(總共84個GPU)上安裝GeoEast-Lightning逆時偏移成像軟件。配置用于疊前逆時偏移計算的速度建模軟件及配套的地震處理軟件。
根據GeoEast地震處理軟件、GeoEast-Lighting逆時偏移軟件對操作系統安裝環境的要求,確定了RedHat Linux操作系統版本、內核版本及系統環境配置需求,保證新集群系統的快速安裝部署。
剩余的節點,安裝升級的Paradigm處理軟件,包括:GeoDepth2D/3D建模與深度域成像系統、三維各向異性克希霍夫疊前深度偏移(費馬/程函旅行時間/波前重建)、3D TTI 三維各向異性克希霍夫疊前深度偏移等模塊。系統軟件結構如圖2所示。
4 CPU/GPU集群系統特點
4.1 計算節點處理器效率高
隨著新的勘探技術的不斷應用和開發,一些非常規處理的技術必須使用計算性能極高的計算機系統來實現。針對大慶勘探開發研究院高性能數據處理計算機系統在特殊處理應用(疊前深度偏移應用)上存在計算性能不足的問題,CPU/GPU集群系統計算節點的配置在核數和主頻方面都要高于現有系統的配置(2C6核2.8GHz)。
4.2 計算節點大容量內存的需求
現有系統的疊前深度偏移處理能力不足,其主要原因是計算節點的內存太小,所以新計算節點的物理內存盡量大一些,CPU核數與內存的比例最佳實踐比例為1 ∶ 4,這樣能更好地發揮CPU的性能(12核48G內存)。
4.3 集群管理簡單、維護方便
計算機集群系統是一個由多個節點組成、采用多種并行計算技術構成的復雜的計算機系統,這種集群計算機系統要想實現穩定、高效地處理地震作業,不僅要解決各個節點之間的通訊和延遲問題,而且還必須有高效、界面豐富、維護容易的管理和診斷軟件。比如實現系統的并行安裝和配置;上百個服務器的批量開關機;動態監視系統資源使用情況等。
4.4 靈活方便的擴展性需求
新系統除了具有較高的性能且便于管理外,應該還具有靈活、方便的擴展性,隨著業務的發展,用戶可以在原有設備基礎上,增加少許投入,在不影響現在應用運行的基礎上實現系統硬件平臺的升級。特別是將來擴展服務器設備時,除了硬件本身的費用,還應突破軟件的限制,降低總體采購的成本。
5 CMU集群部署管理工具
HP CMU (Cluster Management Utility) 的集群管理工具是面向Linux集群的產品,可以管理相應的I/O、計算節點和管理節點,進行日常監控與備份、Clone工作,也可以通過廣播方式發送并行命令,惠普集群的操作系統都是通過惠普提供的CMU來進行安裝和維護的,通過Backup功能,備份操作系統的鏡像,通過Clone功能,將相應LogicGroup中的鏡像克隆到節點。不同的鏡像文件屬于不同的LogicGroup。當節點發生硬盤故障,需要恢復操作系統時,只需要確定該節點屬于哪個LogicGroup,選中后,用該LogicGroup中的鏡像進行Clone就可以了。
6 結束語
這次引進的CPU/GPU疊前逆時偏移處理系統,根據總體方案設計,完成了新集群系統的硬件設備安裝、操作系統環境和地震處理軟件部署,實現新引進集群與已有的處理系統的高效集成應用。并針對新引進的CPU/GPU處理集群系統的硬件、網絡、存儲及地震處理軟件進行總體架構設計和優化配置,建立了滿足疊前逆時偏移處理的計算平臺,該集群的投產,將大大提高地震處理成像精度,對實現大慶油田“原油4 000萬噸持續穩產應穩定到2020年、油氣當量重上5 000萬噸”的目標提供強有力的技術支持。
主要參考文獻
近日,在追蹤并探查高性能計算(HPC)趨勢的項目《全球超級計算機500強》中,我們突然發現,頂級100強的1/3超級計算機正在使用SUSE Linux Enterprise Server操作系統。
在過去的幾年中,高性能計算領域(近期往往被稱為是高生產力計算領域)發生了重大的變革。導致這一現象的原因至少有一部分是因為開源以及各種新興的群集技術的出現。成本更低的硬件與Linux兩者的演變大幅度降低了這些系統的成本。計算機性能在短短幾年就提升了幾千倍,從而使商用硬件以高性能計算Linux集群的形式,也具有超級計算機的強大性能。
事實上,幾乎每一個行業都正在采用Linux集群來實現性能的提升,從而成功達成企業目標。在石油勘探領域的地震分析、汽車與飛機設計領域的空氣動力學仿真、好萊塢的特技效果、生物醫學研究領域的分子建模、具備超級擴展性的商業計算,以及在商業分析領域的數據挖掘與金融模型等等都使用了高性能計算。隨著2011年以來的不斷變革,500強名單現已涵蓋了270臺行業超級計算機,覆蓋學術、研究及政府領域以外的所有行業,其中在能源/石油天然氣以及信息技術服務供應商行業中的超級計算機數量達到最多。最快速的行業超級計算機,并且在500強名單中位列第十一位的是法國道達爾的Pangea計算機,這是一個在SUSE Linux Enterprise Server上運行的SGI ICE X系統。
而基于高性能計算的Lustre,則是一個具備極強可擴展性、并行分布式的文件系統。這一系統能夠支持多個計算機處理集群,實現成千上萬個客戶節點、在數百個服務器上千萬兆字節的存儲容量,以及每秒超過兆字節的聚合式輸入/輸出吞吐量。
SUSE的高級產品經理Kai Dupke表示:“對于擁有大型數據中心以及高性能需求的企業,包括那些在氣象學、仿真、石油天然氣、生命科學、多元媒體以及金融等行業的企業而言,Lustre都是一個十分受歡迎的選擇。”
此外,技術人員還在研發多項存儲技術,如Ceph,它是一個為實現完善的性能、可靠性與可擴展性而設計的統一型、分布式的存儲系統。各種內置的分布式存儲平臺,例如Ceph,預示著計算與存儲計算機處理器倉的結束。計算機處理器可以被用在某個特定需要的時刻,從而使企業能夠最大限度地實現計算機處理器的利用,并且帶來最大的投資回報率。這些新的高性能計算技術和準備上市的行業解決方案都將進一步推進高性能計算向企業應用大步進軍。
關鍵詞 集群系統;通信;開發研究
中圖分類號TN91 文獻標識碼A 文章編號 1674-6708(2011)45-0214-02
1 通信自動化系統總體方案
現今的自動化通信系統可以分為以下幾個部分:
1)OAS辦公自動化系統。
全國第一屆辦公自動化規劃討論會當中,把OAS定義為是以先進科學技術作為主導、在辦公業務活動中將以人為主的體力勞動逐漸轉化為使用各種設備充當勞動力的辦公活動,將辦公室人員與各種設備結合起來共同為某種目的服務,形成一個人機互助的信息處理系統。
OAS與管理信息系統兩者之間既能相互聯系又能彼此區分。MIS處理數據的特點是將信息結構化,而OAS的應用范圍就顯得狹隘一些,主要處理MIS無法完成的任務、重點放在數量眾多并且沒有明確結構的業務上。近年來,信息技術快速發展,其中發展最為顯著的是系統集成技術,OAS與MIS及DSS的集成,合力推出了更為廣義的OAS,就是辦公自動化系統的升級即綜合辦公自動化系統。
擁有超凡的智能化的OAS大廈,就是把上述辦公自動化系統綜合起來應用。對凡是使用它的管理者和用戶都給予支持,處理各種層次的信息和多媒體的信息,在用戶決策時給予正確恰當的意見。
2)BAS是指樓宇自動化系統或者也可以把它叫做建筑設備自動化系統,是把在建筑物或建筑群內的電力設備、照明情況、空調器材、排水情況、消防設施、運輸情況、保安人員、車庫的管理設備或系統中過于分散的事物,全部集中起來進行統一監視、控制和管理,為了達成這樣的目的,形成了綜合系統。這種全部自動化處理的系統,通過對建筑物中的各種設備自動進行監控與管理,使業主和住戶的日常生活和工作更加安全、舒適、方便、它把整個系統的工作狀態調節到最佳,更好的保障系統正常運行,使系統能進行現代化的管理。
2 高可用性集群系統的研究
2.1高可用集群的發展方向
隨著企業經濟的發展,信息系統在企業中廣泛運用,用戶使用的數量正在增多,高可用多節點集群系統的產生,受到了用戶的青睞,隨著企業需求的不斷變化,高可用集群軟件的開發有了新的方向:
1)應用系統發展多樣化形態
對一般業務的開發已經不能滿足于高可用集群應用系統的要求,目前高可用集群系統正在朝著多樣化的方向發展,不能在一般業務上浪費過多精力,還要研制出一些特殊的應用模式。例如在生產制造業中,改變生產線上計算機系統的模式,充分提高系統的可用性;又如在銀行等要求對關鍵業務進行保障的時候,將容錯服務器設為平臺,構建高可用集群系統,這樣的案例可以稱作是硬件和軟件的有機結合,是將系統可用性充分提高的超強組合。
2)運行的形態保證多樣化
隨著技術的不斷發展,CPU多核技術已經成為主力軍,它的優點在于提高了處理能力,通過虛擬化技術的應用,增加服務器整合的需求。有數據表示,在發達國家中VM市場正在以驚人的速度增長。把服務器虛擬化后也存在一些問題,這就要使系統的可用性要比一般服務器高,使得虛擬平臺擁有高可用性。
2.2高可用性集群擁有不間斷應用
高可用性集群要實現不間斷應用的目的就要為計算機系統增加透明的冗余處理能力。高可用性集群的功能是把一組帶有網絡源的計算機系統介紹給客戶。計算機系統中一臺計算機就成為一個節點。當計算機系統中的一個節點不能使用或者不能對客戶的請求進行處理時,這個問題就會立刻被接到另外一個節點上進行工作的繼續,客戶不必知道具體是哪一個節點為自己處理的問題,一切都是以自動的形式進行完成。
除此之外,集群系統還具有硬件拓撲的形式,那么共享磁盤集群系統要達到各個節點數據都要共享,就需要有共享盤柜才能夠實現,共享盤柜主要包括第一服務器、次服務器、存儲列陣這3種是最主要設備,還有就是連接它們的心跳連接線。
集群中兩種服務器要實現各個節點數據的同步進行,就要通過使用數據鏡像技術在本地硬盤上,這樣才能發揮集群的功能。 我們可以實際運用一下,將第一服務器和1節點進行配置,將次服務器和2節點進行配置,兩個服務器都有自己的IP地址,這時集群軟件對他們進行控制,從而形成了兩個服務器共用同一個虛擬的IP地址,客戶這時使用的IP就是這個虛擬的IP地址,這項技術確保了在集群服務進行時,不會對客戶的IP造成影響。
2.3高可用性集群系統的實現方法
2.3.1高可用性集群系統的硬件以及操作系統選型原則
系統層集群方案的主要內容就是硬件和操作選型,一般從廠商的硬件使用高可性方案或者是從操作系統服務商處獲得方案。在實施過程中注意以下問題:
1)考察各種方案的單機故障后的切換時間,是否滿足需求;
2)考察故障切換后的應用能夠繼續正常運行;
3)考察是否存在單一故障點,是否存在整個系統同時失效的可能;
4)考察硬件故障監測的準確率、及時率。排除誤報警、延報普;
5)考察網絡監測故障的準確率、及時率。排除誤報警、延報警;
6)考察是否具備不同主機間進程遷移的能力;
7)考察是否具備故障重啟的能力以及考察廣域集群的能力;
8)考察是否具有根據故障的程度選擇恢復的程度的能力,如根據具體情況,決定全部還是部分切換到備份機;
9)考察集群機組的加入,退出,重新組成應用主備運行的能力。
2.3.2高可用性集群系統實施方案的應用軟件的設計原則
不是所有的應用軟件都可以在高可用性系統上直接應用。即使是在熱備份工作模式,應用軟件也必須滿足一定的條件才能保證故障切換的順利進行。因此設計適合高可用性系統的應用也是開發高可用性系統的重要部分。應用軟件為了能夠在高可用性系統上運行,首先必須滿足下面幾個條件:
1)系統重啟或故障后應用可以自動啟動。應用程序必須提供正常啟動、關閉和故障啟動的機制,能自動進行必要的錯誤恢復;
2)應用程序不能依賴任何所在單機系統的特有數據。包括SystemID洲[AC地址,本地文件系統等;
3)基于高可用性集群技術的通訊系統方案的設想設計基于并發思想的客戶服務器程序。
參考文獻
[1]周明天,汪文勇著.TCP/IP網絡原理與技術[M].清華大學出版社,1993,12.
[2][美]W.RiehardStevens著.UNIX環境高級編程[M].尤晉元,等譯.機械工業出版社,2000,2.
【關鍵詞】計算機技術;網絡;服務器
服務器與工作站的區別表現在PcU數、內存容量及帶寬、I/0帶寬與插糟的數量上。服務器內存容量可到16GB,可提供數10個32位/64位1/0插槽,有較大的內置磁盤或盤陣空間。
一、網絡服務器群集的特點
集群服務器系統都具有很高的可擴展性,可擴展到規模很大的系統。在超級集群服務器中,通信卡是插在外部總線上,通信效率一般不高,但節點機本身是一個完整的中檔或低檔服務器,通用性強.超級服務器的節點機一般是特制的,體積較小,組裝在大機箱中,節點機間連線較短。群集的節點機本身是一個現成的CP機、CP服務器、工作站或中檔服務器,互聯線長、組裝不緊湊,通信效率較低,但同時它的成本也較低,且能夠利用現有的計算機資源,故較容易普及。
集群服務器系統是指將一組或多組結點計算機通過高性能互連網絡連接起來,并作為一個單一系統向用戶提供高性能、高可用服務的系統。它從結構上可以歸結出以下幾個特征:
1.構成集群系統的所有結點是由多個具有各自功能的計算機系統。
2.連接各結點的互連網絡提供結點間高性能、高可靠性和可擴展的通訊服務。
3.整個系統呈現給用戶的是單一系統的映象(SnigelSystmeImage,簡稱551)。
4.整個系統具有高可擴展性(Sea-
lability)。
5.整個系統具有高可用性(Avai
-lability)。
信息化、網絡、電子商務、內容服務、服務器聚集的,計算機與網絡技術的飛速發展,使得應用領域不斷增加。信息技術的應用不但包含有從信息查詢、數據傳送等技術,而且包含網絡環境中的海量數據存儲、數據挖掘和決策信息支持,以及數據存儲的可靠性和可管理性等技術。而這些都需要集群服務器系統來提供更好的服務。
二、節能技術與度量指標
1.節能技術
為了有效解決節能問題,可以從以下六個方面重點考慮其解決方案:
1)全面檢查系統組件。為了有效節能,我們必須先弄清楚電量到底花費在哪以及如何優化使用。在計算機系統中,通常有五個主要的電力消耗組件,即處理器、磁盤、內容、I/O設備和芯片組,要實現整個系統的節能就必須要求改善每一個系統組成部分的能源使用。
2)使用可管理電源的硬件。使用可管理電源的硬件可以幫助提高能效,例如硬件元件的電壓可以通過動態電壓調整(DVS)來調整,動態電壓調整是一種電源管理技術,原理是處理器電壓(速度)降低之后,能量消耗平方級的減少。在降壓狀態(undervolting)下能夠有效節省能源。
3)建立系統能耗模型。為了創建節能系統,我們需要知道系統的結構,創建系統能耗模型,確保系統運行時知道電力的消耗情況,能夠實時調整和控制整個系統的能耗。
4)獲取和衡量系統性能。系統必須能夠在不同負載情況執行任務時及時了解和衡量系統的性能信息,保證系統最小的能量消耗。
5)構建能耗優化器。節能系統應該包括能量優化組成部分,它負責系統運行時硬件的節能配置。
6)降低峰值功率。當前的桌面和服務器處理器在低速運行時的消耗低于峰值功率的1/3,峰值功率的70%可以被節省出來。Tsirogiannis等[1]實驗證明幾乎峰值功率的50%消耗在空閑狀態。
2.度量指標
對于大型集群系統和數據中心來講,維護費用占總擁有成本的比例越來越大。總擁有成本是一種經濟上的技術評價標準,其目的是幫助消費者和企業管理者判斷產品或系統的直接和間接成本。為此需要采用衡量節能技術效果的度量指標,有兩種比較著名的綠色系統標準:1)能效比(performance per watt);2)電源使用效率(power usage effectiveness,PUE)。這些標準的使用可以促使IT設備生產商制造出更節能的產品。1)能效比。能效比是評價計算機結構或計算機硬件能源利用效率的指標。它的計算方法是基準性能值除以平均電力消耗。性能和電力消耗的計量依賴應用領域,在計算機領域,性能的計量通常可采用每秒浮點運算數(Floating
Point Operations Per Second,FLOPS)和每秒百萬指令數(Million
Instructions Per Second,MIPS)。每瓦特的每秒浮點運算數適用于浮點運算量較大的科學計算和模擬系統,作為超級計算機TOP500排行榜補充的Green500排行榜就是采用這個計算方法進行排名的。
三、網絡服務器節能技術應用
1.系統層的能耗優化
在單核或多核的計算機系統中,可以通過調整電壓來控制硬件的電能消耗。Merkel等[2]認為通過合理的調度技巧可以降低內存的能耗,在多核系統下由于受到內存競爭和芯片寬頻率與電壓設置技術的約束,頻率調整的效果將影響到任務執行的效率。為了最小化運行在多處理器平臺下的實時任務能源消耗,
2.應用層的能耗感知
應用層的能耗感知計算最近已經成為熱點研究問題之一,其原因有兩個:一是底層的能源優化在很大程度上依賴于準確估計應用的能耗概況,而大多數所需的信息和參考數據只能由應用程序估計提供;二是很多應用程序有不同的執行路徑來完成相同的計算任務。
多級服務管理上,建立分布式電源管理服務,而不是在單個服務器和負載平衡服務器上,在滿足點對點延時要求的情況下,通過它最小化整體的能源消耗。在Web服務器中,利用DVS和批量請求兩種機制,提出三種節能策略:一是單獨使用DVS,二是在低負載期間批量請求,三是在負載變化較大時采用DVS和批量請求相結合。這些策略都是在考慮系統響應和能耗節省的平衡情況下實現系統應用層節能。Xian等[3]提出能夠便于實現能耗感知系統的程序設計框架,通過不同條件下系統運行時能耗特征的記錄值估計能耗,允許應用程序根據自身的能耗采用不同執行計劃,提供了獲取特定情況下能耗估計值的編程接口以及應用指南,可以方便快捷地構建能耗感知應用程序。
參考文獻
[1]TSIROGIANNIS D,HARIZOPOULOS S,and SHAH M.Analyzing the energy efficiency of a database server[C].SIGMOD.ACM,2010,231-242.
[關鍵詞]高性能計算;數據處理能力;石油勘探;云計算技術
[DOI]10.13939/ki.zgsc.2015.20.055
1 高性能計算在石油勘探開發方面的發展趨勢
1.1 國外的發展趨勢
目前,高性能計算機的性能的速度每年都在快速增長,使其不斷向前發展,其應用由主攻科學計算和工程計算領域,延伸到網絡信息服務和商業自動化領域。
為了提高性能,降低系統功耗,減少占地空間和解決編程和管理較麻煩等問題,高性能計算機技術在發展的同時不斷融入許多新的內容。例如,美國,日本和其他國家試圖運用科學和計算機體系結構的發展結合在一起提供一種新的方法,以此開出一條高性能計算機發展的可持續發展道路。同時,基于網格技術和以商業節點為基礎的高性能計算系統發展非常迅速,其系統的性價比高,研制速度快,美國和歐洲的許多國家紛紛在這類高性能計算機系統研發上投巨資。為了進一步提高高性能計算機的綜合能力,美國正在研究采用包括超導、光互聯和超大規模集成電路等多項先進的技術和工藝。此外,基于量子運算的超高性能計算機的研究,目前正處于理論階段。
1.2 國內的發展趨勢
(1)標準化和集成化的需求:將集群技術標準化,促進了高性能計算機生產的快速發展,同時集成化的集群技術,又拓寬了高性能計算機的應用范圍。堅持標準化與集成化特性和不斷創新技術,高性能計算機的應用前景會越來越繁榮。
(2)集群式高性能計算機的發展:集群體系結構的高性能計算機,指用標準化的互聯網絡將高性能部件連接起來而形成的。科學計算、事務處理和信息服務應用等工作都可以在這個系統平臺上進行。其優勢在于它性價比很高并且具有較高的可靠性和可擴展性,低成本和易維護等。隨著計算機性能的迅速提升和價格的進一步下降,集群式高性能計算機的應用呈現出了蓬勃景象。
(3)網格計算技術的應用:伴隨著高性能計算機和互聯網技術的發展,網格計算技術應運而生,是針對復雜的科學計算的一種全新的計算模式。它主要是通過互聯網把許多分散在不同地理位置的計算機連接起來,形成巨大的高性能計算機。該技術,在石油勘探開發領域發揮了很大作用,成效令人矚目。網格計算技術的推廣和應用,定會使石油工業的未來更加繁榮。
2 高性能計算在石油勘探開發領域中的應用
在石油工程中,數據的處理不容忽視,一點誤差就會帶來很大的損失,這就要求計算機系統有非常高的計算能力,尤其在石油勘探中。石油勘探開發是石油工程的重要組成部分,將在石油的勘探開發中采收集的大量數據進行分析,從而判斷油儲的分布情況。一般是先根據這些數據畫出數據場的等值線,再交由專業人員分析油的分布,有多少油,可想而知這樣的處理方式必會受到限制。另外等值線是二維的,不能形成三維立體的畫面,結果浪費大量的信息的同時又沒有得到我們所期望的結果。如果利用計算機技術和可視化技術,就可以從這些龐大的地震勘探數據中構造出三維實體,顯示參數,直觀地再現油藏的地質構造以及油藏參數在石油開發過程中的變化,給專業人員準確分析和解釋原始數據提供了巨大幫助。這樣的分析將更加準確,定位更加科學,降低石油勘探開發的成本。因此,為了取得勘探的最佳效益,使用高性能計算處理這些海量數據成為必然,這也成為高性能計算在石油勘探領域高需求的主因。
目前,在石油勘探中從采集數據、分析數據、油氣藏描述到開發、鉆井乃至管理整個油田生命周期和對生命周期的經濟評價,全都靠計算機完成。高性能計算機技術的應用非常廣泛,隨著科技的發展,不僅應用在石油化工領域,在氣象預報、核能模擬和生物工程等領域都得到應用,取得了顯著的成績。尤其在石油勘探開發領域,高性能計算機的應用占據了不可或缺的地位,在許多方面象征著高性能計算機技術的發展水平。
3 高性能計算面臨的問題
面對石油勘探行業的特殊性和復雜性,高性能計算如何滿足越來越高要求的數據處理能力成為首要任務。但是目前在計算性能、系統建設與運行成本等方面使得高性能HPC集群計算機系統已經面臨著許多問題,主要表現在三大方面:
一是CPU處理器性能無法滿足對計算能力的需求;
二是石油勘探高速增長的數據和存儲擴容越來越不匹配;
三是能耗制約越來越嚴重,高性能計算機體積大、耗電多以及對計算機房空間、空調、電量需求大。
總的說來,就是傳統的高性能計算方法已無法滿足目前石油勘探行業對計算能力越來越高的要求和對數據處理的大需求,更無法滿足石油勘探發展與應用的需要,這必然導致其會成為制約石油勘探發展的因素。面對這些嚴峻迫切的問題,如何盡快找到滿足高性能計算需求的方法成為石油勘探行業關注的熱點。
4 云計算破局石油勘探高性能計算需求
從目前的形式來看,實現靈活的可伸縮性成為解決石油勘探行業面臨的三大困境的唯一解決之道。也就是要構建滿足石油勘探高性能需求系統的幾大重要點:一是使高性能計算機具有可拓展可伸縮性的計算能力;二是能夠實現對相當大的存儲容量的負載和存儲容量的可伸縮性;三是能夠對計算能力和資源進行更好的管理。因此,許多業內人士將打破石油勘探高性能計算需求局面的希望投向了云計算。
其實,對高性能計算而言,云計算這個概念并不陌生。例如存在一種早期的云計算模式,它把昂貴的計算資源集中部署和集群應用,這就是已經發展近30年的超級計算中心。但這種高計算服務不同于當前所談論的云計算。目前的云計算是傳統計算機技術和網絡技術發展融合的產物,這些技術包括分布式計算、并行計算、網格計算、效用計算、網絡存儲、虛擬化、負載均衡等。其目的是運用網絡把一些較低成本的計算實體整合起來,打造一個具有強大計算能力的系統。如果有效的管理和調度這些用網絡連接的計算資源,建立一個計算資源池以服務用戶,成為云計算的核心思想。
關鍵詞 數學實驗;云平臺;分布式計算;MATLAB
中圖分類號:G642.423 文獻標識碼:B
文章編號:1671-489X(2017)04-0012-03
Abstract This article elaborates design and implementation of the cloud platform of mathematical experiments, and the key technologies used in the process of platform development. The cloud platform is an integrated environment of mathematical experiments on the internet with openness, real-time and accessibility and capable of executing distributed computations. It is able to provide the online service of mathematical experiments and scientific computations for teachers and students, moreover solve complex computation problems. The cloud platform is a way to share the computational resources of high quality in mathematical laboratory within and between campuses, and explore the development road of mathematical laboratory in future.
Key words mathematical experiments; cloud platform; distributed computing; MATLAB
1 前言
目前國內眾多高校的數學實驗室是基于局域網的以微機為主體的機房,難以將其計算資源共享給廣大師生或者科研人員使用,不具備開展大型實驗項目和執行大型計算任務的能力,如大數據的分析處理。如何整合數學實驗室的計算資源,使之能夠提供高性能的計算服務,并將計算服務方便快捷地提供給廣大師生使用,是數學實驗室建設中亟待解決的問題[1]。
因此,一些學者提出基于網絡的虛擬數學實驗室,具有網絡執行MATLAB程序的功能,能進行簡單的數學實驗,具有一定的實驗教學管理功能;還有一些研究提出基于Web和MATLAB的虛擬實驗系統,這些系統針對特定的數學實驗項目編制,允許學生通過網絡修改模型參數進行演示[2-3]。目前這種基于網絡的數學實驗室或者虛擬實驗系統,不能進行分布式計算,難以開展大型的數學實驗項目和完成復雜的科學計算任務,難以處理大規模的并發訪問,離實際應用還有一段距離。
本文應用云計算的技術理念,提出構建基于J2EE(Java 2 Platform, Enterprise Edition)和MATLAB分布式計算技術的數學實驗云平臺,實現數學實驗室的多核、多處理器、多臺微機和大型數值計算軟件等優質計算資源的校內和校際共享,滿足廣大師生日益增長的科學計算需求,特別是在分布式計算和大數據處理方面的計算需求。
2 數學實驗云平臺的設計
系統概述 云計算既指在互聯網上以服務方式提供的應用系統程序,又指在數據中心用來提供這些服務的硬件和系統軟件。云計算可理解為并行計算、分布式計算和網格計算的發展,或者說是這些計算機科學概念的商業實現[4]。
實驗云是遠程實驗技術與云計算技術的融合,將改變傳統的教育模式。數學實驗云平臺應用云計算的技術理念,將數學實驗和科學計算理解為可以提供給用戶的服務,數學實驗室的軟硬件資源為生產該服務的基礎設施。因此,數學實驗云平臺定義為云計算技術下的集成數學實驗環境,為學生、教師和其他用戶提供即時的云端數學實驗和科學計算服務,如并行計算、分布式計算和大數據處理等計算服務,讓傳統數學實驗室的計算和服務能力有質的飛躍。
功能模塊設計 數學實驗云平臺是一個集成的數學實驗環境,在此環境中主要的操作對象有教師、學生、執行特定計算的科研人員和平臺管理人員,該平臺主要功能集中在數學實驗、課程管理、科學計算、協作交流和資源共享等,具體的功能模塊有:
1)數學實驗,用戶通過該模塊接收數學實驗任務、在線進行數學實驗、查看實驗結果及實驗成績、撰寫并提交實驗報告和儲存及查看歷次實驗記錄;
2)科學計算,用戶通過該模塊提交計算任務、編寫計算程序、上傳相關數據和獲取計算結果,進行項目管理;
3)課程管理,該模塊使用者主要為數學實驗教師,主要功能有實驗任務、收集并查看實驗報告、評定實驗成績等;
4)協作圈子,該模塊幫助用戶完成需要團隊合作的實驗或者科研項目,在一個圈子里,圈子成員共享實驗空間、代碼空間,在線討論交流等;
5)文件管理與共享,該模塊提供講義、輔助材料、課程錄音、錄像等課程資源的存儲和共享;
6)人員管理,該模塊用于管理教師、學生和其他人員的個人信息,包括所上課程、所侔嗉妒笛樾∽榛蛘嚦蒲謝構、參與項目、項目角色等信息。
3 數學實驗云平臺的技術實現
系統架構 數學實驗平云臺基于J2EE和MATLAB集群技術開發,采用B/S(Browser/Server,瀏覽器/服務器)架構,如圖1所示。Web服務器負責業務邏輯控制,MATLAB集群負責數學實驗和科學計算,數據庫負責存儲用戶信息、實驗和計算代碼、計算結果、分析報告等。用戶從網頁上發出計算請求,用戶的請求給Web服務器處理之后,將發往MATLAB集群管理器,集群管理器給各計算機分配作業,完成計算任務后將收集計算結果并通過Web服務器返回給用戶,其他需要存儲的信息發往數據庫。服務器端軟件包括J2EE Server(Apache Tomcat 7.0.52)、MATLAB 2012a和SQL Sever2005。
MATLAB分布式計算集群的搭建 MATLAB分布式計算環境由其并行計算工具箱(Parallel Computing Toolbox)、分布式計算服務器軟件(MATLAB Distributed Computing Server)和計算機集群構成(Math Works. 2012. MATLAB Reference guide. Natick, MA, USA)。在MATLAB集群架構中有3種角色:客戶端(Client)、作業管理器(Job Manager)、Worker。客戶端是發起計算任務的MATLAB線程,客戶端發起的計算任務稱為作業(job),作業是運行在MATLAB上的大型運算,客戶端在并行計算工具箱的支持下定義作業并將其分割成若干個可以同時進行的小的運算,這些小的運算稱為任務(task);客戶端將作業發送給作業管理器,作業管理器是服務端應用程序的一部分,用來協調管理作業及其任務的執行;作業管理器將任務分配給服務端獨立的MATLAB線程進行計算,這些MATLAB線程稱為Worker;Worker運行結束返回結果給作業管理器,再由分布式計算工具箱對其結果進行合并,得出最終結果發送給客戶。
在一臺計算機上,MATLAB并行工具箱只允許最多12個Worker同時運行,要使用更多的Worker,需要通過MATLAB的分布式計算服務器軟件組建MATLAB集群。MATLAB集群的搭建分為四大步驟:MATLAB軟件的安裝、搭建集群局域網、分布式引擎的安裝(MATLAB Distributed Computing Engine,
MDCE)、作業管理器和Worker的啟動配置。MDCE是MATLAB的分布式計算服務器軟件的一部分,用以維護Worker之間、Worker與作業管理器之間的通信,打開集群內各計算機的終端界面,進入MATLAB的安裝路徑“/toolbox/distcomp/bin”下,輸入命令“mdce install”安裝MDCE。安裝完畢后,輸入“mdce-version”,出現MDCE版本信息則說明安裝成功,此時,輸入“mdce start”,開啟分布式計算服務。啟動
MDCE服務后,輸入“startjobmanager-name”命令創建作業管理器。
學生的數學實驗程序較簡單,計算量小,但是面臨大量學生并發訪問的問題;科學計算則針對大型計算或者大數據處理,用戶數較少,但每次計算需要占用大量計算資源。為利用MATLAB集群高效完成這兩項功能,在MATLAB集群中建立兩類作業管理器:一類是數學實驗作業管理器,名為EJobManager,擁有80個Worker;一類是科學計算作業管理器,名為SJobManager,擁有120個Worker,分別接受數學實驗和科學計算任務。
MATLAB分布式計算集群的Web調用 Matlabcontrol是讓Java程序與MATLAB交互的API,可以實現從Java程序向MATLAB發送命令,讓MATLAB執行某個M文件等,其jar包可以在goole code中下載。Matlabcontrol調用MATLAB分為四大步驟:設置獲取MATLAB時的相關參數,通過MatlabProxy的工廠方法獲取,運行代碼獲取結果,關閉。在實際應用中獲取和關閉MATLAB要消耗大量的系統資源,運行起來也非常慢。為此,筆者建立一個MATLAB池。池在服務器開啟之時初始化,創建一定默認數量的MATLAB,并且設置一定的限制規則:設置池內最大數,達到這個數目后,新增用戶需要等待其他用戶釋放。在這個機制下,用戶可以直接在池中獲得空閑的,而不是每次連接時新建一個;使用完了之后也不是直接關閉它,而是將放入池中。同時在Servlet中還設置了一個監聽器來監聽每個所使用的連接數,可以標記一個MATLAB進程同時被多少個用戶所使用。本文系統以每個同時最多由20個客戶使用作為限制。
用戶向Web服務器發送求,Web服務器通過Matlab-control建立與服務端的MATLAB鏈接,用戶通過此鏈接向MATLAB集群上的作業管理器注入作業,從而實現調用集群計算機完成計算任務。開啟Tomcat服務器之后,自動加載InitServlet,InServlet中的Init()方法自動初始化MATLAB池,并且默認開啟1個MATLAB進程,把MATLAB的池對象放入Application中。
數學實驗與科學計算模塊的實現 每個用戶所編寫的MATLAB程序執行時間不一樣,用戶通過MATLAB提交作業并等待作業管理器返回計算結果,需要占用MATLAB較長時間,在大量用戶并發訪問時會導致MATLAB資源不足。其解決方案是將作業提交和獲取計算結果異步執行,這樣不僅可以克服因某個用戶程序執行較慢而阻塞MATLAB進程的問題,而且由于用戶提交作業后即釋放對MATLAB的占用,可以讓一個MATLAB響應更多的用戶請求,減少系統開銷。
該解決方案的具體做法是將用戶MATLAB程序封裝成指定名字的作業,通過MATLAB提交給相應的作業管理器,由作業管理器調度MATLAB集群處理。同時采用MATLAB定時器技術在集群端間隔一定時間掃描作業管理器中的作業狀態,對狀態為完成的作業,取回其結果并以文本形式保存到指定目錄下,客戶通過文件監聽和Ajax技術獲取該文本文件中的結果。這樣使得作業提交、作業計算和輸出結果分別在不同的計算機上完成。
通過MATLAB定時器輸出已完成作業的計算結果的MATLAB函數如下:
function getResult(savepath,jobmanager)
[p q r jobM]=findJob(jobmanager);
for i=1:length(jobM)
directory=get(jobM(i),’UserName’);
filename=[directory,datestr(now,30)];
result=getAllOutputArguments(jobM(i));
xlswrite([savepath ‘\’ directory ‘\’ filename],result)
destroy(jobM(i))
end
前端頁面的實現 數學實驗云平臺采用J2EE中的Jsp+
Servlet+Bean的MVC(Model View Controller)設計模式,前端頁面采用Bootstrap框架開發,會根據顯示器大小自動調整頁面顯示,用戶可以在電腦、移動設備上登錄該平臺。用戶成功登錄系統后,進入數學實驗或者科學計算模塊之后,可以新建實驗(科研)項目,或者進入已有的實驗(科研)項目,編寫計算程序提交作業,保存計算程序到數據庫,方便下次調用查看,科學計算模塊允許用戶上傳計算需要的數據和其他M文件。
4 結語
本研究基于云計算的技術理念,在J2EE環境下開發基于MATLAB分布式計算技術的數學實驗云平臺,具有開放性、即時性、易接觸性,能夠方便快捷地為廣大師生提供數學實驗和科學計算服務。該平臺將數學實驗室軟硬件計算資源組建成集群,可以進行大型科學計算,充分發揮實驗室資源的潛在效能。用戶通過瀏覽器即可向該平臺提交計算任務獲取計算結果,實現實驗室資源的校內校際共享,有利于提高實驗教學水平。因此,本研究為高校利用現有實驗室構建云計算實驗室及實現其資源共享做了有益嘗試,并為數學實驗室的未來發展拓展了道路,符合教育技術信息化的未來發展方向。
⒖嘉南
[1]孫蘇菁,白占兵.關于數學實驗室建設的若干思考[J].科技視界,2013(11):41.
[2]宋紹云,師紅.基于Matlab Web Server的數學實驗室體系結構的建立[J].玉溪師范學院學報,2007(12):38-42.
一、江蘇產業集群發展現狀
江蘇省的產業在地域上的集中度較高。江蘇省儀器儀表及文化、辦公用機械制造、通信設備、計算機及其他電子設備制造、紡織等行業集聚效應明顯。即江蘇省的產業集群主要為傳統比較優勢行業(紡織業、紡織服裝、鞋帽制造業、木材加工及木竹藤棕草制造等)、機械(儀器儀表及文化、辦公用機械制造、電氣機械及器材制造、專用設備制造、通用設備制造等)、化工(化學原料及化學制品制造,塑料制品等)、冶金(黑色金屬冶煉及壓延加工、有色金屬冶煉及壓延加工等)和部分接包行業(通信設備、計算機及其他電子設備制造)。其中,電子信息設備、計算機及其他電子設備制造、紡織等行業主要以中小企業集群的形式存在,如電子信息設備、計算機及其他電子設備制造主要集中于蘇州、無錫等地,蘇州的絲綢、亞麻生產集群,常州燈心絨、牛仔布生產集群等;醫藥、化工等行業則是集中度較高的行業,其產值主要集中于大型企業,如醫藥行業主要為南京醫藥產業集團和揚子江藥業集團,石化行業以中國石油化工股份有限公司江蘇石油分公司、中國石油化工股份有限公司金陵分公司為主。江蘇省的傳統優勢產業和機械制造業有比較完整的價值鏈,如南通是紡織基地,主要提供初級加工品,常州為牛仔布的生產基地,提供中間產品,而無錫是服裝加工基地,生產出最終產品,且這些傳統行業主要集中于蘇南,地域集中度較高,行業集中度較低;石化、冶金等傳統重工業則主要為大型企業,地理分布較分散,但是集中度相對較高;電子信息設備、計算機及其他電子設備制造業集中于蘇州、無錫等地,主要為外商投資企業,負責零部件加工,屬于接包型企業,處于電子信息行業的價值鏈低端,沒有完整的價值鏈。
二、江蘇產業集群發展存在的問題
江蘇省的產業集群較發達,即產業組織的空間結構較集中,但是也存在一些問題:
(一)紡織業過度競爭。江蘇省紡織服裝、鞋帽制造業和紡織業的年產值分別占全國的21.4%、21%,且主要集中于蘇州、無錫、常州、南通、揚州等蘇南、蘇中城市,地理集中度較高。但是,江蘇省的紡織業也存在著中國紡織業的通病。首先,紡織行業呈現“兩頭小、中間大”的現象,即產品研發、品牌營銷等附加值較大的部分小,普通加工等低附加值部分大,如江蘇省知名服裝企業只有紅豆、波司登兩家。其次,中小企業協作能力不強,且過度競爭現象嚴重。第三,紡織機械生產水平低,大型生產機械需要從國外進口。
(二)鋼鐵等傳統重工業集中度較低。由于鋼鐵行業進入壁壘高,規模經濟比較明顯,所以鋼鐵行業的合理集中度應該處于較高水平,這樣有利于提高國際競爭力和降低成本,江蘇省內就有江蘇沙鋼、南京鋼鐵集團有限公司、中天鋼鐵集團有限公司、江蘇永鋼集團有限公司、江蘇申特鋼鐵有限公司等十幾家鋼鐵公司,且規模大小相當,所以鋼鐵行業集中度較低。
(三)電子信息等制造行業的同構性、附加值低。江蘇省通信設備、計算機及其他電子設備制造業在全國的份額為23%,且主要集中于蘇南地區,地域集中度較高,如蘇州工業園區、昆山經濟技術開發區、無錫高新技術產業開發區,三個集群2010年總產值占江蘇省GDP總量的3.92%、4.14%、3.48%。蘇南地區成為全國電子信息制造業的領頭羊,但是蘇南產業集群也存在一些問題。首先,蘇南地區制造業以FDI為主,如通信設備、計算機及其他電子設備制造業規模以上企業中,國有控股44家,私營企業969家,外商投資企業1660家,可見外商占據了半壁江山,這些外商投資企業以出口為主,如2008年外資企業出口量前100家企業中,電子信息制造行業72家(其中蘇州57家),外商投資行業或外商并購本地企業并不會帶來預期的技術外溢和技術轉移。其次,蘇州等電子制造業集群是勞動密集型企業,處于價值鏈的低端,利潤率較低,如2008年利潤率僅為6.65%,在江蘇省制造行業中排倒數第三(家具制造業利潤率為6.27%,石油加工、煉焦及核燃料加工業為2.28%)。第三,蘇南電子產業集群內部同構程度較高,即生產相同產品的行業聚集,而不是一個較完整的產業鏈,這些大多集群內部的企業多是國外企業下包網絡中的加工廠,如2009年江蘇省通信設備、計算機及其他電子設備制造業總產值的68.8%用于出口,這些加工企業之間的大多數是相互獨立的,企業之間并沒有合作關系,如昆山工業園區最大的電子制造企業仁寶、富士康是生產相同產品的企業,產品多直接出口到日本、韓國、新加坡等地,就連規模最小的產品也用來直接出口。所以蘇南的產業集群內部并不能構成一個完整的企業網絡,只是相同企業在地理上的集中而已,其競爭優勢來源于廉價的勞動力和便利的交通。隨著用工成本的增加和交通的日益發達,蘇南地區的傳統優勢將喪失殆盡,如不及時優化產業結構,可能會導致產業空心化。
三、商業銀行支持江蘇產業集群發展策略
(一)明確商業銀行的策略方向。每個產業集群都有集群主導的或是比較有優勢性的產業,而集群產業的生存與發展常常受到國家產業政策的影響。國家產業政策通常指明今后一段時期內政府支持和限制的重點行業,并對各行業的發展規模和內部結構提出指導性意見。國家產業政策是產業集群所處的外部環境,也是從宏觀角度把握產業集群整體發展趨勢的重要依據。屬于國家重點支持的行業,在政策有效期內發展條件優越,風險相對較小,這一行業的公司客戶是商業銀行積極營銷的客戶群;屬于國家允許發展的行業,一般市場競爭比較充分,風險程度適中;屬于國家限制發展的行業,往往發展空間較小,風險程度較高;國家明令禁止發展的行業和產品,行業風險極高,屬于“禁行區”。商業銀行要加強統一規劃和指導,隨時把握國家產業政策的方向,以分行為經營主體,立足當地實際,積極選擇國家產業政策重點支持的行業。