上尉
- 注册时间
- 2009-7-24
- 金币
- 1378 个
- 威望
- 0 个
- 荣誉
- 0 个
累计签到：6 天
连续签到：0 天
[LV.20]漫游旅程
|
高性能计算系统栈的推倒和重建（三）微处理机初期
7 W: A5 z3 M& \8 L( t望洋兴叹7 z0 m( P. a. T- }# O- \5 b
在专有机时代作并行计算的研究，你得会投“胎”。当时，全球科研的浪尖是在美国，能在Communications of ACM上发表论文的，都是美国大学的。用的HyperCube， Cray，Connection Machine 2 等大型机。而在英国，只有国产Transputer。 更可悲的是，我所在的埃德塞特大学（Exeter University）, 我们当时只有四个transputer 节点。当时在英国，可以说是望着大西洋对岸的美国兴叹啊！我看美国人的论文的心情，就好比是一个穷人家的孩子偏偏喜欢上摄影，然后看着有钱人家的少爷拿着长焦、广角镜头，口水只能往里咽。
; p5 s0 w& F2 J7 J1993年，我到了美国阿冈（Argonne）国家实验室后，我就好像是小孩进了糖果店，因为那里有不少专有机（CM2, Paragon, Sequent等）。我问秘书预订了每个专有机的用户手册。每个手册都有电话簿那么厚，当秘书象我小时搬蜂窝煤一样把几英尺厚的手册搬进我的办公室后，她累得大抒一口气。现在看来，真是浪费了，这些手册我都没有用过。不是我没有用功，而是专有机被第一批微处理机颠覆了！
' _/ Y0 w9 m% Z3 _' S3 B2 a9 w8 H消息传送库pvm, P4和 MPI$ j8 r, n- z2 R
在80年代时候，多种消息传输环境被开发出来。有些是为专有机开发的Ncube. 而另外不少是为Unix工作站开发的。比较有名的是Oak Ridge 实验室的PVM (Parallel Virtual Machines) 和阿冈(Argonne) P4 和PICL, Ohio 超级计算机中心的LAM。 , @' s5 i+ h1 T a) T: l
当我看到PVM 的时候，我也就不望洋兴叹了。因为用工作站组装成一个超级计算机，不用花大钱去买专有机。而且写程序也是用常见的Ｃ或Ｆｏｒｔｒａｎ语言。不需要专有的语言。 一下子，高性能计算的世界在我眼前变平了。
7 r9 N# z* G# y1 U7 J/ o到了1992年末，听说又要搞个什么ＭＰＩ。我和一帮英国同事都在笑，怎么又来一个消息传输库。后来才知道，我们笑得过快。原来，ＭＰＩ是要吸百家之长、制定工业标准、省得大家重新发明轮子、浪费体力精力脑力人力。 Argonne和Oak Ridge 都是美国能源部的实验室。两个实验室，为了一个消息传输库争夺用户，结果使得能源部的应用开发成本提高两倍，这是实在说不过去。１９９４年这个标准终于出来了，不到两年的时间出来了这个标准，在ＨＰＣ领域是相当快的。而且有许多学术界的人士参加的标准Ｆｏｒｕｍ， 一向是拖拖拉拉，没有目标导向，企图把海水烧开。为什么ＭＰＩForum 能够如此神速地推出此标准呢？
0 y2 O% T, p) u! s4 k% G' z这要归功于两个人，Bill Gropp 和 Rusty Lusk, 他们都是从阿冈国家实验室的科学家。不要笑，他们的抬头就是“科学家”。 l+ ^' r3 C5 w( o, r. c. d( N
* w! \" E4 H8 gBill Gropp Rusty Lusk9 } \$ \ m& `/ W
他们告诉我，最重要的原因，是ＭＰＩ一开始就有一个参考实现：MPICH。 是他们两人主写的代码。所以，一旦有了一个可以参考的MPI库。一些应用就可以开始并行化。这样，许多没有任何应用场景的“好主意”，就很容易被扔到“Out of scope”栏目。帮助参加讨论者集中注意力。还有，他们采用的方法是一天早中晚连轴转的方式，如此高强度的讨论，只有那些铁杆、硬核的人才能挺得过去。所以，也把一些不懂行，不委身、但往往容易随机化讨论的人自然淘汰出局。! n3 p1 T% @/ `
很多人把集群的概念归于Beauwolf. 其实，集群已经在九十年代初，就有了。许多人都以为，是beauwolf 集群后，工业界才开始使用。历史并非如此。听我给同学们表来。0 U4 m' p& F6 \& t
制造业最早的投入生产的微处理机集群! l& m d% c% E! G& l
在美国East Hartford，驻扎着著名飞机发动机厂商 Pratt Whitney的设计中心。过去，为了测验叶片的强度，他们要将一个冰冻鸡扔向高速旋转的发动机上，然后分析断面。 毫无疑问，造价极高。后来，他们使用Cray来做模拟仿真。只是能够模拟单叶片。而且Cray成为稀有资源，每个工程师的作业，都要排上两天才能算上题。
9 x' N) s) u. c９０年代上半叶，Pratt Whitney的ＣＦＤ组，开始自主设计、开发一套消息传递系统，Prowess。它可以扩展到上千台太阳工作站。其中带头人名叫Craig Fischberg, 因此在制造业界成名。９５年左右，GE 飞机发动机给了他双倍工资并为其妻子安排了很好的工作，把他挖了去。后来，他又用MPI 来为ＧＥ建立了同样系统。从此，他在GE 的地位如日中升。5 [6 {0 ^7 M: I
一想起工作站资源觅食（Cycle Scavenging）人人都以为最早是由Seti@home. 其实，在九十年代初在Pratt Whitney 已经有了。" t6 }5 l- m, x I3 h
那么从Cray 到工作站集群到底带来什么大不了的效益，使得ＧＥ出血本要挖人才呢？ 后来，Craig Fischberg 跟我讲，以前只能在叶片上模拟，后来能够把模拟整个发动机。以前的排队时间长至3天，结果晚上提交，第二天一早就可以看见结果。结果呢，高耗资的物理测试减少了，设计时间缩短了一半，而且飞机引擎的油耗效率大大提高。所以，ＧＥ能不受刺激吗？花了双倍工资挖到了Craig Fischberg是非常小的代价。
3 o& r, O) E r! z* x4 P3 ]" V" z成百上千的工作站的计算能力被完全释放出来。他们用的作业调度器是Platform Computing 的LSF。 所以，在九十年代，LSF的用户手册写着“Unleashing the Power” – 释放能力！就是从这儿来的。
! U4 E( T9 R" E$ d' k* k商家简介
. z1 U2 q, J i2 R! C' _+ B$ i机器厂商 IBM，SGI, HP 和SUN' a2 w& D0 y5 s+ j. ~8 Q P' c
硬件 精简指令芯片
' U) {4 P' d3 F. @* n6 b处理器间网络联接 定制化的网络
9 u6 \. w6 Z1 r* t8 B6 J应用软件编程界面 ＭＰＩ-工业标准 ＰＶＭ 和其他 消息传递软件包* s0 U4 N# w! G" }1 M; }
作业调度软件 ＬＳＦ， ＰＢＳ， Sun Grid Engine (SGE)9 x0 U" `* R( h+ Z3 }
, n% o: y: x4 v2 ]9 e- U/ e! m为什么会有那么多的定制化的网络联接呢？我们下次再说。7 f( R4 {6 A0 T0 v: i$ x0 T, [
下次内容： 我和Rusty Lusk 的一个不开心遭遇引发我的奇想。
- b4 W( Q1 m8 {6 KPosted: Thursday, September 03, 2009 11:13 AM by mingqxu | 1 Comments
' f# l3 ~$ K6 l4 F. B0 x# Z& }Filed under: 业界动态, 员工故事, BeautyFromAsh
$ D+ D% p; G. R0 ]+ V6 q8 U高性能计算系统栈的推倒和重建（二） 专有机时期A
4 N" h, N; s6 v' g! F L/ ~选择并行计算, 被人泼了冷水, x% b9 w P- Q- Z3 o& r
1987年春晚，费翔的故乡的云唱红。歌云：“归来吧，浪迹天涯的游子“。可我那时却踏上了留学之路。在研究人工智能高潮时候，我选择了并行计算。为什么要选并行计算呢？ 当时我选主攻方向的标准非常单一，那就是越新越好。我出国的目的就是要学习最新的科学技术，因为当时我坚信只有科学才能救中国。当我把英国导师的研究计划提议书给国内导师过目时，他的第一的评语就是：”我看提议书中的许多参考资料都是当年或近年出的，是国际领先的方向“。9 C) _- s$ Y- s5 s7 E$ A) W* E& D5 R$ K
在英国1988年的“并行计算专家会议”上，我遇到一位工业界的人士， 互相介绍时候，我兴奋地告诉他我的博士主攻方向。 他的回答是我一生都不能忘记： “并行计算不会有前途的。将来人们将造越来越大的向量机。没有人愿意将自己的应用并行化，因为太难了”。2 Q7 ^# r! E, e) F
现在看来，这个专家是大错特错了。 虽然如此，我还是非常赞赏他的坦率。他完全可以不必加什么评论，事不关己，可以高高挂起。他不愿意看见我往火坑里跳的精神可嘉。不过，专家的话也是要分析地去接受。而且，当你和专家有不同意见的时候，也不要迷信。 长江后浪推前浪，新一代要超过前一代。不迷信权威是科学向前发展必要倡导的精神。
% U$ _% `- z: \8 T A我没有相信他的话。
' n8 q' I; m- b4 \0 U6 |这段时间的高性能计算的生态环境如下： 1 ], }6 t1 u4 }7 K
机器厂商 Cray, Thinking Machines (CM-5), Sequent, Kendal Square Research (KSR), INMOS (Transputers) , C! t* g2 b" W& S, _2 e
硬件 定制化的芯片. _7 f, P3 n9 C! _$ _8 d8 E$ O
处理器间网络联接 定制化的网络
! ` z; o2 m; u- s& {% v( \5 W1 p软件 专有语言或FORTRAN的专有指令和工具
! d w# E" _" C我们看见，“定制”“专有”这是造成价格天价的原因。 那时候，CRAY只有少数西方的国家实验室和大型制造业公司才能拥有。 只有少数先进国家才能拥有。杜甫一句诗词，似乎表达了我当时的意愿并有预言性：“安得广厦千万间，大庇 天下寒士俱欢颜”。 高性能计算关乎全世界的一项技术，它的益处不能被一个国家所禁锢和独占。这二十一年，我感觉有支看不见的手，把高性能计算机从国家实验室的围墙里，推出到制造业，电子业、生命科学和制药业，石油业，金融业。 从美国、推向西方先进的国家，又推向东方。 曙光和微软研制的两百万亿次计算机就是一个例子。
. W- W @; R5 E/ a" a小心处理器杀手! E" Z, |6 u9 _2 V$ G
在一九九零时候，美国劳伦斯Livermore 实验室的Eugene Brooks 说了一句话：“Beware the killer Micros” (小心微处理器杀手)。 他这句话叫许多向量机的生产和设计厂商诚惶诚恐，为什么呢？ 我在微软一个同事，Frank Chism, 曾经是Cray 的雇员。他告诉我，那时候每年CRAY的CEO和克莱斯勒的CIO的谈话是非常痛苦的。 克莱斯勒的CIO就问CRAY的CEO：为什么HP的工作站比你们CRAY要快，而我却要支付更贵的机器呢？“。 微处理机的日益强大的性价比使之取向量机而代之的成为必然。
- ]7 D. P* [. R4 e! I, l m给我泼冷水的英国专家有句还是说对了，那就是并行化一个程序是很困难的，为什么别人会有人去做呢？不过他的话有个逻辑谬误，那就是：“没有人会去修改应用，因为太困难了“。 出力不讨好的事尚且有人做，更何况出力能讨到好的事情呢？这时候，美国制造业的一个企业，就成功地用工作站替代了向量机来解决计算流体力学的问题。我们下次再聊。
* _ b, l! b- U% k. S/ N% t对于专有机的Occam语言的三大遗憾
( ^7 G" K1 f, BOccam 语言是我接触并行计算的第一个语言。这个语言是以一个哲学家Occam命名。提起他，我们都知道有个Occam剃刀原则（Occam Razor）。 就是：“Keep it simple” 原则。这个语言之简练和直观不逊于其命名。它用Channel, SEQ, PAR 和ALT 等语言部件，可以构建各种并行进程及其通讯和同步场景. 下面程序实现了典型的生产者和消费者通讯的例子：
- q% h; z2 P' `6 w% kPROC producer (CHAN INT out!)
8 O4 V7 N0 u0 S1 [3 D& m INT x:
8 @2 m7 K; B( z# n k( Y, G" e# ~ SEQ9 A$ ~" s8 {! ~/ R) }
x := 0: L! Z; x" n8 {
WHILE TRUE
+ R! S2 G6 i1 |# a SEQ
, \: d/ a8 u' ~5 |+ A out ! x2 j% a5 X/ p, d" ^. p$ x7 A
x := x + 1' G2 [) C1 k3 I4 \. V0 t
:, @2 L- r4 t" @* r, k+ B' X
PROC consumer (CHAN INT in?)* h* g5 K3 m2 i3 ?
WHILE TRUE1 @$ ?; C& m' N8 H$ d& r
INT v:( ^# ~% [" t9 a& l! S) {3 m
SEQ
+ i9 H5 h" i. F$ [& v in ? v
3 |& Q; E' r* R; G ]' s- z .. do something with `v'0 F) V2 p8 i0 o) [
:
: s* p2 P, T t1 A$ | ePROC network (), q6 ?0 k3 r6 Z; A2 ^ D
CHAN INT c:
( j; u9 E- L. \7 ~2 w PAR
; p% o* p( Z9 N4 P' g" Q) I: b producer (c!)
/ S: ~5 @9 T' I& V% v) @! c) u consumer (c?)
# t7 P( F+ l, Y:
- g/ y* \ j. ?7 b6 p8 A7 D/ I我自然是被这个语言着迷。可惜好景不长，我立刻发现Occam 语言的三个局限：6 b) B! A" n' L' B1 z9 J) z- x
遗憾一： 并行进程的静态、编译时决定的。不可能在运行时动态产生进程：
& b5 I1 N1 Q& K1 \PAR I = 1 to N
/ u0 e) @& A& b* T/ n# R Process (I)
3 S. ~6 H# Q5 d9 N, j6 m这里Ｎ必须是编译时就确定的常数。这样对编写通用目的程序库带来很大的麻烦。 就好比MPI 用户没有办法根据MPI Rank 和MPI_Size 来动态划分域，只能硬编码其处理单元数量，那么今天恐怕还没有Nastran 等ISV通用库。 和我一起做博士的某英国哥们，他曾说要解决这个问题。我一直很感兴趣，不停地问他技术细节，结果他说了半天，我还是不清楚。说句实话，到今天，我还是没有明白。 后来这个哥们找到了工作，放弃了博士。. F% v x. q2 a
到了后来1996年，MPI-2制定的时候，我参加了关于动态创建进程的讨论。当时我已经加入了Platform Computing 作LSF， 可是这些MPI专家们对于如何映像进程到处理机的理解不够透彻。他们没有认识到，动态创建必须基于一个资源管理的调度系统。 而他们没有有效地将需求及时提供给作业调度厂商。结果，现在有许多的MPI2 动态创建进程的实现，但是没有哪个是和著名的作业调度器集成的。 原因就是，大部分作业调度器的资源分配是静态的。一旦资源分配后，就无法改变。到了Windows HPC Server起步在2004 年的时候，我设计作业概念就考虑到作业当能伸能缩的. 因此，Windows HPC Server 是为数不多能够支持MPI 2的作业调度系统。* F1 R; R) @' {" R
遗憾二： Channel 是没有缓冲的。一个发消息的进程，如果对方不在受的时候，就会被阻。直到有接受消息的。开始还觉得没有什么，结果不知道多少看起来不会死锁的代码，结果给死锁了。比如，两个进程计算后相互交换结果如下，就会死锁。
: ]. N9 M9 \' [7 ~1 x. \PROC left (CHAN INT toRight!, CHAN INT fromRight)* B# P5 ]) M1 u: E% u! o& m* k4 ]- v
… compute
, J1 x9 ]9 r- X$ D5 D) O- I5 h1 d: r toRight ! localResult
2 F9 y# l& j- n$ s9 ]& L1 o fromRight? neighborResult
9 q% G! `4 u5 u:* m- Q" t8 w) L" d
PROC right (CHAN INT toLeft!, CHAN INT fromLeft)- J0 ]" Z+ Y6 S6 R
… compute9 X% B) P H$ ?3 }
toLeft ! localResult
; y/ [4 J; H2 ~0 v fromLeft? neighborResult2 N/ n5 ]/ e' g; I
:. F# m2 j. @' I* X( X
CHAN INT c, d:9 ]) W8 e) }, b' V
PAR
?% I, j/ g4 e z+ j& s2 _8 R. D left (c!, d?)0 o4 w* e0 _! i7 [# f$ r
right (d!, c?)% S% ~, O' a2 i- M
原因就是，对于left 进程，toLeft! localResult 会被阻塞，因为right 进程还没有接收消息 。 right进程也同理被阻塞。现在同学们用MPI的时候，已经对于MPI 库中所提供的消息缓冲区习惯了. 当我发现此功能后，顿时心存感激。
; [ x; i5 V+ y" A# m- u2 Q遗憾三：进程和物理处理机之间的映射是静态的
Z a8 k$ T; M7 d3 T这是一个致命的局限。如下所示，进程terminal, editor 和network 是在编译时被硬性映像到不同的处理机上。
( E/ B. m$ a" w+ hPLACED PAR- p# j' l. F/ t) ?; x5 g
PROCESSOR 1" s3 y3 Y4 S/ u
terminal (term.in, term.out)
6 k, x4 a5 r! i! I7 Z PROCESSOR 2
+ B/ S7 ~( s% z: j% j editor (term.in, term.out, files.in, files.out)# N$ j$ {# s" K, Y5 Y
PROCESSOR 3. p: X. Y/ c6 s( F( i3 \, o
network (files.in, files.out)
% y7 a$ ]4 ~2 n对于这个局限的极度不满，心中涌出强烈的愿望想要解决这个问题。人生很有意思，９年后，我终于开始解决这个问题，一作就是近十二年。这个问题就是如何应用动态映射处理机，就是作业调度器（Job Scheduler）的灵魂.8 g3 S* H w/ ]. \# V
（待续）
- a$ T; K4 i3 f2 ~3 K5 KVisual Studio 2010 Beta1 中的 MPI Cluster Debugger & _& p0 w2 G, K
在Windows HPC中写过MPI程序的朋友们应该用过Visual Studio2005/2008中的MPI Cluster Debugger吧。网上也可以搜到不少关于这方面的使用教程(blog, white paper)。在集群中调试MPI程序感觉如何？MPI Cluster Debugger用起来方便吗？Visual Studio 2010 Beta1已经发布，我们HPC组对其中的MPI Cluster Debugger做了很大改进，尽可能地使它变得更加便捷。下面就跟随我一起看看吧! ! x/ B, p7 ?1 V7 {. B$ ~% S
在同样的地方( 项目属性页面) ，我们找到了MPI Cluster Debugger。不同的是，原先寥寥无几的参数被现在的一群参数所取代。不过不必担心，我保证大家很快上手。其实，在大多数的情况下，只要填写其中的3个参数。对于其他参数，MPI Cluster Debugger会使用默认值。
8 M4 r: F( e) ~6 {. F8 G+ U: L $ [) E2 c0 [% R4 q& J
既然要在Windows HPC Cluster中调试程序，那么总得指定集群的头节点以及运行MPI程序的计算节点吧。“Run Environment”就是我们的第一个必填参数。点击”Edit Hpc Node…”即可进入”Node Selector”对话框。在此框中，我们可以选择想要使用的集群和计算节点。既可以笼统地指定所需要运行的MPI进程的个数，也可以精确地指定在那几个节点上分别运行多少个MPI进程。在选择节点时，我们还能看到各节点CPU实时负载情况。若仅仅想在本机上调试，运行4个MPI进程，则填入”localhost/4”就可以了。3 H }3 h( m0 M& s1 P) N+ G/ A6 a
$ R. N$ Y `7 a5 {$ s+ j
% q: z; D) S! n% u2 V: P" X6 ]% l另一个必填参数是“Working Directory”。这是MPI程序运行的目录，必须是一个本地路径。若不存在，MPI Cluster Debugger会帮你创建。“Application Command”是第三个必填参数，通常使用宏“$(TargetFileName)”即可。它指定了需要调试的那个MPI程序。
+ c( ~/ t1 s# H/ Z" D 4 o+ A n. s" r6 X9 u8 n" p
“Deployment Directory”参数是可选，默认值是”\\<HeadNode>\CcpSpoolDir\<UserName>”。安装好Windows HPC Cluster后，CcpSpoolDir就会被创建并共享。若不想使用该默认值的话，需要填入一个网络共享路径，并且用户有读写权限。0 [+ |2 ?8 F5 ?# p5 w9 l" @# O% w
Visual Studio 从2008 SP1开始就有“Debugger Type”参数，于是我们有了选择调试器的自由。通常选择”Native Only”。若你是用MPI .Net写程序的话，那就选择”Managed Only”。. t# K6 n% c% A, O! E6 e* \
! h! P/ O: B. R& r" ~. I
其他参数我就不一一赘述了。每个参数都有解释，相信大家可以看明白。不明白的话，那就回贴问我吧。: Q+ W% w |2 ?% H1 h# M
填好以上参数，就可以使用MPI Cluster Debugger的基本功能了。按”F5”，你的程序及相应的pdb文件会被部署到刚才选的那些节点上，然后MPI进程就运行起来了。在”Output View”中，你可以看到MPI Cluster Debugger所做的工作。若有错误发生，在这里可以看到详尽的错误信息，不至于手足无措。在”Processes View”中，你将看到正在运行的MPI进程。
- c$ I$ m2 x# w' j1 ]% u
; N1 \4 _( x. H( Z) b! K* p * k& U( o/ [6 k# y
以上是对MPI Cluster Debugger的简单介绍。在Visual Studio2010正式发布之前可能还会有一些改动。若大家有什么建议，欢迎回帖。谢谢！ |
|
IP卡
狗仔卡
发表于 2011-3-11 15:04
显身卡