新聞配圖

【推薦閱讀】

梳理本周頭條新聞得到的可怕結(jié)論：新興市場危機來了

世界經(jīng)濟出現(xiàn)危機的六大跡象

如何預(yù)測下一場危機的“震中” 看看那些摩天大樓吧

當人們在談?wù)?a target="_blank">金融界如何在雷曼破產(chǎn)之后幾乎瀕于崩潰，然后貨幣市場癱瘓，對美國國際集團施以援助，以及美聯(lián)儲造成的泡沫已經(jīng)使得整個金融體系如百萬億美元陰影債務(wù)的擔保鏈一樣脆弱時，事實卻是，世界上所有的信用卡泡沫、房地產(chǎn)泡沫、股票泡沫及非流動性泡沫與記錄在案的那個最古老的“小故障”相比，都是小巫見大巫。盡管有各種“宏觀審慎”的規(guī)劃和籌備，但那個簡單的級聯(lián)錯誤最終卻導(dǎo)致了整個金融系統(tǒng)的崩潰。

像2007年8月定量大爆炸所發(fā)生的情況。

對于那些可能不記得這場“定量崩潰”幾乎清除了所有的算法及對沖基金定量交易，并在幾個小時甚至幾分鐘之內(nèi)就導(dǎo)致了上百億美元的資本損失的人，這里是一個提醒，并且還是一個警告，即這一事實背后的官方危機是要隱藏全球金融體系在任何特定時刻都有可能幾乎全面崩潰的這一尷尬。

信息技術(shù)是一個昂貴的雷區(qū)。

搞砸的方式有很多，而你能期待的最好的支持作用就是它是不可見的。如果有人注意到了你的支持團隊，那肯定是因為團隊里有人犯錯了。我曾為三大投行工作過，但第一次我就親眼目睹了最令人印象深刻的失誤之一，這在我的職業(yè)生涯中前所未見。當時我是銷售和交易產(chǎn)品的支持團隊的一份子，但幸好犯了這個嚴重判斷失誤的人不是我......

在我表述故事前，先補充一下相關(guān)背景，如果你沒興趣的話可以直接跳過下面一段。

當時我工作的這家銀行已經(jīng)率先推出了所謂的直通式交易程序(STP)，這一程序省去了交易中的配置、核對，結(jié)算及清算的正常手動流程。全球市場的交易完成通常有5天的清算期，以便完成所有的文書工作和簿記工作。而這一精心設(shè)置的系統(tǒng)卻可以做到當天結(jié)算，這在從前是不可能做到的。為了做到這一點，該銀行之前花了六年時間開發(fā)了一個復(fù)雜程度足以媲美天網(wǎng)的計算機系統(tǒng)。到2006年，該系統(tǒng)已具備了足夠的自動處理能力以及容量足夠巨大的儲存。

它由數(shù)百個尖端運算中心的刀片服務(wù)器以及數(shù)個價值幾百萬英鎊的高端數(shù)據(jù)庫服務(wù)器組成，并且有300多名員工在保持這一項目的運行。要知道，這一系統(tǒng)的存儲(該銀行500個主要交易系統(tǒng)之一)占了該銀行所用總存儲的80%以上。由于該數(shù)據(jù)庫處理著一百多萬起銀行間交易而且每起都是價值在幾十萬到幾十億美元不等的股權(quán)交易，所以每天都有相當于100 張DVD容量的原始數(shù)據(jù)輸入這個數(shù)據(jù)庫里。這東西非常大。

你可能會認為這樣一個極為重要且昂貴的系統(tǒng)肯定具備最好的容錯性硬件及軟件。但不幸的是，多年來它一直在有機地增長，新的二進制被添加的到處都是。由于原先那些或已離開公司或移民或死亡的懶惰開發(fā)人員在離職前沒有記錄下自己的工作，所以該系統(tǒng)的某些部分已經(jīng)再沒人可以理解了。我懷疑他們就曾預(yù)計過這個系統(tǒng)最終會成為一個怪物。

有天，我的一個同事決定在沒有得到批準的情況下擅自在白天做一些改變。這一行為是愚蠢的，但并不少見。這種微不足道的變化就是增加了更多的存儲，并且之前他已經(jīng)做過很多次了，所以他很有信心。該系統(tǒng)的開發(fā)商們時刻頂著要讓這個像電子版“克里厄索特先生”一樣越來越臃腫的系統(tǒng)持續(xù)運轉(zhuǎn)的壓力，而這個家伙試圖給這些困頓的開發(fā)商一點幫助。

就在我朋友做上述改變的那個早上，他使新的數(shù)據(jù)磁盤上線并引發(fā)了一個知名垃圾腳本里的漏洞。該腳本已被內(nèi)部編碼了，因為這樣銀行就可以每年節(jié)省300英鎊的授權(quán)費，這些授權(quán)費本來是要支付給供應(yīng)商所提供的官方“存儲代理”的。不過事后看來，這錢或許還不如不省。這種自制程序代碼一接觸到新配置就立馬出問題了。

因此最好的行動方案就是關(guān)閉該系統(tǒng)的生產(chǎn)端和并且打開線上的災(zāi)難恢復(fù)端，這是當檢測到災(zāi)難性“故障”時的正常應(yīng)對行為。這被設(shè)計用來盡可能快地打開該設(shè)置的工作面。可悲的是，該系統(tǒng)被兩個網(wǎng)站完全復(fù)制了(以確保無縫恢復(fù))，災(zāi)難恢復(fù)端幾乎立即觸發(fā)了這個完全相同的漏洞。因此在一分鐘之內(nèi)，這個可恨的腳本已經(jīng)使整個系統(tǒng)脫機了，這大致就像是把一個扳手扔進正在運行的發(fā)動機內(nèi)從而可能會使一輛車停止運行。而這個一如既往地在把自己的寶貴數(shù)據(jù)輸入大量不同磁盤的數(shù)據(jù)庫因此發(fā)生了巨大的，不可逆轉(zhuǎn)的數(shù)據(jù)損壞。就這樣，這個該銀行最大甚至是世界最大的計算機系統(tǒng)崩潰了。

并且它沒能馬上恢復(fù)運行。

(好了，細節(jié)說完了。冷靜。)

這次故障造成了該系統(tǒng)中總共超過12萬億美元的交易受到影響，而這些交易正處于該系統(tǒng)結(jié)算過程的不同階段。由于其他銀行此前已經(jīng)開始使用這個系統(tǒng)，所以此次受影響的交易占到了全球股市全部交易的20%左右。如果這些交易沒能在約定時間內(nèi)結(jié)算好，那么該行就得承擔每項交易的罰金，這樣的話，該公司的市場資本就會被由此產(chǎn)生的罰金耗盡，從而走向破產(chǎn)。就是那樣。

為了讓該系統(tǒng)重新上線，我的團隊暫停了手上的工作，攻堅了4個小時來恢復(fù)該系統(tǒng)的每個部分。故障發(fā)生沒多久，歐洲央行負責(zé)人就給我們公司的首席執(zhí)行官打了緊急電話，要求其解釋為什么在那天會有那么多的交易出現(xiàn)故障。據(jù)稱，(正如為我們后來被告知的)，這次故障波及的交易量特別大以至于如果無法及時清算這些交易的話，歐元的價值將遭受巨大的負面影響。

這次故障幾乎引發(fā)了一場全球性經(jīng)濟危機，其規(guī)模近似于最近(并在持續(xù))的次級信貸崩潰。在歐洲央行被迫因調(diào)整歐元匯率以作補償而公開這次故障之前，我們還剩下兩個小時的補救余地，而這時間差點不夠。我們每人負責(zé)一個關(guān)鍵的子組件并將所有的資源轉(zhuǎn)移至清算引擎。開發(fā)商將系統(tǒng)設(shè)置為按價值大小排序來處理那些交易。而為了確保每個可用的CPU周期和磁盤操作可以被利用，那些服務(wù)器上的所有東西都關(guān)閉了。當該系統(tǒng)開始慢慢恢復(fù)的時候，我們只能默默看著，摻和不了。

令人難以置信的是，大部分的高價值交易最終在業(yè)務(wù)的截止期限之前完成清算了，而這場破產(chǎn)災(zāi)難最終也千鈞一發(fā)地避過了。盡管如此，該銀行還是為那些來不及清算的利好低價值交易付出了超過1億美元的罰款。令人驚訝的是，只有少數(shù)的內(nèi)部人員在年底的股東報告中才得知了這些罰款產(chǎn)生的原因。因為在銀行界，信譽至上。所有牽涉在內(nèi)的人員，包括我在內(nèi)都被明確告知了要保守秘密。當然，我不能點明這家銀行的名字，不過如果你實在好奇，私信我，我會給你指點一個正確的方向......

后記…盡管該銀行很快地就為這些闖禍的腳本買了單，但那個開啟這一故障的家伙卻在第二天被解雇了。這非常不公平，因為造成這次故障的罪魁禍首其實是那些狡猾的編碼。公司以每場火災(zāi)都需要一個引發(fā)它的火花位理由，把他當做了替罪羊。這是我選擇離開那家公司的主要原因之一(但在辭職之前，我在圣誕晚會上把全球技術(shù)主管罵了一頓)。不過，發(fā)生了戲劇性地反轉(zhuǎn)，因為我那犯錯的小伙伴因為是最懂那個荒謬的電腦系統(tǒng)的人之一，所以他在六個月后內(nèi)就回去工作了，而職位等級比從前更高。

結(jié)論：大多數(shù)銀行都很瘋狂，他們在吃了大虧以后才會去解決問題。用谷歌計算機計算可得出，這1億美元的罰款紙幣排起來能有9500英里左右長。

而另一個結(jié)論是：下次，如果你認為那些涉及數(shù)十億甚至上百億資產(chǎn)的紙質(zhì)保證條款是安全的話，聽聽那些冗長的硬盤陣列的聲音后再想想。(雙刀)