吃完飯付不了款、搶到特價(jià)商品卻眼睜睜看著交易關(guān)閉、公共自行車掃碼支付失敗，只好走著去上班……7月22日上午

支付寶扛得住雙十一 為何扛不住一個(gè)機(jī)房故障？

■IT時(shí)報(bào)   吳雨欣

吃完飯付不了款、搶到特價(jià)商品卻眼睜睜看著交易關(guān)閉、公共自行車掃碼支付失敗，只好走著去上班……7月22日上午，不少用戶發(fā)現(xiàn)，支付寶出現(xiàn)故障，不管是買火車票、網(wǎng)上訂餐還是轉(zhuǎn)賬、提現(xiàn)均無法實(shí)現(xiàn)，更不可思議的是，上午明明顯示轉(zhuǎn)賬失敗，通過其他方式轉(zhuǎn)賬后，下午支付寶就變成了轉(zhuǎn)賬成功。看著頁面 “網(wǎng)絡(luò)不給力，請稍后再試”的提示，不管你怎么切換網(wǎng)絡(luò)，重啟路由器，結(jié)果還是一樣。

作為全球最大的第三方支付機(jī)構(gòu)，這不是支付寶第一次不給力，2015年5月28日，支付寶因杭州蕭山的光纖被挖斷出現(xiàn)全國范圍系統(tǒng)癱瘓長達(dá)2.5小時(shí)。14個(gè)月后，在阿里巴巴宣稱攻克了“服務(wù)器資源彈性部署”和“數(shù)據(jù)中心異地雙活”兩項(xiàng)技術(shù)難題后，此次發(fā)生的故障依然持續(xù)2個(gè)多小時(shí)。

當(dāng)支付寶逐漸替代錢包成為人們的隨身支付工具時(shí)，兩個(gè)小時(shí)的網(wǎng)絡(luò)中斷所影響的人群和支付事項(xiàng)越來越多，而且再度引發(fā)專家對支付寶災(zāi)備能力的質(zhì)疑。

深圳機(jī)房發(fā)生故障

7月22日上午10點(diǎn)10分左右，有用戶開始在網(wǎng)上吐槽支付寶不可使用。11點(diǎn)44分，支付寶官方微博表示，上午10時(shí)多，由于支付寶在華南的一處機(jī)房出現(xiàn)故障，技術(shù)團(tuán)隊(duì)緊急將業(yè)務(wù)逐步切流到其他機(jī)房，過程中影響了部分用戶對部分功能的使用，用戶的資金和信息安全不受影響。直到12點(diǎn)36分，支付寶再次回應(yīng)稱，系統(tǒng)已經(jīng)恢復(fù)正常。

“以目前阿里云的處理能力，在假想極端情況下，即便杭州的數(shù)據(jù)中心全部宕掉，依然能夠平穩(wěn)度過雙十一，互聯(lián)網(wǎng)創(chuàng)業(yè)網(wǎng)，不影響用戶的購物體驗(yàn)?！卑⒗飩鋺?zhàn)2015年雙十一時(shí)的豪言猶在耳邊。很難想象，在一個(gè)既非雙十一也非節(jié)假日的周五，支付寶一個(gè)機(jī)房的故障竟然導(dǎo)致服務(wù)中斷持續(xù)了兩個(gè)小時(shí)。

“出問題的機(jī)房在深圳，切流時(shí)間長且恢復(fù)慢，是有點(diǎn)不太正常。”一位接近支付寶深圳機(jī)房的知情人士向《IT時(shí)報(bào)》記者透露，這次事故的原因是多方面的，互聯(lián)網(wǎng)創(chuàng)業(yè)網(wǎng)，既有機(jī)房機(jī)件等硬件設(shè)施的原因，也有網(wǎng)絡(luò)故障方面的因素。他舉了個(gè)例子，支付寶就像是一輛小汽車，運(yùn)營商提供的高速公路是通的，但小汽車內(nèi)部出了問題卡在了半路，數(shù)據(jù)從一個(gè)地方送不到另外一個(gè)地方。

“異地多活”架構(gòu)沒起充分作用

在2015年全球架構(gòu)師峰會(huì)上，阿里巴巴高級系統(tǒng)工程師曾歡（阿里花名為善衡）結(jié)合互聯(lián)網(wǎng)金融業(yè)務(wù)及系統(tǒng)特性，分享了支付寶的高可用與容災(zāi)架構(gòu)演進(jìn)，表示支付寶在該方面已進(jìn)入成熟的青年時(shí)期，有快速恢復(fù)的容災(zāi)能力，可做到同城內(nèi)數(shù)據(jù)中心之間，甚至城市和城市之間在故障發(fā)生時(shí)自如地進(jìn)行應(yīng)急切換，使得支付寶實(shí)現(xiàn)“異地多活”的架構(gòu)能力。

“所謂異地多活是指數(shù)據(jù)中心在機(jī)房基礎(chǔ)設(shè)施、地理空間、網(wǎng)絡(luò)資源、軟硬件部署上是分布的，多中心之間可以并行為業(yè)務(wù)訪問提供服務(wù)，互為備份，地位均等。一個(gè)數(shù)據(jù)中心出問題，其他數(shù)據(jù)中心可對業(yè)務(wù)接管實(shí)現(xiàn)無縫切換，用戶無感知。支付寶雙十一能撐起8.59萬筆/秒的交易峰值及支付寶平時(shí)的處理速度也是得益于異地多活，只是不知道為什么這次異地多活沒起太大作用。”一位業(yè)內(nèi)人士向《IT時(shí)報(bào)》記者表示，正是因?yàn)楫惖囟嗷钏璧脑O(shè)備量，阿里機(jī)房摒棄了昂貴的專業(yè)高端設(shè)備，選用X86服務(wù)器和國產(chǎn)的開源軟件。支付寶這次的故障很可能是因?yàn)榫W(wǎng)絡(luò)出口有單點(diǎn)故障，瓶頸堵塞，導(dǎo)致引流出現(xiàn)問題。

據(jù)了解，國內(nèi)商業(yè)銀行采用的多是“兩地三中心”模式。以交通銀行為例，交通銀行的中心機(jī)房在上海，同城及1000公里外的地方各設(shè)一個(gè)災(zāi)備中心，當(dāng)中心機(jī)房出現(xiàn)故障，ATM、POS等72小時(shí)不間斷的重要業(yè)務(wù)要做到秒級切換，無縫連接，即使考慮到通信延遲，這個(gè)時(shí)間也要控制在30秒內(nèi)。根據(jù)信息系統(tǒng)的時(shí)間敏感性，交通銀行把應(yīng)用系統(tǒng)的災(zāi)難恢復(fù)分成三個(gè)等級，亦將災(zāi)備的不同場景分為十個(gè)等級，六等級以上支付終端，中斷服務(wù)持續(xù)兩小時(shí)要上報(bào)銀監(jiān)會(huì)和央行，區(qū)域發(fā)生癱瘓四小時(shí)上報(bào)國務(wù)院。

一位交通銀行的內(nèi)部人士告訴《IT時(shí)報(bào)》記者，交通銀行要求各分行至數(shù)據(jù)中心的網(wǎng)絡(luò)采用多運(yùn)營商通道，以防止某一家運(yùn)營商網(wǎng)絡(luò)出問題，同時(shí)會(huì)與運(yùn)營商達(dá)成協(xié)議，把網(wǎng)絡(luò)收斂時(shí)間控制在一定時(shí)間內(nèi)，所謂“網(wǎng)絡(luò)收斂”，是指當(dāng)A機(jī)房徹底癱瘓，網(wǎng)絡(luò)中所有結(jié)點(diǎn)全部更新它們的路由表，將網(wǎng)絡(luò)指向B機(jī)房的時(shí)間，在這段時(shí)間內(nèi)，銀行的其他業(yè)務(wù)會(huì)被相繼切換。

中國銀聯(lián)在京滬兩地也是三個(gè)數(shù)據(jù)中心，兩城三地之間的數(shù)據(jù)一致，切換速度在分鐘以內(nèi)，當(dāng)任何一個(gè)數(shù)據(jù)中心發(fā)生問題，絲毫不會(huì)影響消費(fèi)者的刷卡交易。

相較于開放、靈活的異地多活模式，“兩地三中心”投資巨大，所采用的設(shè)備大多是IBM、ORACLE（甲骨文）、EMC等高端設(shè)備，價(jià)格驚人，這幾年國內(nèi)盡管一直在要求“去IOE”，但出于對安全的考慮，很多銀行都不敢輕舉妄動(dòng)。

第三方支付缺少災(zāi)備監(jiān)管

故障修復(fù)后，支付寶強(qiáng)調(diào)，用戶的資金安全和信息安全不會(huì)受到任何影響。但不少用戶擔(dān)憂，自己充手機(jī)話費(fèi)、叫外賣、網(wǎng)購、銀行轉(zhuǎn)賬、還貸，都習(xí)慣在支付寶上進(jìn)行，如果以后類似故障再次發(fā)生，給生活造成的影響可能會(huì)更大。

據(jù)中國支付清算協(xié)會(huì)統(tǒng)計(jì)，截至2015年底，完成實(shí)名認(rèn)證的支付賬戶共有13.46億個(gè)，占總支付賬戶總量的51.07%。在今年4月舉行的哥本哈根Money2020大會(huì)上，螞蟻金服國際事業(yè)部總裁彭翼捷預(yù)測，螞蟻金服旗下的支付寶未來10年的用戶量將增加至20億。

當(dāng)?shù)谌街Ц杜c人們的生活越來越息息相關(guān)，使用頻次甚至超過銀行卡時(shí)，對于信息數(shù)據(jù)和交易的安全要求，是否享受和銀行同樣的“待遇”呢？

2008年，中國人民銀行出臺的行業(yè)標(biāo)準(zhǔn)《銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范》中，將信息系統(tǒng)按時(shí)間敏感性分為三類需求等級，確定了每類信息系統(tǒng)災(zāi)難恢復(fù)的時(shí)間。2015年，銀監(jiān)會(huì)發(fā)布的《商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引》中，要求商業(yè)銀行應(yīng)當(dāng)在銀行集團(tuán)內(nèi)建立內(nèi)部重大事項(xiàng)報(bào)告制度，附屬機(jī)構(gòu)要及時(shí)報(bào)告經(jīng)營活動(dòng)中的重大事項(xiàng)、重大風(fēng)險(xiǎn)以及境內(nèi)外監(jiān)管機(jī)構(gòu)采取的重大監(jiān)管行動(dòng)和監(jiān)管措施。商業(yè)銀行還應(yīng)當(dāng)就各類風(fēng)險(xiǎn)分不同情景定期開展銀行集團(tuán)層面的壓力測試，充分考慮各種情景的相互作用，并根據(jù)結(jié)果制定相應(yīng)預(yù)案，確保銀行集團(tuán)能夠有效應(yīng)對各類不利情景。特別是對于重度壓力情景下的測試結(jié)果，商業(yè)銀行應(yīng)當(dāng)在銀行集團(tuán)內(nèi)建立詳細(xì)、完備的應(yīng)對預(yù)案。

2015年3月30日，證監(jiān)會(huì)證券基金監(jiān)管部開出一份罰單：由于2015年1月5日上午工商銀行三方存管系統(tǒng)出現(xiàn)異常，影響90家證券公司54709名客戶、48.8億元的銀證轉(zhuǎn)賬操作，造成部分投資者無法資金轉(zhuǎn)賬，9家證券公司出現(xiàn)客戶資金賬戶匯總余額虛增1237萬元。證監(jiān)會(huì)要求，工行需在2015年4月30日前予以改正，完善技術(shù)系統(tǒng)，規(guī)范應(yīng)急處理，杜絕此類問題再次發(fā)生，同時(shí)應(yīng)當(dāng)在2015年5月10日前，向證監(jiān)會(huì)提交書面報(bào)告，證監(jiān)會(huì)將組織檢查驗(yàn)收。

但對于第三方支付機(jī)構(gòu)的災(zāi)備方案，《IT時(shí)報(bào)》記者僅在今年7月1日起施行、由中國人民銀行發(fā)布的《非銀行支付機(jī)構(gòu)網(wǎng)絡(luò)支付業(yè)務(wù)管理辦法》的第三十二條和三十八條中看到這樣的表述：支付機(jī)構(gòu)應(yīng)當(dāng)制定突發(fā)事件應(yīng)急預(yù)案，建立災(zāi)備系統(tǒng)，保障業(yè)務(wù)連續(xù)性和系統(tǒng)安全性；支付機(jī)構(gòu)應(yīng)當(dāng)于每年1月31日前，將前一年度發(fā)生的風(fēng)險(xiǎn)事件、客戶風(fēng)險(xiǎn)損失、客戶損失賠付等情況在網(wǎng)站對外公告。記者并未查閱到監(jiān)管部門對第三方支付更細(xì)致的指引。

7月26日，支付寶內(nèi)部人士向《IT時(shí)報(bào)》記者表示，故障具體原因已向監(jiān)管機(jī)構(gòu)及合作伙伴說明，不便向媒體透露。