最近日本出了件大事，第二大電信運營商突發(fā)故障，3,915萬用戶受到影響，占據(jù)了日本總?cè)丝诘?/3，歷時40多個小時仍未恢復，這件事成為了國際新聞。
我想給您聊聊這場故障是怎么回事，你可能會說，我又不是通信專業(yè)人士，對這些技術(shù)細節(jié)不感興趣。
可是，對這場事故的剖析，不僅可以看出日本工匠精神的真相，還可以看出日本國運的走向。
故障的起因是核心路由器的更換，如果把通信系統(tǒng)比作人的話，核心路由器就是人的心臟。
更換核心路由器，就相當于做心臟移植手術(shù)，當然會面臨著很大的風險。
心臟移植需要做體外循環(huán)，用設(shè)備模擬心臟的功能進行泵血，然后有充足的時間慢慢換新的心臟，等新的心臟起搏后，再把體外循環(huán)撤掉。
但是日本這家運營商的做法很奇特，沒有搞體外循環(huán)，直接將舊的核心路由器斷開，把新核心路由器裝上，術(shù)語叫做“割接”。
“割接”這個術(shù)語很形象，就是割斷舊的，接上新的，但是，割接后的新核心路由器沒有正常工作。
這就好比是做心臟移植手術(shù)，把舊心臟摘除，把新心臟裝上了，發(fā)現(xiàn)新心臟不跳，這可就抓瞎了。那該怎么辦，趕緊再把舊心臟換上啊。
日本運營商也是這樣做的，一看新的核心路由器不行，7月2日凌晨1:50，就趕緊把舊的核心路由器又換上了。
核心網(wǎng)絡的參數(shù)是快速動態(tài)變化的，他們啟用了回退時間的配置參數(shù)。
這是咋回事呢，舉個例子吧，我們的電腦不能啟動了，然后會選擇回退到上次成功啟動的參數(shù)，這就把上次成功啟動到這次無法啟動之間做的錯誤變動都清除了。
日本運營商工程師選擇的參數(shù)回退操作是對的，但就是這個合理做法，卻引來了致命危機。
手機終端每隔50分鐘要重新注冊一次，3000多萬手機的注冊時間均勻分布，平時交換機能正常處理。
但因為系統(tǒng)時間回退了，大量手機超過了50分鐘的注冊間隔，就出現(xiàn)了蜂擁注冊的情況。
好比是我們現(xiàn)在做核酸，我們健康碼從0到72小時是均勻分布的，前兩天的人不用管，到第三天再去做。
可系統(tǒng)出故障后，把你做核酸的時間回退了兩天，那幾乎所有人都超過72小時了，大家都著急去排隊，這就擁塞了。
這么說，您就徹底明白了吧？
擁塞了怎么辦？那只能涼拌，排隊慢慢注冊問題，直到60小時后才全部注冊完畢。
這個故障的根結(jié)在哪里呢？在于核心設(shè)備沒有主備。
核心設(shè)備的可靠性要求5個9，即可靠性是99.999%，可縱然故障概率低至0.001%，危險綜歸存在，一旦發(fā)生就是災難。
那該怎么做呢？我國運營商采用了主備機制。
核心機房里的各種交換機、路由器都是成對出現(xiàn)的。一個在工作，另一個是熱備份。
熱備份區(qū)別于冷備份，就是它里面也在跑數(shù)據(jù)，只是空跑不起作用，一旦主機出問題了，備用機馬上就能頂上，而且供電系統(tǒng)也得是兩套。
好比是你有兩臺車，備用車要時刻處于啟動怠速狀態(tài)，一腳油門就得能走，這才是熱備份。如果現(xiàn)打火啟動，有可能電瓶沒電打不著，熱備份比冷備份成本高但更可靠。
做到這些就夠了嗎，還是不夠，萬一來一場地震，主備機和兩套電源全砸爛了，那怎么辦？
我國還采用了異地熱備份機制，核心數(shù)據(jù)在異地空轉(zhuǎn)，一旦某處發(fā)生毀滅性災害，異地就能頂上。
回到日本這個事故，在核心機房居然沒有必要的熱備份，換核心路由器時居然沒有切換到備用機運轉(zhuǎn)，好比做心臟移植手術(shù)時沒有體外循環(huán)，而是硬生生地搞“割接”，這令人難以想象。
長久以來，我們非常推崇日本的工匠精神，覺得人家做事認真負責精益求精。可30年河東30年河西，我們所羨慕的工匠精神，已經(jīng)變成了新躬匠精神，出了事就鞠躬，而且把剖腹傳統(tǒng)也放棄了。
日本將3萬人斷網(wǎng)1小時認定為重大事故，這次是3915萬人斷網(wǎng)60小時，比重大事故嚴重20萬倍，建議日本增加特別重大事故，特別特別重大事故，特別特別特別重大事故標準。
2011年福島核電站出事，媚日大V立貼為證，一年之后，整個世界一定會驚詫日本重建的速度和勇氣，現(xiàn)在11年過去了，福島爛攤子還沒清理干凈呢。日本的國運啊，不過如此。
日本真有工匠精神？1/3人口斷網(wǎng)60小時，合理做法卻引發(fā)致命危機日本真有工匠精神？1/3人口斷網(wǎng)60小時，合理做法卻引發(fā)致命危機
