13/05/2017 11:40 GMT+8
We deteceted network outage since 13/05/2017 11:40 GMT+8, our on-site staff is checking the issue.
我們在香港時間 13/05/2017 11:40 檢測到網絡中斷故障，現場的技術人員正在檢查原因。
13/05/2017 11:50 GMT+8
The network comes with Time to Live Exceeded error to most other networks. We confirmed that the issue was not caused by us and have notified our upstream provider to investigate.
網絡在多處出現TTL超時錯誤，我們確認故障不是由我們引起的，已通知上級運營商進行檢修。
13/05/2017 12:10 GMT+8
As notified by upstream provider, there is a large scale of network outage detected. They are investigating the issue.
接上級運營商通知，網絡中斷大範圍發生，他們正在檢查調查。
5月13日（土）12:30:26より大規模の網内障害が発生しております。
現在調査・対応を続けております。
-------------------------------------------------------
区間: OSK001
プライオリティ (0-4): 1
発生日時: 2017年5月13日(土) 12:30:26JSTより（継続中）
故障状況: 弊社監視機器にて大規模の網内障害を検知いたしました。
対応状況: 調査中
-------------------------------------------------------
13/05/2017 12:35 GMT+8
The network issue was fixed and online, we are waiting for our upstream to release the RFO.
網絡已經恢復，我們正等候上級運營商發佈故障詳情。
13/05/2017 13:50 GMT+8
Upstream confirmed that the issue was due to router misconfiguration. Detailed report is pending release.
上級運營商確認問題是由於路由錯誤設定，詳細的報告等候發放。
-------------------------------------------------------
区間: OSK001
プライオリティ (0-4): 1
発生日時: 2017年5月13日(土) 12:30:26 - 13:45:09 JST
障害状況: 弊社監視機器にて大規模の網内障害を検知いたしました。
対応状況: 弊社ルータの設定を確認し、設定の異常が発見されたため、
該当設定を13:45に修正しました。現在正常な状態に復旧しております。
改めて、今回の原因につきましては報告書をお送りいたします。
-------------------------------------------------------
Root Cause of the Outage:
Previously in order to prevent mistakes during command entry, the support engineers have been
instructed to carry out work solely through permitted procedures when configuring the router.
However, the support engineer in charge at this time misunderstood the command and entered an
incorrect command without permission, deleting route management information in the form of an access list.
In addition, the old setting for our backbone was left on the corresponding router.
Because there had been no effect up until that point due to the setting being left on the router,
the support engineer's misconfiguration was not enacted. The support engineer's misconfiguration
then inadvertently deleted a portion of the router's setting at which point the router began to
function abnormally.
Future Counter Measures:
In order to prevent future incidents from occurring, we will no longer allow router change
operations to be carried out by support engineers. Such operations will be reviewed and done
by the network engineer or installation engineer.
Furthermore, we will delete the older setting on our router once we have confirmed the consistency of
our latest settings on our network's system.
■本障害の原因について
弊社は従来、コマンドの入力ミスを防止するため、ルータを設定する際には許可
された手順のみにて行う作業を徹底しておりました。しかし、今回担当サポート
エンジニアがコマンドを誤解したまま、許可なく誤ったコマンドを入力し、必要
な通信制御情報としてのアクセスリストを削除しました。
また、弊社バックボーンに対する古い設定が該当ルータにて設定されたままに
なっておりました。該当設定が残存していた事による影響がそれまで無かったた
め、ネットワークエンジニアによる削除作業が実施されておりませんでした。今
回、サポートエンジニアの設定作業でのミスにより該当の設定の一部が意図せず
削除され、ルータの動作に異常が発生しました。
■ 今後の対策について
再発防止策として今後、サポートエンジニアによるルータ変更作業は行いませ
ん。ネットワーク・エンジニアおよびインストールエンジニアによるレビューが
実施された作業のみを実施いたします。
また、今回原因の一つとなった古い設定については、弊社設定導入システムによ
る最新の設定との整合性を確認し安全を確保しながら削除してまいります。
Saturday, May 13, 2017
