ドコモ大規模通信障害で記者会見、200万ユーザーの音声通話、データ通信に影響で3G復旧は見通し立たず

ポスト ツイート シェア はてブ LINEで送る コメント 2

ドコモが10月14日に発生した全国規模の通信障害に対し、記者会見を実施しました。詳細は以下から。

登壇者は左から、NTTドコモの常務執行役員でネットワーク本部長の小林宏氏、同代表取締役副社長の田村穂積氏、同サービス運営部長の引馬章裕氏です。

IoTサービス関連のネットワーク工事の切り戻しに伴い、信号が増えて輻輳が発生したことが原因とのこと。

影響は全国の200万ユーザーの音声通話とデータ通信に及んだほか、タクシーの電子決済や自動販売機の通信サービスなど、私たちのスマホだけにとどまらないものとなっています。

通信障害の発生は14日17時頃。19時57分にネットワークの規制を解除されたものの、トラフィックが増大したこともあり、翌朝5時5分まで繋がりにくい状況が各地で続いていました。なお現時点でも3G回線は復旧作業中。

こちらは本日15時頃ですが、3Gを用いた決済サービスはまだ使えないケースも。

携帯電話では端末の所在エリアをあらかじめ取得して把握していますが、今回この位置情報に関して全国規模で障害が発生しました。

今回の通信障害に影響した、それぞれの設備についての解説。音声通話とデータ通信、位置情報など、スマホ利用の多くの領域に関するエリアが影響を受けていることが分かります。

10月14日に新設備への切り替え作業を行っていましたが、切り替え後に不具合が発生したのがそもそもの原因となります。

このため旧設備に切り戻しを行っていた際、通常運用にはない位置登録を促す措置を実施。この際に旧設備の処理能力を超える大量の信号が殺到し、ドコモのネットワークに波及し、音声やデータ通信が繋がりにくい状況が発生したとのこと。

音声交換機が混み合ったため音声通話が困難となったほか、移動して位置情報が更新された場合も信号交換機が混み合ってデータ通信も困難になったとしています。

再発防止策として、通常運用と異なる状態に対応できるかの処理能力を再確認し、切り替え手順を見直すとしています。10月下旬をめどとしていますが、実際の新設備への切り替えなどは現時点では未定とされています。

◆質疑応答
フリーランス石川：
現在も3G端末で繋がりにくいとのことだが、なぜ3Gはダメなのか。IoT機器トラブルとのことだが、タクシー決済端末や自販機の機械はそもそも3Gなのか4Gなのか。

ドコモ：
3Gはまだ、切り替え実施中です。IoT機器については、タクシー関係や自販機関係は個々で違うので3Gか4Gか明確には答えられない。

ケータイ Watch 関口：
影響規模について。位置登録不可が200万だが、音声通話とデータ通信についてはドコモの全てのユーザーということでいいか。

ドコモ：
全ての端末を含めて200万ユーザーが影響を受けている。

関口：
音声通話やデータ通信ができないユーザーの数は？

ドコモ：
この数は算出が難しく、前週と比較してどれくらい減少しているかを調べた。昨日と今日の未明の間で15％ほど音声の呼数が減っており、15％ほどが正常に接続できない。またパケットは対前週比で約4％減。音声ほどの影響は受けていない。

NHK 岡谷：
昨夜7時57分に一度解除したと思うが、その後も続いて長期化した理由は。

ドコモ：
順次復旧したと報道発表したが、その後ユーザーの利用が増えて混み合うことで繋がりにくくなった。ユーザーが何度も接続しようとしたことでトラフィックが通常の約3倍に増えた。

岡谷：
未明の辺りで使用も減ったと思うが、復旧が5時頃まで掛かった要因は？

ドコモ：
今回はIoT端末のデータを移管するのが不具合の発端だった。ネットワークの中に切り替えきれていないIoT端末が残ってしまっていた。それを順次動かしていく作業をやっていて時間を要した。

フリーランス小山：
IoT端末に対して切り戻しの際に通常と異なる処理をしたのか。手順書と違うのか、そもそも手順書がなかったのか。

ドコモ：
通常と違うのは、IoT端末の場所が移動した時に、移動した際に加入者位置登録サーバーに信号を上げるが、新設備から旧設備に動かさないといけなかったので、端末が動いていない状況で無理矢理位置登録をさせた。これは通常の運用ではあり得ないことで、一般の振る舞いとは違う動きを意図的にさせた。

小山：
その作業でこうした輻輳が起こることは分かっていなかったのか。

ドコモ：
このような大規模な工事を行う際は実施の際の手順書や、切り戻しが起きるならその手順書も作っている。だが今回は結果的だが想定した以上のトラフィックが発生し、輻輳が起こった。

ITジャーナリスト三上：
港区では22時から6時までアンテナがゼロの状態が続いた。SNSでも同様の状況があったが、なぜこれが起こったのか。

ドコモ：
交換機が受け持つ場所によって状況が一律ではなかった。

三上：
19時57分以降に輻輳が発生してネットワークコントロールをしたと聞いている。どのような形で何％の規制を行ったのか。

ドコモ：
一時的に最大で100％の規制を実施した。17時頃に障害が発生し、17時37分からネットワークコントロールを実施。100％の2時間30分程度で規制を解除した。その後も輻輳があり、切り戻しもあったので措置はしていた。最終的に規制解除したのは5時5分。

共同通信中島：
音声通話で15％、パケット通信で4％とのことですが、何人に影響したのか。8000万を掛ければその数字が出るのか。

ドコモ：
ひとりの方が何度も発信する場合があるので、数は見ているが何人から出てきた数かは特定できていない。何人のユーザーというのは算出できていない状況だ。

中島：
これらの数字は人数でなければどういう数字なのか。

ドコモ：
正常に通話できた数字が対前週で15％減っているという内訳。パケット通信はデータ量が前週から4％減っているのが見えている。

日経BP 金子：
加入者位置情報サーバーは何台くらいあって更新しようとしたのはそのうち何台か。更新は今回が初めてなのか。

ドコモ：
加入者位置情報サーバーは、旧設備は2ヶ所にある。同様に2ヶ所とバックアップ2カ所に切り替えるのが元々の工事だった。これに失敗し、逆に旧設備に戻す際に障害が発生した。

金子：
不具合が出た早朝7時26分から16時36分までの措置は？ここに至るまでは端末には何の措置もしない状態だったのか。

ドコモ：
7時26分からは切り戻しを実施するために、データを旧設備に切り替える準備をしていた。その準備ができたところで16時36分に位置登録を促す措置を実施した流れ。

金子：
全国を2つのサーバーで見ている状態だったから、いっぺんにやるしかなかったのか。

ドコモ：
台数に関してはそれほど関係はなく、位置登録を促す措置によってIoTのモジュールが一斉に手続きを取ろうとしたため今回の事態が発生した。

金子：
位置登録をいっせいに促したため輻輳に至ったとのことだが、時間差で分散する措置はできなかったのか。

ドコモ：
今回の措置はすべてのユーザーをいくつかのグループに分けて移すという作業手順をとっていた。だが旧設備の処理能力をしっかり見切れなかったため輻輳が発生した。

朝日新聞山本：
影響規模について。利用者目線だと電話やネットができない状況になった。これは8000万人全員に影響が出たということではないか。

ドコモ：
パケット通信と音声通信でユーザーに影響が出たが、位置情報の更新でこの事象に遭遇する可能性はあったが、全員ではない。実際に影響が出た人として200万としている。

山本：
200万ユーザーということで、大きな事象と捉えているのか。

ドコモ：
今回の事象は影響エリアは日本全国となり、位置情報登録不可が200万ユーザーということで十分大きな影響があったと認識している。

山本：
今回移動した人に影響が出たとのことだが、御社はリモートを基本とした働き方を進めていこうとしている中でネットワークの安心感が大事だと思われるが、テレワークやリモートを進める中で今回の事象を受けてどうしていくべきと考えているか。

ドコモ：
今後原因の究明と再発防止、安定したネットワークを作るべく努力していく。今後はテレワークが中心になると通信の安定性を求められるので、通常運用と異なる状況でも通信確保できるようにしていく。手順書なども見直していく。

日経新聞太田：
利用者目線として、昨日の通信網復旧とされた後にも利用制限が5時まで掛かった。スマホのQR決済などで現金を持たない人もいる現状で、平日のこうした時間帯で使えない状況が続いたが妥当だったのか。またもっと早く復旧する方法はなかったか。

ドコモ：
今回IoT端末から位置登録情報がかなり大量に送信された。これをネットワークで受け続けると全体の動きが危なくなると認識し、その端末の信号を制御してネットワーク全体を守る措置を執った。今後はネットワークを進化させ、個別に制御できるシステムは考えていかなければならないと感じている。

太田：
午前5時まで長引き、今も3Gが使えない状況だが、なぜここまで長期化したと考えるか。

ドコモ：
IoT端末を小分けにして制御し、切り替えていた。その中で旧設備の処理能力を考えて切り替えを行ったので時間が掛かった。

太田：
3Gの復旧が遅いのは。IoT規格で3Gが多いから遅いということか。

ドコモ：
一概に言えない。ユーザーがIoTをシステムにどのように組み込んでいるかでだいぶ変わってくる。多くの端末を一気に切り替えられないシステムだったりするので、それに合わせて作業をしている。

太田：
4Gや5Gを優先して3Gの軽視のように見えるかも知れないが。

ドコモ：
そうではなく同時に作業をしている。慎重に進めるところとスピーディにいけるところがある。速やかに対応した結果4Gと5Gが5時に復旧に至った。

太田：
3Gの復旧の見通しは？

ドコモ：
鋭意対応中だがまだもうしばらく掛かりそう。明確な予定時間は言えない。

フリーランス石野：
IoT端末の膨大な位置情報登録になったということだが、どのくらいの数がいっせいに登録しようとしたのか、規模感は？

ドコモ：
影響を及ぼした端末の規模について、旧設備側の処理設備側に負担を掛けないようにしていたが、20万くらいのIoT端末を新設備から旧設備に切り戻した際にうまく移しきれずに事象の発端となった。

石野：
19時57分の順次復旧後の利用が増えて繋がりにくくなったということだが、これはIoT端末ではなく一般のスマホなどの利用増加なのか。一度にみんなが使い始めたということか。

ドコモ：
この段階でネットワークコントロールの緩和を完了しておりIoT以外のスマホなどのユーザーのトラフィックも増えたので、そちらも影響している。

石野：
復旧したことを案内などで知ってみんな一斉に電話や通信をしたのか。

ドコモ：
コントロールを緩和して音声やデータの通信ができるようになり、トラフィックが流れ始めた。これでデータを受信したりネットを見られるようになったため、（普通に）使えるようになったと見えた。

読売新聞茶山：
MVNOにも影響が出たとしているが、事業者への影響はどこまで把握しているのか。

ドコモ：
MVNOは一部影響があったと把握しているが、どれくらい影響を与えたかは現時点では不明。

茶山：
総務大臣がドコモに詳細報告を求めるとしていたが、現状の報告の状況や今後の対応は。

ドコモ：
昨日夕方5時半頃に一報を入れ、その後も逐次連絡している。今後の具体的な話も影響範囲など総務省が判断すると考えており、真摯に対応していく。

ブルームバーグ日向：
緊急通報ができないとか、商談や商品入手に関するアプリで弾かれるといった実害はどこまで把握しているか。

ドコモ：
一部機種で緊急通報できない状況があったとは把握している。アプリに関しては把握できていない。

日向：
総務省とのやりとりで、今回の件は重要な事故という認識を持っているか

ドコモ：
影響規模や時間によって基準があるため、総務省側で判断すると考えている。

日向：
最低何人に影響があったというような規模について

ドコモ：
影響規模については、客観的に分かるものということで前後の差分から約200万ユーザーと考えている。

産経新聞高木：
IoT端末からの想定以上の通信が発生した背景は。性能アップで通信料が増えたといったことはあるのか。

ドコモ：
今回のIoT端末の切り替えにおいて位置登録をする中で旧設備に戻す措置をとったが、処理の甘さで旧設備に移れず、端末側から繰り返し位置登録信号が来る状態になってしまった。見積もりが甘かったのでこうなったが、分析がまだちゃんとできていない。一般のユーザーのスマホよりもIoT端末の方がより多くの信号を出しているように見えているので詳細を分析し、しっかり対処していきたい。

高木：
具体的にどのようなサービスに影響が出たのか。

ドコモ：
中身を見て個別にどのようなユーザーがどのようなサービスを利用しているかは把握できていない。

高木：
シェアサイクルやd払いにも影響があったというネットの声もあるが、個別サービスへの影響規模はどのように算出するのか。

ドコモ：
個別サービスの部分は使えない要因のひとつとして位置登録ができなかったことに起因すると思われる、位置登録不可のユーザーとして考えている。

Business Insider Japan 小林：
19時57分に緩和したとしたが、8時頃に全て復旧したという報道されていたと思う。それは報道各社からの質問に回答したのか、そして報道は全体への復旧時間に影響したのか。

ドコモ：
最大100％規制をかけていたが、それを19時57分に解除したということで記載した。

小林：
HPに掲載したのは何時頃になるか。掲載前に各社から完全復旧というコメントが出ていたと思うが。

ドコモ：
具体的なHP掲載時間は別途広報から回答させる。

小林：
8時過ぎに各社が報道した後にトラフィックが増えたということはあったのか。

ドコモ：
復旧の報を出して以降、トラフィックが増えて繋がりにくくなったと認識している。

日経BP 堀越：
原因となったIoT端末からの信号が20万の端末からの信号が起因となったとしている。これは少ないと思うが、これで全体が落ちるとなると今後が不安だが、どう考えるか。

ドコモ：
新設備から旧設備に切り替える際の最初の操作で20万台を切り替えようとした。新設備は仮想化できているが、旧設備側が仮想化できておらず処理能力も低かった。

堀越：
仮想化設備であれば問題なくさばけるのか。

ドコモ：
新設備の方が性能は高いので、耐えられると考えている。

堀越：
輻輳が起きたメカニズムについて。IoT向けなのか、それともスマホ向けのHSSなのか。

ドコモ：
今回のはIoT専用なので一般のユーザーの加入者情報は収容していない。

堀越：
ネットワークコントロールを全ての位置登録信号に対して実行したということだが、IoT向けの位置情報だけを制御すれば全体が影響を受けることはなかったのではないか。

ドコモ：
現状のドコモでの規制のかけ方のロジックでは、ユーザーの利用形態に応じた規制を掛ける機能がないため、今回の措置となった。

堀越：
輻輳が起きた要因はコアネットワークに大量の制御信号が流れたということでよいか。

ドコモ：
旧設備側で輻輳が起きて位置登録処理が再送を繰り返し、音声交換機、信号交換機でほぼ同じタイミングで輻輳が起きた。

堀越：
ユーザーからのデータではなく制御信号か。

ドコモ：
これは制御信号。

堀越：
交換機は各地域にいろいろあると思うが、地域ごとに位置情報サーバーが数ヶ所あって、そこにデータが向かうから輻輳したということか。

ドコモ：
IoT端末専用ということで、全国に2カ所設置されている。なので特定の地域に閉じることなく全国で発生してしまった。

堀越：
一般向けの加入者位置情報サーバーは輻輳しなかったという認識でいいか。

ドコモ：
していない。

日刊工業新聞斉藤：
切り戻しが必要になったきっかけは新しい設備の不具合とのことだが、どのような不具合なのか。その頻度や原因は？

ドコモ：
きっかけとなった新サーバーの不具合は、海外で使っているIoT機器も位置情報管理サーバーで管理しているが、新設備に切り替えた際に海外のIoTモジュールがローミングで新設備に登録作業をした際、こちらで受け付けられないものがいくつかの国のオペレーターで発生した。それがユーザーに影響を与えるため旧設備に戻す対応をした。

斉藤：
これはイレギュラーな出来事だと考えているか。

ドコモ：
NGを出した原因は究明しなければならないが、70ヶ国ほどから来る信号でこちらの想定していないパラメーターが入っていたりした。世界の加入者位置登録サーバーについて振り返ってしっかり対応していきたい。

斉藤：
働き方を変える中で業務の自動化やAI化を掲げていると思うが、そうした方向ではトラブルが増えるのではないかという心配もあると思う。ドコモとしては中長期的にどう考えているか。

ドコモ：
前提としてテレワーク時代の話となる。通信の重要性は増していくためトラブルを起こさないのが大前提。トラブルも影響が短時間で済むような取り組みをしていく必要がある。

ヒューマンエラーを防ぐためにAIを活用していく。在宅環境でもネットワークオペレーションの監視業務ができるようにする。鉄塔をドローンで点検してリスクを減らすといった取り組みを強化していく。

フリーランス西田：
3Gの状況。現状通話などの不具合があるというが、昨夜の4Gや5Gと比較してどのくらいの状況なのか。そしてどの程度継続しそうか。

ドコモ：
昨日ほどの輻輳状態にはなっていないと考えている。3Gのネットワークの信号を処理する装置があるが、IoT端末に起因した信号が上がった時に一時的に規制されるが、信号数が定常的に多いわけではなく、順次移行は進んでいるので影響の出ている装置の数も徐々に減ってきている。

西田：
アナウンスが昨夜行われたが、それがトラフィック増大が繋がりにくい状況という二次トラブルの原因になったのではないか。

ドコモ：
IoT端末の影響度の方が大きかったと考えている。ネットワークコントロールの緩和でユーザーの端末の表示が変わるなどして一定の音声やデータ通信は増えたと認識しているが、IoT端末の影響を比較するとIoT端末の影響の方が大きい。

日本経済新聞工藤：
影響規模の数字の定義を正確に。位置登録不可200万ユーザーにはMVNOユーザーも含まれているか。位置登録不可というのはユーザーから見るとどのような症状か。

ドコモ：
200万ユーザーにはMVNOも含んでいる。位置登録不可の場合は端末からネットワークに接続できず、ネットワークを使ってデータや音声を流せなくなる。端末側としては圏外表示が出たりアンテナの横に4Gや5Gなどと示されないなど。ドコモに繋がっているという表示が出なくなる。

工藤：
3G端末の回復が遅れているというが、旧設備に一気に情報を移しにくい設計の端末が多いのか。

ドコモ：
IoT端末を使ってユーザーがサービスを展開しているが、3Gを利用しているシステムのユーザーが、比較的4Gよりも細かい単位で見ないといけない方法を使っている。端末の設計や3Gと4Gの違いというよりもサービスの種別などが主要因。

工藤：
新設備への切り替えが不具合で完了していないが、再発防止策をした上で切り替えるタイミングや条件は。海外からのパラメーターなどへの対応など、何が必要か。

ドコモ：
課題は2点ほど。通常と異なる状態での処理能力の確認、適切な切り替え方法の手順見直しが必要。

工藤：
10月下旬に完了して再びすぐにできるというわけではなく、もう少し時間が掛かるのか。

ドコモ：
ここまで大きな工事はあらかじめ年間でスケジュールを組んでいる。100％やれるという確証が必要で、急にスパっとはできない。かなり大きな準備が必要となるため、対応時期はそれを踏まえて考えていく。

共同通信中島：
昨日の20時過ぎからトラフィックが増えた件で、完全復旧という言い方をしていなければトラフィックが増加して混雑が長時間続くことはなかったのでは。言い方に工夫の余地があったのではないか。

ドコモ：
トラフィックコントロールを緩和してゆき、IoT以外のトラフィックが入ることも想定して完全復旧に向けて作業ができ、完了できるのではと想定していた。ある程度混むことは想定して緩和したが、ユーザーの通信を長時間止めるわけにはいかないため流した。混んでいることは伝えなければならないと考えHPのあの表現にした。

中島：
完全復旧という報道もあったと思うが、そういう言い方をしていましたよね。

ドコモ：
一部復旧とお知らせに載せたという認識だ。

中島：
その前に完全復旧と報道されたが、ドコモが言ったのではないのか。

ドコモ：
繰り返しになるが、一部復旧ということでお知らせに載せたという認識です。

中島：
報道の仕方に問題はなかったという認識か。

ドコモ：
お客様に書いた内容によって、みんなが使ってしまって繋がりにくい状況が発生した。掲示板についても分かりやすく誤解のないように今後検討していく。

フリーランス小山：
総務省に随時報告とのことだが、ユーザーへの報告は十分だったか。深夜には一報も出ていない状況だったが、ユーザーへのお知らせはサイトに載せるだけで他の方法はなかったか。

ドコモ：
状況の変化に応じてツイッターなどで報道したという認識。21時以降は深夜であることと、ネットワークにも大きな状況の変化もなかったため報じていない。周知については都度分かりやすい伝え方も考えてきたが、今後も考えていきたい。