金融機関に求められるサービスレベルを維持した高品質なZabbixバージョンアップ（EOSL対応）

住信SBIネット銀行株式会社は三井住友信託銀行株式会社とSBIホールディングス株式会社が2007年9月に共同設立したインターネット専業銀行です。開業以来、着実に業容を拡大し、国内屈指のインターネット専業銀行へ成長しました。ITを活用した革新的な金融サービスの提供を通じて、銀行の持つサービス機能をAPIなどの活用により他社へ提供することで、他社と新たな価値を共創し、お客様に新しい体験を届けていく「NEOBANKⓇ」のサービス提供に力をいれています。

ITを活用した革新的な金融サービスを展開する住信SBIネット銀行株式会社（以下、「住信SBIネット銀行」という）様のシステム監視を担うZabbixは、社内系のシステムに留まらず、お客様へのサービスを支える事業系システムまで幅広く対象とした重要な監視基盤です。安定的な監視サービスを提供し続けることはもちろん、事業部門からの要望に応じて監視対象の追加や廃止にもスピーディーに対応できる柔軟性が求められています。

住信SBIネット銀行様のシステム基盤を支えるZabbix は3.0版を利用しており、2021年2月にEOSLを迎えるという課題を抱えていました。またその対応にあたっては事業への影響を最小限に抑えるため、以下を考慮したバージョンアップを実施することが求められていました。

バージョンアップ後の監視停止リスクを最小限に抑えるため、現在稼働しているZabbixとは別に最新バージョンのZabbixを新たに構築し、一定期間並行稼働させる必要があること
Zabbixサーバーだけでなく、監視対象にインストールされているZabbixエージェントについても、最新バージョンに順次バージョンアップさせること
事業（業務）ならびに事業部門への影響を最小限に抑えるため、各監視対象にインストールされているZabbixエージェントのバージョンアップは事業部門の監視停止許容時間を意識したスケジュールで実施すること

住信SBIネット銀行様のZabbix環境は3.0版の構築時に比べて監視対象が増加し、監視項目も複雑化していることから、バージョンアップにおける影響範囲は慎重に調査する必要があり、事業への影響を考慮した細かい作業計画を策定し推進する必要がありました。

このような環境に対して、リスクを最小限に抑えたバージョンアップを検討するにあたり、当社にご相談をいただきました。

住信SBIネット銀行様で利用されていたZabbix 3.0環境は2018年に当社と当社親会社である株式会社シーエーシー（以下、「CAC」という）が共同で構築したものです。その後CACはZabbixも含めた基盤領域の保守、当社はZabbixに対する保守サポートサービスを継続的に提供するという役割分担で支援を継続してきました。

今回の対応にあたっては当社にご相談をいただいた後、EOSLの約1年前から住信SBIネット銀行様とバージョンアップ作業の難易度や、EOSLを迎えたバージョンを使い続けることのリスクとその対策について議論を重ね、バージョンアップの実施可否やスコープをご検討いただきました。その上で優先度や社内調整の難易度を踏まえ、以下の3段階に分けた形でバージョンアップを実施する方針となりました。

Zabbixサーバー開発機／本番機のバージョンアップ
社内システム監視用Zabbixエージェントのバージョンアップ（開発機／本番機: 約100ホスト）
- クラウド監視に用いている外部スクリプトの移行確認（開発機／本番機: 約100ホスト）
事業システム監視用Zabbixエージェントのバージョンアップ（開発機／本番機: 約150ホスト）
- クラウド監視に用いている外部スクリプトの移行確認（開発機／本番機: 約300ホスト）

各フェーズにおいて、住信SBIネット銀行様各部門の監視停止許容時間を加味しつつ短期間でミスのないバージョンアップ作業をおこなうことが求められました。そのご意向を踏まえ提案をおこなった結果、以下のポイントをご評価いただき、当社にZabbixバージョンアップをご依頼いただくことになりました。

これまで多数のZabbixバージョンアップ実績があり、バージョンアップにおける注意点や影響範囲の勘所を熟知していたこと
継続的に住信SBIネット銀行様環境のZabbix保守サポートを実施してきたため、住信SBIネット銀行様独自のZabbix設定情報を理解していたこと
基盤保守担当であるCACのグループ会社であるため、バージョンアップにあたっては基盤保守担当とスピーディーな連携ができると判断されたこと

バージョンアップ・プランの概要

十分な事前検証期間を設け、既存環境の監視設定を洗い出して対処方法を決定する
Zabbix 5.0の動作要件に合わせた新サーバーを準備・構築する
監視停止時間を最小限に抑えるため旧バージョンとの並行稼働を実施。監視対象（ホスト）を1台ずつ移行する
影響範囲が限定的な社内システム領域の移行から実施し、事業領域の移行に向けてナレッジを蓄積する
監視対象の移行時には各社協働体制を構築。当社以外にも監視対象サーバーを構築したベンダーに動作確認を依頼する
新バージョンへの監視（過去）データ移行は不要
Active-Active方式による高可用性環境を移行する ※当社Zabbix構築パッケージ：まるごとおまかせZabbix 快適Z／高可用性オプション相当
新機能「Webhook」によるMicrosoft Teamsとの連携を実現する

重要な社会インフラである金融システムを支える監視システムであるため、クオリティを重視したプランとしています。また、新型コロナウイルスの蔓延による緊急事態宣言の発令に備え、住信SBIネット銀行様のご協力もありほぼ全作業をリモート接続環境下で実現し、三密回避をはじめとするウィズコロナ・アフターコロナにも対応できるプランとなっています。

Zabbixサーバー側におけるバージョンアップ作業の概要と勘所

前述のとおり、Zabbix 5.0では大幅な機能アップがおこなわれ、それに伴い内部構成が複雑化しています。Zabbixサーバー側における作業の概要と勘所は以下のとおりです。

新バージョンの動作要件、PHP7.2以上のパッチ提供を継続できるサーバー環境の構築支援
データベースエンジンのアップグレード（必須）と影響を考慮した段階的な移行
Zabbix起動時に実行されるアップグレード・プロセスで、バージョンアップにより対応不可となる事象への対処
- トリガー系マクロの動作仕様変更に伴う書き換え
- アップグレード・プロセスによって無効となるアクションのカスタム条件式を検証して対策
- アクションにおけるメンテナンス期間外設定の削除と実行保留設定への対策
- 位置マクロ（Positional Macro）の書き換え
- その他諸々の動作設定変更

どれもZabbix社の公式ドキュメント（英語版）に記載がある内容ですが、数々のZabbix環境をバージョンアップしてきた中で、これまでに培ったノウハウを組み合わせ各種要望にも柔軟に対応可能なプランの豊富さと、実績のある標準化されたバージョンアップ手順、各種ツール等を備えた当社のナレッジを最大限に活かし、より確実な作業を計画し実施いたしました。

Zabbixエージェント側におけるバージョンアップ作業の概要と勘所

Zabbixエージェントそのものに対するバージョンアップは軽微な作業ですが、並行稼働の上でZabbixエージェントが導入されたサーバーの動作まで確認することは難しく、以下の観点で作業を実施しています。

原則、Zabbixエージェントのバージョンアップを実施
Zabbixエージェントのバージョンアップ時に外部モジュールの更新が必要な場合、バージョンアップせず旧バージョンのZabbixエージェントをZabbixサーバーに接続（旧バージョンとの接続も動作保証の範囲内です）
導入対象のサーバーならびにネットワーク環境の正常性は事前に確認
いったん新旧のZabbixサーバーと同時接続することで、問題の切り分けを容易にする
バージョンアップ後の動作確認のため、他構築ベンダーとの協働体制を構築・指揮いただく
問題発生による遅延やリトライも想定したスケジュールを提案。緻密なスケジュール管理を実施し、作業対象の入れ替えに迅速に対応

ごく一般的な勘所にも見えますが、住信SBIネット銀行様を中心とした協働体制を構築いただけたことで確実な作業と問題発生時における迅速なリカバリを実施できました。このように、Zabbixエージェントのバージョンアップではベンダー依存ではない、各社の協働体制が成功への重要な要因となりました。

Zabbixの監視設定は環境によって異なり、その都度状況に合わせた対応が必要です。監視運用を継続しながらバージョンアップを実施するにあたって迅速かつ柔軟な対応を進めるためには、さまざまな環境でバージョンアップを成功させてきた経験による裏付けが重要でした。

対応経験がなく試行錯誤で対応せざるを得ない状況では、複雑な監視設定や予期せぬ事象に遭遇した場合に迅速な対処ができません。Zabbixの経験が豊富な認定パートナー企業が作業を実施することで技術的リスクは軽減され、かつ未知の事象に遭遇した場合でもZabbix社のサポートを迅速に受けられる体制を構築できるメリットは大きく、移行作業中に想定外の問題が発生してしまった場合でも、十分な調査から根本原因となった既存環境における問題点の発見、リカバリ案の作成に至るまで迅速かつ確実に対応することができました。

また、監視対象サーバーに配備されているアプリケーションの構築ベンダーとも緊密に連携し、コストだけを重視せずクオリティを最優先したプロジェクト体制の構築と適切な役割分担が実現できたことも、本プロジェクトの重要な成功要因でした。

今回のプロジェクトでは、監視環境に対して高い継続性、信頼性が求められる環境において、緻密かつ柔軟性のある計画のもとZabbixサーバーからZabbixエージェントまで包括的なバージョンアップを支援することができました。

これまで当社が手掛けた構築プロジェクトの経験で培ったノウハウや勘所、日々の保守サポートで培った信頼感や住信SBIネット銀行様環境の知見を活かし、提案フェーズから継続的にお客様とコミュニケーションをおこなうことで、お客様の課題をいち早くキャッチし、タイミングを逃さずスムーズにEOSL対応を実施できたと考えています。

EOSL対応に限らず、Zabbixの運用局面で発生するさまざまな課題を支援できるよう、今後も住信SBIネット銀行様のサポートを続けてまいります。

導入前の課題と当初の期待

過去に監視製品の移行やバージョンアップを経験したことがあるため、今回のバージョンアップは技術的なハードルは高くないと考えていた。しかしEOSLにむけてデッドラインが決まっていることや、監視対象側のシステム担当がマルチベンダー体制であったため、スケジュールを守りつつ関係各所と多くの調整をしなければならないという意味で難易度が高いプロジェクトであると感じていた。

そんな中でこれまで数多くのZabbixバージョンアップの経験があり、保守サポートを通じて当社のZabbix環境に知見のあるアークシステムであれば、関係各所との調整時やバージョンアップ作業時に発生する予期せぬ事象にも柔軟に対応していただけるという期待感があった。

支援に対するご評価

まずスケジュールと当初想定していたコストの範囲内でバージョンアップを完遂できたことは期待通りだった。特にZabbixエージェントのバージョンアップは、本番作業のスケジュールをあらかじめ監視対象側の事業部門と調整した上で段階的に進めていく必要があったが、想定外の事象が発生した際にも、スケジュールを守ることを第一に柔軟にご対応いただいたことに満足している。特に想定外のことが起きた際のリカバリが非常に迅速であったことは期待以上だった。

さらに、将来またバージョンアップが必要となった際や、監視対象側の事業部門と調整する際に役立つようなドキュメントも整備していただき、バージョンアップだけでなく今後の運用を楽にするために色々とご配慮をいただいたと感じている。

今後期待すること

監視運用の効率化、コスト削減、統制強化などに関するコンサルティング/サービスがあれば、ぜひ提案してほしい。当社のZabbixは管理部門である我々だけでなく、監視対象側の事業部門担当者など、さまざまなステークホルダーが関係するが、どの部門に対しても監視の品質を平準化し、日々改善していくサイクルを回せるようにしたいと考えている。今後もZabbixの監視範囲は拡大していくと思うので、引き続き監視運用の改善や品質向上といった面でサポートしていただきたい。

住信SBIネット銀行株式会社　システム本部システム運営部オペレーショングループ
グループ長　丹羽辰樹氏