2022年12月19-23日に断続的に発生した、サービスの障害についてのその後のご報告
株式会社HERP 代表取締役の庄田でございます。
2022年12月19日から12月23日に発生した、サービスに断続的に繋がりにくい状態になる事象について、その後の対応並びに状況に関するご報告を申し上げます。
2023年1月10日までに実施した主な対策
- 2022年12月20日 負荷の大きい内部APIに対する負荷軽減対応を実施しました。
- 2022年12月21日 アクセス集中時間帯に一部機能を制限できる措置を導入しました。
- 2022年12月26日 利用しているデータベースサービスについて、上記の対応を踏まえた上での適切な水準へのスケールアップを実施しました。
- 2022年12月27日 負荷の大きい内部APIに対し、さらなる負荷軽減対応を実施しました。
2023年1月10日現在の状況
- 当該サービス障害発生時と同等のアクセス状況下において、サービスが安定的に稼働することが確認されております。
直近実施を予定しているさらなる対応
- データベースの参照負荷を効率良く分散させることができる構成への変更を進めております。
このたびは多大なるご迷惑・ご心配をおかけしたこと、重ね重ねお詫び申し上げます。
引き続きサービスの安定的な運用、パフォーマンスの改善に努めて参りますので、何卒よろしくお願い申し上げます。
株式会社HERP 代表取締役CEO 庄田一郎
【不具合のお詫び】2022年12月23日に発生していた、HERP Hireに断続的に繋がりづらい事象について
株式会社HERP 代表取締役の庄田でございます。 今週HERP Hireの複数回の障害により、 ユーザーの皆様に多大なご迷惑をお掛けしてしまい、大変申し訳ございません。
また、本日12月23日において、断続的にHERP Hireに繋がりづらい事象が発生しており、 今週発生したサービス障害と対応策の結果について、以下の通りご報告をさせていただきます。
本日（12/23）発生している事象
本日11:00頃より一部のユーザーからHERP Hireに繋がりづらい状態が発生しておりました。
今週（2022年12月19週）発生した障害と原因、対応・再発防止策の状況
A.12月19日 月曜日 11:00 - 11:25頃
- 原因
- 一時的なリクエスト量の増加でサービスに負荷がかかってしまったこと
- 再発防止策
- サービスにおける、負荷の大きい機能・クエリのパフォーマンス改善を実施済み
- アクセスが集中するタイミングにおいて、一部の機能を縮小し、負荷を低減させる仕組みを導入済み
B.12月23日 金曜日 10:30 - 10:45頃、12:42 - 12:45頃、14:53 - 14:56頃
- 原因
- 上記件の再発防止策に、予期せぬ不具合が含まれていたこと
- 対応策
- 利用している外部サービスに起因する不具合の特定と対策を実施済み
C.12月19日 月曜日 19:00 - 12月20日 火曜日 12:30頃
- 原因
- インフラ関連を含む改善・更新作業に伴い、システム内の一部ジョブの実行が遅延してしまったこと
- 再発防止策
- 同様の不具合が出た場合に、遅延せず自動で復帰できるような改修を実施済み
対応予定＠2023年12月23日時点
上述した対応や追加の再発防止策の実施行ってまいります。
一方で、実際にアクセス過多の状況が発生するまでは実施した対策についての確実な効果検証ができない状況であり、再発する可能性がないとは断言するのは難しい状態です。
今後、万が一同様の状況が発生する場合に備えて、アクセスが多くなる時間帯には対応・監視要員を複数名待機させる体制にしております。アクセスしづらい状況となった場合でも迅速に対応を進めてまいりますので、大変ご迷惑をおかけしますが解消までお待ちいただけますと幸いです。
このたびは多大なるご迷惑をおかけしており、重ね重ねお詫び申し上げます。
状況や対応が変化・進捗次第、引き続きご連絡させていただきます。
株式会社HERP 代表取締役CEO 庄田一郎
