blog/content/posts/2025-01-11/index.md

author	draft	categories	date	tags	keywords	title	relpermalink	url	decription
usbharu	false	その他	2025-01-11T01:33:44+09:00	misskey	null	2025年1月11日0時頃から同1時頃までの障害について	posts/2025-01-11/	posts/2025-01-11/	2025年1月11日0時頃から同1時頃にかけて発生した連合先インスタンスからの投稿がタイムラインに表示されない障害についての文章です。(真面目な文章ではありません)

概要

2025年1月11日0時頃から同1時頃にかけて発生した連合先インスタンスからの投稿がタイムラインに表示されない障害についての文章です。(真面目な文章ではありません)

障害発生時刻

2025年1月11日0時頃

障害復旧時刻

2025年1月11日1時頃

障害内容

https://negi.usbharu.devにおいてInboxが詰まり、連合先インスタンスからの配送の処理が止まりました。投稿がタイムラインに表示されず、リアクションなども受け取れていませんでした。

障害範囲

• https://negi.usbharu.devに存在する全てのローカルアカウント

発生原因

多分リモートユーザーの中にピン留めノートの数がすごい多い人がいて、制限に引っかかってエラーが発生しそのままリトライになった結果Inboxが爆発したと思われる。ちゃんとした調査はしてない。

一次対応

• Inboxのジョブキューの設定を大幅に強化し、パワーでぶん殴りました。
• ジョブの強制リトライを手動実行しました。
• リモートユーザーに対してピン留めノート数の制限を大幅に緩めました。

今後の対応

• ジョブキューの監視をおこない早期に対処できるようにします。
• GTLの監視をおこないInboxの問題を早期に対処できるようにします。

障害経緯

タイムスタンプ	事象
2025年1月11日 0時頃	Inboxが詰まり始める
2025年1月11日 0時52分頃	音ゲーを開始
2025年1月11日 0時54分	利用者からのDM
2025年1月11日 0時55分	DMをチラ見しながらフルコンを逃す
2025年1月11日 0時55分	DMを確認 対応を開始
2025年1月11日 0時57分	ジョブキューの設定を変更
2025年1月11日 1時00分	変更した設定が反映される
2025年1月11日 1時02分	障害解消を確認 利用者にDM
2025年1月11日 1時30分頃	障害原因を推定 ピン留めノートの数の制限を緩和