2025-01-11の記事を追加

content/posts/2024-12-26/index.md

@@ -1,6 +1,6 @@
 ---
 author: usbharu
-draft: true
+draft: false
 categories:
   - ボツ記事
 date: 2024-12-26T15:05:47+09:00

content/posts/2025-01-06/index.md

@@ -1,6 +1,6 @@
 ---
 author: usbharu
-draft: true
+draft: false
 categories:
   - 技術
 date: 2025-01-06T15:19:35+09:00

content/posts/2025-01-11/index.md

@@ -0,0 +1,64 @@
+---
+author: usbharu
+draft: false
+categories:
+  - その他
+date: 2025-01-11T01:33:44+09:00
+tags:
+  - misskey
+keywords:
+  - null
+title: 2025年1月11日0時頃から同1時頃までの障害について
+relpermalink: posts/2025-01-11/
+url: posts/2025-01-11/
+decription: 2025年1月11日0時頃から同1時頃にかけて発生した連合先インスタンスからの投稿がタイムラインに表示されない障害についての文章です。(真面目な文章ではありません)
+---
+
+## 概要
+
+2025年1月11日0時頃から同1時頃にかけて発生した連合先インスタンスからの投稿がタイムラインに表示されない障害についての文章です。(真面目な文章ではありません)
+
+## 障害発生時刻
+
+2025年1月11日0時頃
+
+## 障害復旧時刻
+
+2025年1月11日1時頃
+
+## 障害内容
+
+`https://negi.usbharu.dev`においてInboxが詰まり、連合先インスタンスからの配送の処理が止まりました。投稿がタイムラインに表示されず、リアクションなども受け取れていませんでした。
+
+## 障害範囲
+
+- `https://negi.usbharu.dev`に存在する全てのローカルアカウント
+
+## 発生原因
+
+多分リモートユーザーの中にピン留めノートの数がすごい多い人がいて、制限に引っかかってエラーが発生しそのままリトライになった結果Inboxが爆発したと思われる。ちゃんとした調査はしてない。
+
+## 一次対応
+
+- Inboxのジョブキューの設定を大幅に強化し、パワーでぶん殴りました。
+- ジョブの強制リトライを手動実行しました。
+- リモートユーザーに対してピン留めノート数の制限を大幅に緩めました。
+
+## 今後の対応
+
+- ジョブキューの監視をおこない早期に対処できるようにします。
+- GTLの監視をおこないInboxの問題を早期に対処できるようにします。
+
+## 障害経緯
+
+|タイムスタンプ|事象|
+|-|-|
+|2025年1月11日 0時頃|Inboxが詰まり始める|
+|2025年1月11日 0時52分頃|音ゲーを開始|
+|2025年1月11日 0時54分|利用者からのDM|
+|2025年1月11日 0時55分|DMをチラ見しながらフルコンを逃す|
+|2025年1月11日 0時55分|DMを確認 対応を開始|
+|2025年1月11日 0時57分|ジョブキューの設定を変更|
+|2025年1月11日 1時00分|変更した設定が反映される|
+|2025年1月11日 1時02分|障害解消を確認 利用者にDM|
+|2025年1月11日 1時30分頃|障害原因を推定 ピン留めノートの数の制限を緩和|