負荷分散環境でApacheのリクエスト遅延を検出する方法を徹底解説

負荷分散環境において、Apacheは複数のサーバーにリクエストを振り分け、効率的な処理を担います。しかし、リクエストの遅延が発生すると、ユーザー体験の低下やシステム全体のパフォーマンス劣化を引き起こします。特に高トラフィックの環境では、遅延の兆候を早期に発見し、迅速に対処することが不可欠です。

本記事では、Apacheサーバーのリクエスト遅延を検出するための具体的な手法について解説します。mod_statusやmod_log_configを利用したリアルタイム監視やログ解析の方法、さらにApache Bench（ab）を活用した負荷テストの手順を紹介し、遅延発生の原因を特定して解消するまでの流れを詳しく説明します。

負荷分散環境でApacheのパフォーマンスを最大限に引き出し、安定した運用を実現するための知識を身につけましょう。

負荷分散環境におけるApacheの役割

負荷分散環境では、Apacheはクライアントからのリクエストを複数のサーバーに分散させる重要な役割を担います。これにより、単一のサーバーへの負荷が集中することを防ぎ、システム全体のパフォーマンスと安定性を向上させます。

リバースプロキシとしての機能

Apacheはリバースプロキシとして動作し、クライアントのリクエストをバックエンドサーバーに振り分けます。これにより、外部から見えるのはApacheのみで、内部構造が隠蔽されセキュリティが強化されます。

ロードバランサーとしての役割

Apacheはリクエストを複数のアプリケーションサーバーに分散させ、サーバー間の負荷を均一に保つ役割を果たします。mod_proxy_balancerモジュールを使用することで、セッション維持や重み付けなど、柔軟な負荷分散設定が可能になります。

キャッシュ機能による負荷軽減

Apacheはmod_cacheモジュールを利用して、動的コンテンツをキャッシュし、次回以降のリクエスト処理を高速化します。これにより、バックエンドの負荷が軽減され、レスポンス時間が短縮されます。

負荷分散環境におけるApacheの適切な設定と管理は、システム全体のパフォーマンス向上に直結します。次に、リクエスト遅延の原因について詳しく見ていきましょう。

リクエスト遅延の原因とは？

Apacheでリクエスト遅延が発生する原因は多岐にわたります。遅延が蓄積すると、ユーザー体験の低下やビジネスチャンスの損失につながるため、根本的な原因を理解し、早期に対処することが重要です。

サーバーの過負荷

サーバーリソース（CPU、メモリ、ディスクI/O）が限界に達すると、リクエスト処理に時間がかかります。特に大量の同時リクエストが発生すると、Apacheのスレッドが枯渇し、新しいリクエストがキューに積まれることで遅延が発生します。

ネットワークの遅延

クライアントとサーバー間のネットワークが不安定であったり、帯域が不足していたりすると、リクエストがサーバーに到達するまでに時間がかかります。加えて、バックエンドサーバー間の通信遅延もリクエスト全体の遅延を引き起こします。

バックエンド処理のボトルネック

Apacheはリクエストを受け付けるだけでなく、バックエンドのアプリケーションサーバーやデータベースと連携して動作します。アプリケーションの応答が遅い場合や、データベースクエリが重たい場合は、Apacheが応答を待機することで遅延が発生します。

Apacheの設定不備

不適切なApacheの設定（KeepAliveの無効化、タイムアウト値の設定ミスなど）も遅延を引き起こします。例えば、KeepAliveが無効になっていると、接続が都度確立されるため、処理が遅くなります。

リソース競合

複数のプロセスやアプリケーションが同一サーバー上で動作している場合、CPUやメモリの奪い合いが発生し、Apacheのリソースが不足します。これにより処理時間が長くなるケースがあります。

次のセクションでは、Apacheが提供するツールやモジュールを使用して、これらの遅延をどのように検出するかを詳しく説明します。

Apacheでリクエスト遅延を検出する方法

Apacheでは、さまざまなモジュールやツールを活用してリクエスト遅延を検出できます。ログの詳細な解析やリアルタイム監視を通じて、遅延の兆候を把握し、適切な対策を講じることが可能です。以下に、主要な検出方法を紹介します。

1. mod_statusを利用したリアルタイム監視

mod_statusモジュールは、Apacheの現在の動作状況をリアルタイムで確認できるツールです。リクエスト数、処理中のワーカースレッド数、応答時間などが表示されるため、遅延の兆候を即座に把握できます。
設定方法:

Apacheの設定ファイル（httpd.conf）に以下を追加します。

   <Location /server-status>
       SetHandler server-status
       Require ip 192.168.1.0/24
   </Location>

Apacheを再起動して反映させます。
ブラウザで「http://サーバーIP/server-status」にアクセスして状況を確認します。

2. mod_log_configで処理時間を記録

mod_log_configモジュールを使用すると、Apacheのアクセスログにリクエスト処理時間を記録できます。これにより、どのリクエストが長時間かかっているかを特定できます。
設定方法:

httpd.confに以下を追加します。

   LogFormat "%h %l %u %t \"%r\" %>s %b %D" extended
   CustomLog logs/access_log extended

%Dはリクエスト処理時間（マイクロ秒単位）を表します。

3. Apache Bench（ab）を使った負荷テスト

Apache Benchは、リクエストを大量に発生させることで、サーバーのパフォーマンスを測定するツールです。これを用いて遅延が発生する閾値を調査できます。
コマンド例:

ab -n 1000 -c 100 http://example.com/

-n：リクエストの総数
-c：同時接続数

4. システム全体のリソース監視

リクエスト遅延は、サーバーのリソース不足が原因で発生することがあります。topやhtopコマンドでCPUやメモリの使用率を監視し、ボトルネックを特定します。

top
htop

これらの方法を組み合わせることで、リクエスト遅延を効果的に検出し、パフォーマンスの向上につなげることができます。次は、mod_statusの具体的な設定と活用例について詳しく解説します。

mod_statusモジュールを使ったリアルタイム監視

mod_statusは、Apacheの稼働状況をリアルタイムで監視するためのモジュールです。これを利用することで、サーバーが処理中のリクエスト数やワーカースレッドの状態を即座に確認でき、リクエスト遅延の兆候を素早く察知できます。

mod_statusの主な特徴

リアルタイムでApacheの状態を表示
現在の接続数やアイドル状態のワーカーを確認可能
ボトルネックとなっているリクエストを特定
HTML形式で見やすく表示されるダッシュボード

mod_statusの設定方法

mod_statusを有効化するには、Apacheの設定ファイル（通常はhttpd.confまたはapache2.conf）を編集します。

1. mod_statusモジュールの有効化
まず、以下のコマンドでmod_statusがインストールされているか確認し、有効化します。

a2enmod status

その後、Apacheを再起動します。

systemctl restart apache2

2. 設定ファイルの編集
以下の設定をhttpd.confに追加します。

<IfModule mod_status.c>
    <Location /server-status>
        SetHandler server-status
        Require ip 192.168.1.0/24  # 許可するIPアドレス範囲
    </Location>
</IfModule>

この設定により、/server-statusへアクセスすることでApacheの状態が表示されます。アクセスを許可するIPアドレス範囲を指定することで、不正アクセスを防ぎます。

3. 設定の反映と確認
設定を保存後、Apacheを再起動します。

systemctl restart apache2

ブラウザで以下のURLにアクセスして、ステータスを確認します。

http://<サーバーIP>/server-status

正常に動作していれば、Apacheのリクエスト状況やサーバーの負荷状態がリアルタイムで確認できます。

mod_statusの活用方法

高負荷時のワーカースレッドの状態確認
アイドル状態のワーカーが少なくなっていたり、ビジー状態が続いている場合は、負荷が高まっている可能性があります。
リクエストの処理速度監視
特定のリクエストが長時間処理されている場合は、遅延の兆候として把握できます。
定期的な監視で安定運用
cronジョブなどを使い、定期的にmod_statusの結果をログに保存することで、長期的な監視と分析が可能になります。

mod_statusは設定がシンプルで効果的なリアルタイム監視ツールです。次に、mod_log_configを使用して、遅延リクエストの記録方法について詳しく解説します。

mod_log_configでリクエスト時間を記録する方法

mod_log_configモジュールを利用すると、Apacheのアクセスログにリクエスト処理時間を記録できます。これにより、遅延が発生しているリクエストを特定し、問題の原因を迅速に突き止めることが可能になります。

リクエスト時間を記録するメリット

遅延リクエストの可視化
どのリクエストが遅延しているかをログから直接確認可能です。
パフォーマンスチューニングの指針
遅延が頻発するURLや特定のエンドポイントを特定し、ボトルネックを解消できます。
遅延傾向の分析
長期的にログを収集して分析することで、負荷の高まる時間帯や遅延の原因を特定できます。

mod_log_configの設定方法

アクセスログにリクエスト処理時間を記録するには、httpd.confまたはapache2.confに以下の設定を追加します。

1. リクエスト処理時間を記録するログフォーマットの作成

LogFormat "%h %l %u %t \"%r\" %>s %b %D" extended

%D：リクエストの処理時間（マイクロ秒単位）
%h：クライアントのIPアドレス
%t：リクエストの受信時間
%r：リクエストの内容（メソッド、URL、プロトコル）
%>s：レスポンスコード
%b：送信されたバイト数

2. アクセスログに適用
作成したログフォーマットを利用して、アクセスログを記録します。

CustomLog logs/access_log extended

3. Apacheの再起動
設定を反映するためにApacheを再起動します。

systemctl restart apache2

記録されたログの確認

ログファイル（通常は/var/log/apache2/access_log）を確認すると、各リクエストごとの処理時間がマイクロ秒単位で記録されていることが分かります。

192.168.1.10 - - [28/Dec/2024:10:15:23 +0900] "GET /index.html HTTP/1.1" 200 3456 1050

上記の例では、リクエスト処理時間が1050マイクロ秒（約1ミリ秒）です。

長時間リクエストのフィルタリング

特定の閾値を超えるリクエストを抽出するには、awkやgrepを活用します。
例えば、5000マイクロ秒（5ミリ秒）以上かかったリクエストを抽出するには以下のようにします。

awk '$NF > 5000' /var/log/apache2/access_log

遅延リクエストの原因を特定するポイント

頻繁に遅延するURLを特定
特定のエンドポイントで遅延が発生していれば、アプリケーションレベルでの調査が必要です。
時間帯による遅延パターンを把握
アクセス集中が原因の場合は、リソースの増強やキャッシュの導入が有効です。
リクエストサイズと処理時間の関連性を確認
大きなファイルを処理するリクエストが遅延していないか確認します。

mod_log_configを活用することで、Apacheのリクエスト遅延を細かく監視し、サーバーパフォーマンスの最適化につなげることができます。次は、Apache Bench（ab）を使った負荷テストの方法について詳しく解説します。

Apache Bench（ab）を用いた負荷テストの実施

Apache Bench（ab）は、Apacheサーバーのパフォーマンスを測定するためのコマンドラインツールです。サーバーに大量のリクエストを送信し、応答時間や処理能力を確認することで、リクエスト遅延の原因やサーバーの限界を特定できます。

Apache Benchの特徴

シンプルで軽量
並列リクエストによる負荷テストが可能
結果が詳細に出力されるため分析しやすい
サーバーのスループット（処理能力）を測定可能

Apache Benchのインストール

多くのLinuxディストリビューションでは、Apache Benchがデフォルトでインストールされています。インストールされていない場合は、以下のコマンドで導入します。

sudo apt install apache2-utils  # Debian系
sudo yum install httpd-tools     # RedHat系

基本的なコマンド構文

ab -n <リクエスト数> -c <同時接続数> <テストURL>

-n：送信するリクエストの総数
-c：同時接続数（並列リクエスト数）
テストURL：負荷テスト対象のURL

基本的な負荷テストの例

1000回のリクエストを100並列で送信する例です。

ab -n 1000 -c 100 http://example.com/

結果例

Concurrency Level:      100
Time taken for tests:   12.345 seconds
Complete requests:      1000
Failed requests:        0
Total transferred:      8450000 bytes
HTML transferred:       8000000 bytes
Requests per second:    81.02 [#/sec] (mean)
Time per request:       123.45 [ms] (mean)
Time per request:       1.23 [ms] (across all concurrent requests)

Requests per second：1秒あたりのリクエスト処理数
Time per request：1リクエストあたりの平均処理時間
Failed requests：失敗したリクエスト数（0が理想）

テスト結果の分析

高い並列数で遅延が増大する場合
サーバーのスレッド数やワーカープロセスの設定を見直す必要があります。
Requests per secondが低い
サーバーの処理能力が限界に近づいている可能性があります。
Failed requestsが多発する
サーバーがリクエストを処理しきれず、エラーが発生しています。

Apache Benchの応用

特定のファイルやAPIエンドポイントを負荷テスト

ab -n 500 -c 50 http://example.com/api/data

POSTリクエストの送信

ab -n 100 -c 10 -p postdata.txt -T application/json http://example.com/api/post

-p：POSTデータを記述したファイル
-T：リクエストのContent-Type

SSLサイトの負荷テスト
HTTPSサイトもテスト可能です。

ab -n 1000 -c 100 https://secure.example.com/

負荷テストの注意点

本番環境でのテストは避ける
本番サーバーで大量のリクエストを送ると、サーバーダウンの原因になります。テスト環境を用意しましょう。
段階的に負荷を増やす
一度に大規模なリクエストを送るのではなく、少しずつ並列数を増やして限界を見極めます。

Apache Benchを用いた負荷テストは、サーバーの性能を把握し、遅延を引き起こす要因を特定するための有効な手段です。次は、検出した遅延に対する具体的な対策方法について解説します。

遅延検出後の対策方法

Apacheでリクエスト遅延を検出した後は、原因に応じて適切な対策を講じる必要があります。ここでは、遅延の主な原因に対する具体的な改善方法を解説します。

1. ワーカープロセスとスレッドの最適化

ApacheはMPM（Multi-Processing Module）によってリクエストを処理します。MPMの設定を最適化することで、同時接続の処理能力を向上させられます。

設定例（MPM Eventの場合）
httpd.confに以下を追加・変更します。

<IfModule mpm_event_module>
    StartServers             4
    MinSpareThreads          75
    MaxSpareThreads          250
    ThreadsPerChild          25
    MaxRequestWorkers        400
    MaxConnectionsPerChild   10000
</IfModule>

MaxRequestWorkers：同時処理可能な最大リクエスト数
ThreadsPerChild：1プロセスあたりのスレッド数

ポイント

ワーカーが不足する場合はMaxRequestWorkersを増やす
スレッドが過剰に消費されている場合はThreadsPerChildを調整

2. KeepAliveの最適化

KeepAliveは、複数のリクエストで同じ接続を再利用する機能です。不適切な設定ではリソースの消費が増大し、遅延の原因となります。

設定例

KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 5

MaxKeepAliveRequests：1つの接続で処理する最大リクエスト数
KeepAliveTimeout：アイドル状態で接続を維持する最大時間（秒）

推奨値

高負荷時はKeepAliveTimeoutを短めに設定（3〜5秒）
静的コンテンツが多い場合はMaxKeepAliveRequestsを増やしてパフォーマンス向上

3. 静的コンテンツのキャッシュ設定

動的なリクエスト処理を減らすために、静的コンテンツ（CSSやJavaScript、画像など）をキャッシュすることが重要です。

mod_cache設定例

<IfModule mod_cache.c>
    CacheEnable disk / 
    CacheRoot /var/cache/apache2
    CacheDirLevels 2
    CacheDirLength 1
</IfModule>

静的コンテンツはmod_expiresを使ってブラウザキャッシュを設定

<IfModule mod_expires.c>
    ExpiresActive On
    ExpiresByType text/css "access plus 1 month"
    ExpiresByType image/png "access plus 1 year"
</IfModule>

4. コンテンツ圧縮の有効化

転送データ量を削減することで、応答速度を向上させられます。mod_deflateを使用してコンテンツを圧縮します。

設定例

<IfModule mod_deflate.c>
    AddOutputFilterByType DEFLATE text/html text/plain text/xml
    AddOutputFilterByType DEFLATE text/css text/javascript application/javascript
</IfModule>

HTMLやCSS、JavaScriptなどはすべて圧縮対象にすることで、転送速度が向上

5. 遅延が発生している特定のエンドポイントの最適化

Apache Benchやアクセスログで特定のURLやAPIエンドポイントが遅延している場合は、その部分の処理を重点的に改善します。

対策例

クエリの見直し（SQLのインデックス追加など）
バックエンドアプリケーションの最適化（非同期処理やキャッシュ導入）
アプリケーションレイヤーでのキャッシュ処理

6. サーバーリソースの増強

CPU使用率が高い場合は、仮想CPUの増設やサーバーのスケールアップを検討
メモリ不足が原因でスワップが発生している場合は、物理メモリの追加を行います。
必要に応じてロードバランサーを導入し、複数のサーバーで処理を分散します。

7. バックエンドの非同期処理導入

バックエンドアプリケーションで非同期処理を取り入れることで、Apacheが長時間待機するのを防げます。

具体例

非同期ワーカースレッドを活用するWebフレームワーク（Node.js、Django Asyncなど）を導入
メッセージキュー（RabbitMQ、Redis）で処理を分散

8. ロードバランサーの活用

大量のリクエストが1台のサーバーに集中している場合は、ロードバランサーを導入して負荷を分散します。Apache自身にmod_proxy_balancerを設定することで簡易ロードバランサーを構築できます。

設定例

<Proxy balancer://mycluster>
    BalancerMember http://192.168.1.10
    BalancerMember http://192.168.1.11
</Proxy>

ProxyPass / balancer://mycluster/

これらの方法を組み合わせて、遅延の発生を抑え、Apacheサーバーのパフォーマンスを最大限に引き出しましょう。次に、自動監視とアラート設定の方法について解説します。

自動監視とアラート設定の実装例

リクエスト遅延を迅速に検知し、問題が深刻化する前に対応するためには、自動監視とアラートの仕組みを導入することが不可欠です。ここでは、Apacheの状態を自動で監視し、遅延が発生した際に通知を送る方法を解説します。

1. mod_statusを活用した状態監視

mod_statusで取得できるApacheの稼働状況を自動的に監視し、異常が検出された際にアラートを送信する仕組みを構築します。

シェルスクリプト例：ワーカースレッド監視

#!/bin/bash

# mod_statusからワーカーの状態を取得
STATUS=$(curl -s http://localhost/server-status?auto)

# ビジー状態のワーカー数を取得
BUSY_WORKERS=$(echo "$STATUS" | grep "BusyWorkers" | awk '{print $2}')
IDLE_WORKERS=$(echo "$STATUS" | grep "IdleWorkers" | awk '{print $2}')

# ビジー状態のワーカーが80%以上でアラート
if [ "$BUSY_WORKERS" -ge 80 ]; then
    echo "Apacheのワーカースレッドがビジー状態です。 ($BUSY_WORKERS/100)" | mail -s "【警告】Apache負荷増大" admin@example.com
fi

このスクリプトをcronジョブに登録し、1分ごとに実行します。

* * * * * /path/to/apache_monitor.sh

2. リクエスト遅延のログ監視とアラート

mod_log_configで記録したアクセスログを監視し、特定の遅延を検知した際にアラートを送信します。

シェルスクリプト例：長時間リクエスト検知

#!/bin/bash

LOG_FILE="/var/log/apache2/access_log"
THRESHOLD=5000  # 5秒（5000ミリ秒）

# 遅延が5秒を超えるリクエストを検出
SLOW_REQUESTS=$(awk -v threshold="$THRESHOLD" '$NF > threshold' $LOG_FILE | wc -l)

if [ "$SLOW_REQUESTS" -gt 0 ]; then
    echo "遅延リクエストが検出されました: $SLOW_REQUESTS 件" | mail -s "【警告】Apacheリクエスト遅延検知" admin@example.com
fi

アクセスログを定期的に解析し、遅延リクエストがあればメールで通知します。

3. Nagiosを使用したApache監視

Nagiosは、Apacheの状態を監視するための強力なオープンソースツールです。mod_statusと連携して、遅延や負荷をリアルタイムで監視できます。

Nagiosの設定例（check_httpを使用）

define service {
    use                 generic-service
    host_name           web-server
    service_description HTTP
    check_command       check_http -H localhost -u /server-status
}

Nagiosが定期的にmod_statusを確認し、サーバーの状態を監視します。異常が検出された場合はメールやSlackで通知可能です。

4. GrafanaとPrometheusを用いたリアルタイム監視

ApacheのメトリクスをPrometheusで収集し、Grafanaで可視化します。閾値を超えた場合はSlackやメールでアラートを送信します。

手順概要

Prometheus exporter for Apacheを導入してメトリクスを収集

wget https://github.com/Lusitaniae/apache_exporter/releases/download/v0.8.0/apache_exporter-0.8.0.linux-amd64.tar.gz
tar -xvf apache_exporter-0.8.0.linux-amd64.tar.gz
./apache_exporter --scrape_uri=http://localhost/server-status?auto

Prometheusの設定でapache_exporterのエンドポイントを追加

- job_name: 'apache'
  static_configs:
  - targets: ['localhost:9117']

GrafanaでPrometheusをデータソースとして設定し、mod_statusのメトリクスを可視化

5. 自動スケーリングの導入

ロードバランサーとクラウドのオートスケール機能を組み合わせることで、リクエスト数に応じてサーバーを自動で増減させます。
AWS EC2のオートスケーリングやKubernetes（K8s）などを利用して、リクエストが集中する時間帯でも遅延を防ぐことが可能です。

6. アラートの多様化

アラートをメールだけでなく、SlackやTeamsなどにも送信することで、チーム全体で迅速に対応できます。

Slack通知例（Webhook）

curl -X POST -H 'Content-type: application/json' --data '{"text":"Apacheで遅延が検出されました"}' https://hooks.slack.com/services/T000/B000/XXXXX

まとめ

Apacheのリクエスト遅延は、早期に検出し、迅速に対処することが重要です。mod_statusやmod_log_configを活用したシンプルな監視から、NagiosやGrafanaなどを使った高度な監視まで、多様な方法を組み合わせて安定した運用を目指しましょう。次に、本記事のまとめに進みます。

まとめ

本記事では、負荷分散環境でApacheのリクエスト遅延を検出し、対策する具体的な方法について解説しました。

mod_statusやmod_log_configを活用したリアルタイム監視やログ解析により、遅延の兆候を素早く察知できます。また、Apache Bench（ab）を用いた負荷テストで、サーバーの処理能力を測定し、ボトルネックを特定することが可能です。

検出した遅延に対しては、MPM設定の最適化やKeepAliveの調整、キャッシュ設定、コンテンツ圧縮などの手法を駆使してサーバーの応答速度を改善します。さらに、自動監視とアラートを導入することで、運用中に発生する問題を迅速に特定し、システムの安定性を維持できます。

Apacheのリクエスト遅延は完全に防ぐことは難しいですが、定期的な監視と適切なチューニングを続けることで、大きな遅延を回避し、安定したサービスを提供できるでしょう。

負荷分散環境でApacheのリクエスト遅延を検出する方法を徹底解説

負荷分散環境におけるApacheの役割

リバースプロキシとしての機能

ロードバランサーとしての役割

キャッシュ機能による負荷軽減

リクエスト遅延の原因とは？

サーバーの過負荷

ネットワークの遅延

バックエンド処理のボトルネック

Apacheの設定不備

リソース競合

Apacheでリクエスト遅延を検出する方法

1. mod_statusを利用したリアルタイム監視

2. mod_log_configで処理時間を記録

3. Apache Bench（ab）を使った負荷テスト

4. システム全体のリソース監視

mod_statusモジュールを使ったリアルタイム監視

mod_statusの主な特徴

mod_statusの設定方法

mod_statusの活用方法

mod_log_configでリクエスト時間を記録する方法

リクエスト時間を記録するメリット

mod_log_configの設定方法

記録されたログの確認

長時間リクエストのフィルタリング

遅延リクエストの原因を特定するポイント

Apache Bench（ab）を用いた負荷テストの実施

Apache Benchの特徴

Apache Benchのインストール

基本的なコマンド構文

基本的な負荷テストの例

結果例

テスト結果の分析

Apache Benchの応用

負荷テストの注意点

遅延検出後の対策方法

1. ワーカープロセスとスレッドの最適化

2. KeepAliveの最適化

3. 静的コンテンツのキャッシュ設定

4. コンテンツ圧縮の有効化

5. 遅延が発生している特定のエンドポイントの最適化

6. サーバーリソースの増強

7. バックエンドの非同期処理導入

8. ロードバランサーの活用

自動監視とアラート設定の実装例

1. mod_statusを活用した状態監視

2. リクエスト遅延のログ監視とアラート

3. Nagiosを使用したApache監視

4. GrafanaとPrometheusを用いたリアルタイム監視

5. 自動スケーリングの導入

6. アラートの多様化

まとめ

まとめ

コメント

コメントする コメントをキャンセル

コメントするコメントをキャンセル