ベンチマーカーの仕様をまとめる

[bgpat]

当日マニュアル
https://gist.github.com/mackee/4320c18919c8f6f1867849378a17e651

[bgpat]

初期化処理の実行 POST /initialize（30 秒でタイムアウト）
アプリケーション互換性チェック（数秒～数十秒）
負荷走行（60 秒）

[bgpat]

以下のAPIは、Retry-Afterを含めた429 Too Many Requestsを返すことが出来ます。

POST /api/admin/tenants/add
POST /api/organizer/competitions/add

Too Many Requestsを返した場合は、ベンチマーカーは点数を加算せずRetry-Afterの秒数待ったのちリトライします。

[bgpat]

スコアは一度のリクエストの成功につき、エンドポイント毎に決められた点数が加算されます。

1点
    GET /api/player/player/:player_name
    GET /api/player/competition/:competition_id/ranking
    GET /api/player/competitions
10点
    POST /api/admin/tenants/add
    GET /api/admin/tenants/billing
    GET /api/organizer/players/list
    POST /api/organizer/players/add
    POST /api/organizer/player/:player_name/disqualified
    POST /api/organizer/competitions/add
    POST /api/organizer/competition/:competition_id/finish
    POST /api/organizer/competition/:competition_id/score
    GET /api/organizer/billing
    GET /api/organizer/competitions

[bgpat]

APIが予期しないResponseCode、あるいは正常ではないレスポンスを返した場合はエラーと判定します。

以下のAPI及び条件についてはCriticalなエラーとします。

POST /api/admin/tenants/add
POST /api/organizer/competitions/add
POST /api/organizer/competition/:competition_id/score
POST /api/organizer/competition/:competition_id/finish
POST /api/organizer/api/player/:player_id/disqualified
GET /api/player/* を失格済みプレイヤーでリクエスト

エラーが発生した場合は、負荷走行スコアから (エラーの数 × 1)% が減点されます。ただしCriticalなエラーについては、負荷走行スコアから (エラーの数 × 10)% が減点されます