-
評価指標
- ざっくりいうと
- 「週毎のAUCの平均」 - 「週毎のAUCの平均の傾き」
- そのため、意図的に初めの方の週のAUCを下げると2校目の罰則項がなくなる
- ざっくりいうと
-
流れ
https://x.com/ChuMajin/status/1795258879175237917
コンペ開始 ↓ p : metric hackingできます。(意図的にテストデータの時系列の最初の方を悪くするとpublicが良) ↓ h : 3週間コンペ中断。新metricの提案受付・どうするか決めます。 ↓ h : metric変えず。hackingできないようtestデータ工夫
↓
p : なんで !?? いろいろ議論・・・ h : もうこの議論疲れたよ ↓ しばらくして・・・ ↓ p : ごめん。別の特徴量からhackingできたよ。 ↓ h : もうhackingは失格ではない。と公表 ↓ p : publicにhacking notebook出る(1 week前) ↓ p : hackingのハイパラ調整だ！ ↓ shake という感じです。