GW6 Modality-Subset Sweep Radar
Single-seed 57-checkpoint modality-subset sweep. Each line averages rank-normalized held-out
performance for models trained with the same number of modalities. For each directed eval,
best model receives 1.0 and worst receives 0.0 before averaging across sources into target-metric spokes.
Equal Time Radar Plot
0.2
0.4
0.6
0.8
1.0
reptok lpips
reptok semantic
reptok det_class
reptok det_bbox_iou
biggan lpips
biggan semantic
biggan det_class
biggan det_bbox_iou
sonar bleu
symbolic top1
symbolic bbox_iou
2 modalities
3 modalities
4 modalities
5 modalities
6 modalities
Completeness
Complete
item value Runs 57 Selected directed evals 33 Raw eval rows 528 Missing rows 0 Failed rows 0
Radar Values
spoke run_size mean_rank_normalized n_rows reptok:lpips 2 0.7 2 reptok:lpips 3 0.6083333333 8 reptok:lpips 4 0.5222222222 12 reptok:lpips 5 0.3916666667 8 reptok:lpips 6 0.1666666667 2 reptok:semantic 2 0.7333333333 3 reptok:semantic 3 0.5833333333 12 reptok:semantic 4 0.5259259259 18 reptok:semantic 5 0.3777777778 12 reptok:semantic 6 0.2666666666 3 reptok:det_class 2 0.7666666667 5 reptok:det_class 3 0.6333333333 20 reptok:det_class 4 0.51 30 reptok:det_class 5 0.37 20 reptok:det_class 6 0.16 5 reptok:det_bbox_iou 2 0.8666666667 1 reptok:det_bbox_iou 3 0.6666666667 4 reptok:det_bbox_iou 4 0.4888888889 6 reptok:det_bbox_iou 5 0.2833333333 4 reptok:det_bbox_iou 6 0.4 1 biggan:lpips 2 0.4 2 biggan:lpips 3 0.65 8 biggan:lpips 4 0.6055555556 12 biggan:lpips 5 0.3 8 biggan:lpips 6 0.1666666667 2 biggan:semantic 2 0.4333333333 2 biggan:semantic 3 0.5 8 biggan:semantic 4 0.5833333333 12 biggan:semantic 5 0.45 8 biggan:semantic 6 0.2666666667 2 biggan:det_class 2 0.3066666667 5 biggan:det_class 3 0.5616666667 20 biggan:det_class 4 0.6077777778 30 biggan:det_class 5 0.3866666667 20 biggan:det_class 6 0.2533333333 5 biggan:det_bbox_iou 2 1 1 biggan:det_bbox_iou 3 0.5333333333 4 biggan:det_bbox_iou 4 0.4444444445 6 biggan:det_bbox_iou 5 0.4666666667 4 biggan:det_bbox_iou 6 0.3333333333 1 sonar:bleu 2 0.7333333333 4 sonar:bleu 3 0.6708333333 16 sonar:bleu 4 0.5416666667 24 sonar:bleu 5 0.2791666667 16 sonar:bleu 6 0.2166666667 4 symbolic:top1 2 0.5733333334 5 symbolic:top1 3 0.5266666667 20 symbolic:top1 4 0.5777777778 30 symbolic:top1 5 0.3566666667 20 symbolic:top1 6 0.4266666667 5 symbolic:bbox_iou 2 0.6666666666 3 symbolic:bbox_iou 3 0.7055555556 12 symbolic:bbox_iou 4 0.4777777778 18 symbolic:bbox_iou 5 0.3722222222 12 symbolic:bbox_iou 6 0.1555555555 3
Directed Eval Values
eval_id source target metric run_size mean_rank_normalized n_rows 1 biggan reptok lpips 2 0.4 1 1 biggan reptok lpips 3 0.5666666666 4 1 biggan reptok lpips 4 0.6333333333 6 1 biggan reptok lpips 5 0.3333333333 4 1 biggan reptok lpips 6 0.2 1 2 dinov2 reptok lpips 2 1 1 2 dinov2 reptok lpips 3 0.65 4 2 dinov2 reptok lpips 4 0.4111111111 6 2 dinov2 reptok lpips 5 0.45 4 2 dinov2 reptok lpips 6 0.1333333333 1 5 bge reptok semantic 2 1 1 5 bge reptok semantic 3 0.6666666667 4 5 bge reptok semantic 4 0.4777777778 6 5 bge reptok semantic 5 0.3333333334 4 5 bge reptok semantic 6 0.1333333333 1 6 sonar reptok semantic 2 0.7333333333 1 6 sonar reptok semantic 3 0.7333333333 4 6 sonar reptok semantic 4 0.5111111111 6 6 sonar reptok semantic 5 0.2833333333 4 6 sonar reptok semantic 6 0.1333333333 1 7 symbolic reptok semantic 2 0.4666666667 1 7 symbolic reptok semantic 3 0.35 4 7 symbolic reptok semantic 4 0.5888888889 6 7 symbolic reptok semantic 5 0.5166666667 4 7 symbolic reptok semantic 6 0.5333333333 1 8 biggan reptok det_class 2 0.4333333333 1 8 biggan reptok det_class 3 0.625 4 8 biggan reptok det_class 4 0.5611111111 6 8 biggan reptok det_class 5 0.375 4 8 biggan reptok det_class 6 0.2 1 9 dinov2 reptok det_class 2 1 1 9 dinov2 reptok det_class 3 0.7916666667 4 9 dinov2 reptok det_class 4 0.4388888889 6 9 dinov2 reptok det_class 5 0.2833333333 4 9 dinov2 reptok det_class 6 0.06666666667 1 10 bge reptok det_class 2 1 1 10 bge reptok det_class 3 0.5333333333 4 10 bge reptok det_class 4 0.5111111111 6 10 bge reptok det_class 5 0.4166666667 4 10 bge reptok det_class 6 0.1333333333 1 11 sonar reptok det_class 2 0.6 1 11 sonar reptok det_class 3 0.6666666667 4 11 sonar reptok det_class 4 0.5444444444 6 11 sonar reptok det_class 5 0.3333333333 4 11 sonar reptok det_class 6 0.1333333333 1 12 symbolic reptok det_class 2 0.8 1 12 symbolic reptok det_class 3 0.55 4 12 symbolic reptok det_class 4 0.4944444445 6 12 symbolic reptok det_class 5 0.4416666667 4 12 symbolic reptok det_class 6 0.2666666667 1 13 symbolic reptok det_bbox_iou 2 0.8666666667 1 13 symbolic reptok det_bbox_iou 3 0.6666666667 4 13 symbolic reptok det_bbox_iou 4 0.4888888889 6 13 symbolic reptok det_bbox_iou 5 0.2833333333 4 13 symbolic reptok det_bbox_iou 6 0.4 1 14 dinov2 biggan lpips 2 0.4 1 14 dinov2 biggan lpips 3 0.7166666667 4 14 dinov2 biggan lpips 4 0.5666666667 6 14 dinov2 biggan lpips 5 0.3 4 14 dinov2 biggan lpips 6 0.1333333333 1 15 reptok biggan lpips 2 0.4 1 15 reptok biggan lpips 3 0.5833333333 4 15 reptok biggan lpips 4 0.6444444444 6 15 reptok biggan lpips 5 0.3 4 15 reptok biggan lpips 6 0.2 1 18 bge biggan semantic 2 0.5333333333 1 18 bge biggan semantic 3 0.55 4 18 bge biggan semantic 4 0.5333333333 6 18 bge biggan semantic 5 0.45 4 18 bge biggan semantic 6 0.2666666667 1 19 sonar biggan semantic 2 0.3333333333 1 19 sonar biggan semantic 3 0.45 4 19 sonar biggan semantic 4 0.6333333333 6 19 sonar biggan semantic 5 0.45 4 19 sonar biggan semantic 6 0.2666666667 1 21 dinov2 biggan det_class 2 0.1333333333 1 21 dinov2 biggan det_class 3 0.65 4 21 dinov2 biggan det_class 4 0.5888888889 6 21 dinov2 biggan det_class 5 0.3833333333 4 21 dinov2 biggan det_class 6 0.2 1 22 reptok biggan det_class 2 0.06666666667 1 22 reptok biggan det_class 3 0.5583333333 4 22 reptok biggan det_class 4 0.6944444445 6 22 reptok biggan det_class 5 0.3333333333 4 22 reptok biggan det_class 6 0.2 1 23 bge biggan det_class 2 0.5333333333 1 23 bge biggan det_class 3 0.5916666667 4 23 bge biggan det_class 4 0.5222222222 6 23 bge biggan det_class 5 0.425 4 23 bge biggan det_class 6 0.2666666667 1 24 sonar biggan det_class 2 0.3333333333 1 24 sonar biggan det_class 3 0.4666666667 4 24 sonar biggan det_class 4 0.6666666666 6 24 sonar biggan det_class 5 0.3833333334 4 24 sonar biggan det_class 6 0.2666666667 1 25 symbolic biggan det_class 2 0.4666666667 1 25 symbolic biggan det_class 3 0.5416666666 4 25 symbolic biggan det_class 4 0.5666666667 6 25 symbolic biggan det_class 5 0.4083333333 4 25 symbolic biggan det_class 6 0.3333333333 1 26 symbolic biggan det_bbox_iou 2 1 1 26 symbolic biggan det_bbox_iou 3 0.5333333333 4 26 symbolic biggan det_bbox_iou 4 0.4444444445 6 26 symbolic biggan det_bbox_iou 5 0.4666666667 4 26 symbolic biggan det_bbox_iou 6 0.3333333333 1 27 biggan sonar bleu 2 0.9333333333 1 27 biggan sonar bleu 3 0.8166666667 4 27 biggan sonar bleu 4 0.4777777778 6 27 biggan sonar bleu 5 0.1833333333 4 27 biggan sonar bleu 6 0.2 1 28 dinov2 sonar bleu 2 1 1 28 dinov2 sonar bleu 3 0.4666666667 4 28 dinov2 sonar bleu 4 0.5222222222 6 28 dinov2 sonar bleu 5 0.4333333333 4 28 dinov2 sonar bleu 6 0.2666666667 1 29 reptok sonar bleu 2 0.8666666667 1 29 reptok sonar bleu 3 0.8166666666 4 29 reptok sonar bleu 4 0.4555555556 6 29 reptok sonar bleu 5 0.25 4 29 reptok sonar bleu 6 0.1333333333 1 30 bge sonar bleu 2 0.1333333333 1 30 bge sonar bleu 3 0.5833333333 4 30 bge sonar bleu 4 0.7111111111 6 30 bge sonar bleu 5 0.25 4 30 bge sonar bleu 6 0.2666666667 1 31 biggan symbolic top1 2 0.6666666667 1 31 biggan symbolic top1 3 0.5583333333 4 31 biggan symbolic top1 4 0.5055555556 6 31 biggan symbolic top1 5 0.35 4 31 biggan symbolic top1 6 0.6666666667 1 32 dinov2 symbolic top1 2 0.9 1 32 dinov2 symbolic top1 3 0.6166666667 4 32 dinov2 symbolic top1 4 0.5555555555 6 32 dinov2 symbolic top1 5 0.2916666666 4 32 dinov2 symbolic top1 6 0.1333333333 1 33 reptok symbolic top1 2 0.6666666667 1 33 reptok symbolic top1 3 0.425 4 33 reptok symbolic top1 4 0.55 6 33 reptok symbolic top1 5 0.4166666667 4 33 reptok symbolic top1 6 0.6666666667 1 34 bge symbolic top1 2 0.06666666667 1 34 bge symbolic top1 3 0.5833333333 4 34 bge symbolic top1 4 0.6444444445 6 34 bge symbolic top1 5 0.3666666667 4 34 bge symbolic top1 6 0.2666666667 1 35 sonar symbolic top1 2 0.5666666667 1 35 sonar symbolic top1 3 0.45 4 35 sonar symbolic top1 4 0.6333333333 6 35 sonar symbolic top1 5 0.3583333333 4 35 sonar symbolic top1 6 0.4 1 41 biggan symbolic bbox_iou 2 0.9333333333 1 41 biggan symbolic bbox_iou 3 0.7333333334 4 41 biggan symbolic bbox_iou 4 0.4777777778 6 41 biggan symbolic bbox_iou 5 0.2666666667 4 41 biggan symbolic bbox_iou 6 0.2 1 42 dinov2 symbolic bbox_iou 2 0.3333333333 1 42 dinov2 symbolic bbox_iou 3 0.75 4 42 dinov2 symbolic bbox_iou 4 0.4111111111 6 42 dinov2 symbolic bbox_iou 5 0.5166666667 4 42 dinov2 symbolic bbox_iou 6 0.1333333333 1 43 reptok symbolic bbox_iou 2 0.7333333333 1 43 reptok symbolic bbox_iou 3 0.6333333333 4 43 reptok symbolic bbox_iou 4 0.5444444444 6 43 reptok symbolic bbox_iou 5 0.3333333334 4 43 reptok symbolic bbox_iou 6 0.1333333333 1
Equal Steps Radar Plot
0.2
0.4
0.6
0.8
1.0
reptok lpips
reptok semantic
reptok det_class
reptok det_bbox_iou
biggan lpips
biggan semantic
biggan det_class
biggan det_bbox_iou
sonar bleu
symbolic top1
symbolic bbox_iou
2 modalities
3 modalities
4 modalities
5 modalities
6 modalities
Completeness
Complete
item value Runs 57 Selected directed evals 33 Raw eval rows 528 Missing rows 0 Failed rows 0
Radar Values
spoke run_size mean_rank_normalized n_rows reptok:lpips 2 0.9333333334 2 reptok:lpips 3 0.5583333333 8 reptok:lpips 4 0.4666666667 12 reptok:lpips 5 0.425 8 reptok:lpips 6 0.3333333334 2 reptok:semantic 2 0.5777777778 3 reptok:semantic 3 0.5388888889 12 reptok:semantic 4 0.4740740741 18 reptok:semantic 5 0.4611111111 12 reptok:semantic 6 0.5777777778 3 reptok:det_class 2 0.76 5 reptok:det_class 3 0.61 20 reptok:det_class 4 0.52 30 reptok:det_class 5 0.345 20 reptok:det_class 6 0.3 5 reptok:det_bbox_iou 2 0.9333333333 1 reptok:det_bbox_iou 3 0.6833333333 4 reptok:det_bbox_iou 4 0.4777777778 6 reptok:det_bbox_iou 5 0.3333333333 4 reptok:det_bbox_iou 6 0.1333333333 1 biggan:lpips 2 0.06666666667 2 biggan:lpips 3 0.3833333333 8 biggan:lpips 4 0.5388888889 12 biggan:lpips 5 0.65 8 biggan:lpips 6 0.5666666666 2 biggan:semantic 2 0.03333333333 2 biggan:semantic 3 0.3166666667 8 biggan:semantic 4 0.4888888889 12 biggan:semantic 5 0.7083333333 8 biggan:semantic 6 0.9333333334 2 biggan:det_class 2 0.09333333334 5 biggan:det_class 3 0.3783333333 20 biggan:det_class 4 0.4855555556 30 biggan:det_class 5 0.6766666667 20 biggan:det_class 6 0.7733333333 5 biggan:det_bbox_iou 2 0.9333333333 1 biggan:det_bbox_iou 3 0.5 4 biggan:det_bbox_iou 4 0.4333333333 6 biggan:det_bbox_iou 5 0.4666666667 4 biggan:det_bbox_iou 6 0.6 1 sonar:bleu 2 0.9333333333 4 sonar:bleu 3 0.7416666667 16 sonar:bleu 4 0.4527777778 24 sonar:bleu 5 0.3083333333 16 sonar:bleu 6 0.15 4 symbolic:top1 2 0.5266666667 5 symbolic:top1 3 0.5466666667 20 symbolic:top1 4 0.5744444445 30 symbolic:top1 5 0.395 20 symbolic:top1 6 0.26 5 symbolic:bbox_iou 2 0.4666666667 3 symbolic:bbox_iou 3 0.5222222222 12 symbolic:bbox_iou 4 0.4925925926 18 symbolic:bbox_iou 5 0.5388888889 12 symbolic:bbox_iou 6 0.3333333334 3
Directed Eval Values
eval_id source target metric run_size mean_rank_normalized n_rows 1 biggan reptok lpips 2 0.8666666667 1 1 biggan reptok lpips 3 0.55 4 1 biggan reptok lpips 4 0.4555555555 6 1 biggan reptok lpips 5 0.45 4 1 biggan reptok lpips 6 0.4 1 2 dinov2 reptok lpips 2 1 1 2 dinov2 reptok lpips 3 0.5666666667 4 2 dinov2 reptok lpips 4 0.4777777778 6 2 dinov2 reptok lpips 5 0.4 4 2 dinov2 reptok lpips 6 0.2666666667 1 5 bge reptok semantic 2 1 1 5 bge reptok semantic 3 0.5666666667 4 5 bge reptok semantic 4 0.4666666666 6 5 bge reptok semantic 5 0.3833333333 4 5 bge reptok semantic 6 0.4 1 6 sonar reptok semantic 2 0.6666666667 1 6 sonar reptok semantic 3 0.6166666667 4 6 sonar reptok semantic 4 0.5111111111 6 6 sonar reptok semantic 5 0.3333333333 4 6 sonar reptok semantic 6 0.4666666667 1 7 symbolic reptok semantic 2 0.06666666667 1 7 symbolic reptok semantic 3 0.4333333333 4 7 symbolic reptok semantic 4 0.4444444444 6 7 symbolic reptok semantic 5 0.6666666667 4 7 symbolic reptok semantic 6 0.8666666667 1 8 biggan reptok det_class 2 0.6333333333 1 8 biggan reptok det_class 3 0.8166666667 4 8 biggan reptok det_class 4 0.5277777778 6 8 biggan reptok det_class 5 0.1916666667 4 8 biggan reptok det_class 6 0.1666666667 1 9 dinov2 reptok det_class 2 1 1 9 dinov2 reptok det_class 3 0.5916666667 4 9 dinov2 reptok det_class 4 0.5 6 9 dinov2 reptok det_class 5 0.3916666667 4 9 dinov2 reptok det_class 6 0.06666666667 1 10 bge reptok det_class 2 1 1 10 bge reptok det_class 3 0.5 4 10 bge reptok det_class 4 0.5166666667 6 10 bge reptok det_class 5 0.4416666667 4 10 bge reptok det_class 6 0.1333333333 1 11 sonar reptok det_class 2 0.7666666667 1 11 sonar reptok det_class 3 0.625 4 11 sonar reptok det_class 4 0.4555555555 6 11 sonar reptok det_class 5 0.3833333333 4 11 sonar reptok det_class 6 0.4666666667 1 12 symbolic reptok det_class 2 0.4 1 12 symbolic reptok det_class 3 0.5166666667 4 12 symbolic reptok det_class 4 0.6 6 12 symbolic reptok det_class 5 0.3166666667 4 12 symbolic reptok det_class 6 0.6666666667 1 13 symbolic reptok det_bbox_iou 2 0.9333333333 1 13 symbolic reptok det_bbox_iou 3 0.6833333333 4 13 symbolic reptok det_bbox_iou 4 0.4777777778 6 13 symbolic reptok det_bbox_iou 5 0.3333333333 4 13 symbolic reptok det_bbox_iou 6 0.1333333333 1 14 dinov2 biggan lpips 2 0.06666666667 1 14 dinov2 biggan lpips 3 0.4 4 14 dinov2 biggan lpips 4 0.5222222222 6 14 dinov2 biggan lpips 5 0.6666666667 4 14 dinov2 biggan lpips 6 0.5333333333 1 15 reptok biggan lpips 2 0.06666666667 1 15 reptok biggan lpips 3 0.3666666667 4 15 reptok biggan lpips 4 0.5555555556 6 15 reptok biggan lpips 5 0.6333333333 4 15 reptok biggan lpips 6 0.6 1 18 bge biggan semantic 2 0.06666666667 1 18 bge biggan semantic 3 0.45 4 18 bge biggan semantic 4 0.4222222222 6 18 bge biggan semantic 5 0.6833333333 4 18 bge biggan semantic 6 0.8666666667 1 19 sonar biggan semantic 2 0 1 19 sonar biggan semantic 3 0.1833333333 4 19 sonar biggan semantic 4 0.5555555556 6 19 sonar biggan semantic 5 0.7333333333 4 19 sonar biggan semantic 6 1 1 21 dinov2 biggan det_class 2 0 1 21 dinov2 biggan det_class 3 0.375 4 21 dinov2 biggan det_class 4 0.5277777778 6 21 dinov2 biggan det_class 5 0.7083333333 4 21 dinov2 biggan det_class 6 0.5 1 22 reptok biggan det_class 2 0 1 22 reptok biggan det_class 3 0.2833333333 4 22 reptok biggan det_class 4 0.5777777778 6 22 reptok biggan det_class 5 0.65 4 22 reptok biggan det_class 6 0.8 1 23 bge biggan det_class 2 0.2 1 23 bge biggan det_class 3 0.5166666667 4 23 bge biggan det_class 4 0.4611111111 6 23 bge biggan det_class 5 0.575 4 23 bge biggan det_class 6 0.6666666667 1 24 sonar biggan det_class 2 0 1 24 sonar biggan det_class 3 0.2416666667 4 24 sonar biggan det_class 4 0.5166666667 6 24 sonar biggan det_class 5 0.7333333333 4 24 sonar biggan det_class 6 1 1 25 symbolic biggan det_class 2 0.2666666667 1 25 symbolic biggan det_class 3 0.475 4 25 symbolic biggan det_class 4 0.3444444445 6 25 symbolic biggan det_class 5 0.7166666667 4 25 symbolic biggan det_class 6 0.9 1 26 symbolic biggan det_bbox_iou 2 0.9333333333 1 26 symbolic biggan det_bbox_iou 3 0.5 4 26 symbolic biggan det_bbox_iou 4 0.4333333333 6 26 symbolic biggan det_bbox_iou 5 0.4666666667 4 26 symbolic biggan det_bbox_iou 6 0.6 1 27 biggan sonar bleu 2 0.8666666667 1 27 biggan sonar bleu 3 0.8 4 27 biggan sonar bleu 4 0.4333333333 6 27 biggan sonar bleu 5 0.3333333333 4 27 biggan sonar bleu 6 0 1 28 dinov2 sonar bleu 2 0.9333333333 1 28 dinov2 sonar bleu 3 0.7333333333 4 28 dinov2 sonar bleu 4 0.4222222222 6 28 dinov2 sonar bleu 5 0.2833333333 4 28 dinov2 sonar bleu 6 0.4666666667 1 29 reptok sonar bleu 2 0.9333333333 1 29 reptok sonar bleu 3 0.7 4 29 reptok sonar bleu 4 0.4333333333 6 29 reptok sonar bleu 5 0.3833333333 4 29 reptok sonar bleu 6 0.1333333333 1 30 bge sonar bleu 2 1 1 30 bge sonar bleu 3 0.7333333333 4 30 bge sonar bleu 4 0.5222222222 6 30 bge sonar bleu 5 0.2333333333 4 30 bge sonar bleu 6 0 1 31 biggan symbolic top1 2 0.5666666667 1 31 biggan symbolic top1 3 0.5666666667 4 31 biggan symbolic top1 4 0.5666666667 6 31 biggan symbolic top1 5 0.4333333334 4 31 biggan symbolic top1 6 0.03333333333 1 32 dinov2 symbolic top1 2 0 1 32 dinov2 symbolic top1 3 0.4416666666 4 32 dinov2 symbolic top1 4 0.6111111111 6 32 dinov2 symbolic top1 5 0.6166666667 4 32 dinov2 symbolic top1 6 0.1 1 33 reptok symbolic top1 2 0.8666666667 1 33 reptok symbolic top1 3 0.65 4 33 reptok symbolic top1 4 0.5222222222 6 33 reptok symbolic top1 5 0.3166666667 4 33 reptok symbolic top1 6 0.1333333333 1 34 bge symbolic top1 2 0.6666666667 1 34 bge symbolic top1 3 0.5 4 34 bge symbolic top1 4 0.6888888889 6 34 bge symbolic top1 5 0.2916666667 4 34 bge symbolic top1 6 0.03333333333 1 35 sonar symbolic top1 2 0.5333333333 1 35 sonar symbolic top1 3 0.575 4 35 sonar symbolic top1 4 0.4833333334 6 35 sonar symbolic top1 5 0.3166666666 4 35 sonar symbolic top1 6 1 1 41 biggan symbolic bbox_iou 2 0.8666666667 1 41 biggan symbolic bbox_iou 3 0.4333333333 4 41 biggan symbolic bbox_iou 4 0.4444444444 6 41 biggan symbolic bbox_iou 5 0.6166666667 4 41 biggan symbolic bbox_iou 6 0.2666666667 1 42 dinov2 symbolic bbox_iou 2 0 1 42 dinov2 symbolic bbox_iou 3 0.4833333333 4 42 dinov2 symbolic bbox_iou 4 0.5444444444 6 42 dinov2 symbolic bbox_iou 5 0.6333333333 4 42 dinov2 symbolic bbox_iou 6 0.2666666667 1 43 reptok symbolic bbox_iou 2 0.5333333333 1 43 reptok symbolic bbox_iou 3 0.65 4 43 reptok symbolic bbox_iou 4 0.4888888889 6 43 reptok symbolic bbox_iou 5 0.3666666667 4 43 reptok symbolic bbox_iou 6 0.4666666667 1
Equal Steps Radar Plot, No BigGAN Training Sets
0.2
0.4
0.6
0.8
1.0
reptok lpips
reptok semantic
reptok det_class
reptok det_bbox_iou
biggan lpips
biggan semantic
biggan det_class
biggan det_bbox_iou
sonar bleu
symbolic top1
symbolic bbox_iou
2 modalities
3 modalities
4 modalities
5 modalities
Completeness
Complete
item value Runs 25 Selected directed evals 33 Raw eval rows 144 Missing rows 0 Failed rows 0
Radar Values
spoke run_size mean_rank_normalized n_rows reptok:lpips 2 1 1 reptok:lpips 3 0.7333333333 3 reptok:lpips 4 0.6666666667 3 reptok:lpips 5 0.6666666667 1 reptok:semantic 2 0.5777777778 3 reptok:semantic 3 0.6222222222 9 reptok:semantic 4 0.5481481481 9 reptok:semantic 5 0.6666666667 3 reptok:det_class 2 0.7916666667 4 reptok:det_class 3 0.6861111111 12 reptok:det_class 4 0.6472222222 12 reptok:det_class 5 0.4 4 reptok:det_bbox_iou 2 0.9333333333 1 reptok:det_bbox_iou 3 0.8444444445 3 reptok:det_bbox_iou 4 0.6888888889 3 reptok:det_bbox_iou 5 0.6 1 sonar:bleu 2 0.9555555555 3 sonar:bleu 3 0.8074074074 9 sonar:bleu 4 0.5333333333 9 sonar:bleu 5 0.2444444444 3 symbolic:top1 2 0.5166666667 4 symbolic:top1 3 0.5166666667 12 symbolic:top1 4 0.5416666667 12 symbolic:top1 5 0.4 4 symbolic:bbox_iou 2 0.2666666666 2 symbolic:bbox_iou 3 0.6333333333 6 symbolic:bbox_iou 4 0.7222222222 6 symbolic:bbox_iou 5 0.8666666667 2
Directed Eval Values
eval_id source target metric run_size mean_rank_normalized n_rows 2 dinov2 reptok lpips 2 1 1 2 dinov2 reptok lpips 3 0.7333333333 3 2 dinov2 reptok lpips 4 0.6666666667 3 2 dinov2 reptok lpips 5 0.6666666667 1 5 bge reptok semantic 2 1 1 5 bge reptok semantic 3 0.7555555556 3 5 bge reptok semantic 4 0.7333333333 3 5 bge reptok semantic 5 0.6666666667 1 6 sonar reptok semantic 2 0.6666666667 1 6 sonar reptok semantic 3 0.8 3 6 sonar reptok semantic 4 0.7777777778 3 6 sonar reptok semantic 5 0.7333333333 1 7 symbolic reptok semantic 2 0.06666666667 1 7 symbolic reptok semantic 3 0.3111111111 3 7 symbolic reptok semantic 4 0.1333333333 3 7 symbolic reptok semantic 5 0.6 1 9 dinov2 reptok det_class 2 1 1 9 dinov2 reptok det_class 3 0.6888888889 3 9 dinov2 reptok det_class 4 0.4666666667 3 9 dinov2 reptok det_class 5 0.7 1 10 bge reptok det_class 2 1 1 10 bge reptok det_class 3 0.6666666667 3 10 bge reptok det_class 4 0.6111111111 3 10 bge reptok det_class 5 0.2333333333 1 11 sonar reptok det_class 2 0.7666666667 1 11 sonar reptok det_class 3 0.7444444445 3 11 sonar reptok det_class 4 0.8444444444 3 11 sonar reptok det_class 5 0.6 1 12 symbolic reptok det_class 2 0.4 1 12 symbolic reptok det_class 3 0.6444444445 3 12 symbolic reptok det_class 4 0.6666666667 3 12 symbolic reptok det_class 5 0.06666666667 1 13 symbolic reptok det_bbox_iou 2 0.9333333333 1 13 symbolic reptok det_bbox_iou 3 0.8444444445 3 13 symbolic reptok det_bbox_iou 4 0.6888888889 3 13 symbolic reptok det_bbox_iou 5 0.6 1 28 dinov2 sonar bleu 2 0.9333333333 1 28 dinov2 sonar bleu 3 0.8444444444 3 28 dinov2 sonar bleu 4 0.4222222222 3 28 dinov2 sonar bleu 5 0 1 29 reptok sonar bleu 2 0.9333333333 1 29 reptok sonar bleu 3 0.8444444444 3 29 reptok sonar bleu 4 0.5555555556 3 29 reptok sonar bleu 5 0.4 1 30 bge sonar bleu 2 1 1 30 bge sonar bleu 3 0.7333333333 3 30 bge sonar bleu 4 0.6222222222 3 30 bge sonar bleu 5 0.3333333333 1 32 dinov2 symbolic top1 2 0 1 32 dinov2 symbolic top1 3 0.2888888889 3 32 dinov2 symbolic top1 4 0.5666666667 3 32 dinov2 symbolic top1 5 0.9 1 33 reptok symbolic top1 2 0.8666666667 1 33 reptok symbolic top1 3 0.6666666667 3 33 reptok symbolic top1 4 0.5 3 33 reptok symbolic top1 5 0.4 1 34 bge symbolic top1 2 0.6666666667 1 34 bge symbolic top1 3 0.6555555556 3 34 bge symbolic top1 4 0.7666666667 3 34 bge symbolic top1 5 0.1666666667 1 35 sonar symbolic top1 2 0.5333333333 1 35 sonar symbolic top1 3 0.4555555556 3 35 sonar symbolic top1 4 0.3333333333 3 35 sonar symbolic top1 5 0.1333333333 1 42 dinov2 symbolic bbox_iou 2 0 1 42 dinov2 symbolic bbox_iou 3 0.4 3 42 dinov2 symbolic bbox_iou 4 0.7111111111 3 42 dinov2 symbolic bbox_iou 5 0.9333333333 1 43 reptok symbolic bbox_iou 2 0.5333333333 1 43 reptok symbolic bbox_iou 3 0.8666666667 3 43 reptok symbolic bbox_iou 4 0.7333333333 3 43 reptok symbolic bbox_iou 5 0.8 1
Normalized Metric vs Training Modalities
Composition Bias Drivers
target group extra modality prevalence k2 to k6 effect
BigGAN symbolic 20% to 100% +0.47 non-BigGAN biggan 22% to 100% -0.24 non-BigGAN symbolic 48% to 100% -0.22
BigGAN-target evaluations increasingly come from models that also trained with symbolic labels/bboxes; symbolic is strongly associated with better BigGAN-target scores.
Non-BigGAN-target evaluations increasingly come from models that also trained with BigGAN; BigGAN is strongly associated with worse non-BigGAN-target scores.
Non-BigGAN-target evaluations increasingly come from models that also trained with symbolic labels/bboxes; symbolic is also strongly associated with worse non-BigGAN-target scores.
BigGAN Class NN
BigGAN z vs Image
