diff --git a/README.md b/README.md index cfac818621242139c69c80d3a1ec83d501d973a1..b81fa9ce023be1a292604ddb43f92fec27b81f2e 100644 --- a/README.md +++ b/README.md @@ -40,59 +40,4 @@ python3 exp.py -exp 2 -t 12 -p MT-50-R ``` # Citing A-MFEA-RL -> Aritz D. Martinez, Javier Del Ser, Eneko Osaba and Francisco Herrera, Adaptive Multi-factorial Evolutionary Optimization for Multi-task Reinforcement Learning, 2020. - -# Results -| **Environment name (complexity)** | **MT-10** | **MT-10-R** | **MT-50** | **MT-50-R** | -|-----------------------------------|-----------|-------------|-----------|-------------| -| assembly (H) | - | - | 0 | 0 | -| basketball (H) | - | - | 0 | 0 | -| bin-picking (H) | - | - | 0 | 11 | -| box-close (H) | - | - | 0 | 0 | -| button-press-topdown (M) | 100 | 91 | 100 | 97 | -| button-press-topdown-wall (H) | - | - | 100 | 100 | -| button-press (M) | - | - | 100 | 100 | -| button-press-wall (H) | - | - | 100 | 98 | -| coffee-button (H) | - | - | 100 | 100 | -| coffee-pull (M) | - | - | 0 | 70 | -| coffee-push (M) | - | - | 100 | 40 | -| dial-turn (H) | - | - | 100 | 99 | -| disassemble (H) | - | - | 0 | 0 | -| door-close (H) | - | - | 100 | 100 | -| door-lock (H) | - | - | 100 | 100 | -| door-open (H) | 100 | 100 | 100 | 100 | -| door-unlock (M) | - | - | 100 | 100 | -| drawer-close (H) | 100 | 100 | 100 | 100 | -| drawer-open (H) | 100 | 99 | 100 | 98 | -| faucet-close (M) | - | - | 100 | 81 | -| faucet-open (M) | - | - | 100 | 91 | -| hammer (H) | - | - | 100 | 100 | -| hand-insert (M) | - | - | 100 | 100 | -| handle-press-side (H) | - | - | 100 | 40 | -| handle-press (H) | - | - | 60 | 35 | -| handle-pull-side (H) | - | - | 0 | 0 | -| handle-pull (H) | - | - | 0 | 0 | -| lever-pull (M) | - | - | 0 | 0 | -| peg-insert-side (H) | 0 | 0 | 0 | 0 | -| peg-unplug-side (H) | - | - | 0 | 0 | -| pick-out-of-hole (H) | - | - | 0 | 0 | -| pick-place (H) | 0 | 0 | 0 | 0 | -| pick-place-wall (H) | - | - | 0 | 10 | -| plate-slide-back-side (M) | - | - | 40 | 45 | -| plate-slide-back (M) | - | - | 100 | 58 | -| plate-slide-side (M) | - | - | 100 | 100 | -| plate-slide (M) | - | - | 100 | 77 | -| push-back (E) | - | - | 0 | 71 | -| push (E) | 100 | 59 | 100 | 47 | -| push-wall (M) | - | - | 100 | 47 | -| reach (E) | 100 | 91 | 100 | 98 | -| reach-wall (E) | - | - | 100 | 98 | -| shelf-place (H) | - | - | 0 | 0 | -| soccer (E) | - | - | 0 | 48 | -| stick-pull (H) | - | - | 0 | 79 | -| stick-push (H) | - | - | 0 | 100 | -| sweep-into (E) | - | - | 100 | 80 | -| sweep (E) | - | - | 100 | 74 | -| window-close (H) | 100 | 100 | 100 | 100 | -| window-open (H) | 100 | 99 | 100 | 93 | -| **Average success rate** | 80.0 | 73.9 | 60.0 | 59.7 | +> Aritz D. Martinez, Javier Del Ser, Eneko Osaba and Francisco Herrera, Adaptive Multi-factorial Evolutionary Optimization for Multi-task Reinforcement Learning, 2020. \ No newline at end of file diff --git a/results.csv b/results.csv new file mode 100644 index 0000000000000000000000000000000000000000..37b83b8ddd7394e4130975e13405fc7c5bcf3e69 --- /dev/null +++ b/results.csv @@ -0,0 +1,52 @@ + Environment name (complexity) ; MT-10 ; MT-10-R ; MT-10-R-FULL1 ; MT-10-R-FULL0 ; MFEA-MT-10-R ; MT-50 ; MT-50-R ; MT-50-R-FULL1 ; MT-50-R-FULL0 ; MFEA-MT-50-R ; + assembly (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + basketball (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + bin-picking (H) ; - ; - ; - ; - ; - ;0;11;9;5;6; + box-close (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + button-press-topdown (M) ; - ; - ; - ; - ; - ;100;97;52;68;31; + button-press-topdown-wall (H) ; - ; - ; - ; - ; - ;100;100;76;48;25; + button-press (M) ;100;91;93;85;83;100;100;85;88;73; + button-press-wall (H) ; - ; - ; - ; - ; - ;100;98;93;89;91; + coffee-button (H) ; - ; - ; - ; - ; - ;100;100;100;100;100; + coffee-pull (M) ; - ; - ; - ; - ; - ;0;70;11;17;0; + coffee-push (M) ; - ; - ; - ; - ; - ;100;40;6;15;12; + dial-turn (H) ; - ; - ; - ; - ; - ;100;99;73;60;19; + disassemble (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + door-close (H) ; - ; - ; - ; - ; - ;100;100;100;100;100; + door-lock (H) ; - ; - ; - ; - ; - ;100;100;13;11;22; + door-open (H) ;100;100;100;99;100;100;100;100;100;100; + door-unlock (M) ; - ; - ; - ; - ; - ;100;100;73;51;38; + drawer-close (H) ;100;100;100;100;100;100;100;100;100;100; + drawer-open (H) ;100;99;100;69;81;100;98;94;80;59; + faucet-close (M) ; - ; - ; - ; - ; - ;100;81;6;5;0; + faucet-open (M) ; - ; - ; - ; - ; - ;100;91;47;0;0; + hammer (H) ; - ; - ; - ; - ; - ;100;100;0;0;0; + hand-insert (M) ; - ; - ; - ; - ; - ;100;100;87;91;100; + handle-press-side (H) ; - ; - ; - ; - ; - ;100;40;17;5;9; + handle-press (H) ; - ; - ; - ; - ; - ;60;35;13;8;6; + handle-pull-side (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + handle-pull (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + lever-pull (M) ; - ; - ; - ; - ; - ;0;0;0;0;0; + peg-insert-side (H) ;0;0;0;0;0;0;0;0;0;0; + peg-unplug-side (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + pick-out-of-hole (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + pick-place (H) ;0;0;0;0;0;0;0;0;0;0; + pick-place-wall (H) ; - ; - ; - ; - ; - ;0;10;3;2;0; + plate-slide-back-side (M) ; - ; - ; - ; - ; - ;40;45;14;20;0; + plate-slide-back (M) ; - ; - ; - ; - ; - ;100;58;14;26;8; + plate-slide-side (M) ; - ; - ; - ; - ; - ;100;100;69;28;46; + plate-slide (M) ; - ; - ; - ; - ; - ;100;77;29;19;31; + push-back (E) ; - ; - ; - ; - ; - ;0;71;38;14;18; + push (E) ;100;59;53;22;21;100;47;28;29;22; + push-wall (M) ; - ; - ; - ; - ; - ;100;47;16;9;10; + reach (E) ;100;91;92;62;66;100;98;57;8;34; + reach-wall (E) ; - ; - ; - ; - ; - ;100;98;79;49;45; + shelf-place (H) ; - ; - ; - ; - ; - ;0;0;0;0;0; + soccer (E) ; - ; - ; - ; - ; - ;0;48;7;0;16; + stick-pull (H) ; - ; - ; - ; - ; - ;0;79;0;0;0; + stick-push (H) ; - ; - ; - ; - ; - ;0;100;0;0;0; + sweep-into (E) ; - ; - ; - ; - ; - ;100;80;0;18;4; + sweep (E) ; - ; - ; - ; - ; - ;100;74;62;32;8; + window-close (H) ;100;100;100;100;93;100;100;100;100;96; + window-open (H) ;100;99;94;97;90;100;93;86;89;82; + **Average success rate** ;80;73,9;73,2;63,4;63;60;59,7;35,14;29,68;26,22;