forked from inspire-group/RobustRAG
-
Notifications
You must be signed in to change notification settings - Fork 0
/
run.sh
134 lines (119 loc) · 15.3 KB
/
run.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
# Table 1
# no RAG and vanilla RAG
#python main.py --model_name mistral7b --dataset_name realtimeqa-mc --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name mistral7b --dataset_name realtimeqa-mc --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name llama7b --dataset_name realtimeqa-mc --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name llama7b --dataset_name realtimeqa-mc --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name gpt3.5 --dataset_name realtimeqa-mc --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name gpt3.5 --dataset_name realtimeqa-mc --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name gpt3.5 --dataset_name realtimeqa --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name gpt3.5 --dataset_name realtimeqa --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name llama7b --dataset_name open_nq --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name llama7b --dataset_name open_nq --top_k 10 --defense_method none --corruption_size 0
#python main.py --model_name gpt3.5 --dataset_name open_nq --top_k 0 --defense_method none --corruption_size 0
#python main.py --model_name gpt3.5 --dataset_name open_nq --top_k 10 --defense_method none --corruption_size 0
# Voting for RealtimeQA-MC (multiple choice)
#python main.py --model_name mistral7b --dataset_name realtimeqa-mc --top_k 10 --defense_method voting --corruption_size 1 --no_vanilla
#python main.py --model_name llama7b --dataset_name realtimeqa-mc --top_k 10 --defense_method voting --corruption_size 1 --no_vanilla
#python main.py --model_name gpt3.5 --dataset_name realtimeqa-mc --top_k 10 --defense_method voting --corruption_size 1 --no_vanilla
# decoding for RealtimeQA and NQ
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --no_vanilla
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --no_vanilla
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --no_vanilla
#python main.py --model_name llama7b --dataset_name open_nq --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --no_vanilla
# keyword for RealtimeQA and NQ
##python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --no_vanilla
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --no_vanilla
#python main.py --model_name gpt3.5 --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --no_vanilla
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --no_vanilla
#python main.py --model_name llama7b --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --no_vanilla
#python main.py --model_name gpt3.5 --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --no_vanilla
# biogen keyword
#python main.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method keyword --alpha 0.4 --beta 4 --save_response
#python llm_eval.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method keyword --alpha 0.4 --beta 4 --type pred
#python llm_eval.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method keyword --alpha 0.4 --beta 4 --type certify
#python main.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method keyword --alpha 0.4 --beta 4 --save_response
#python llm_eval.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method keyword --alpha 0.4 --beta 4 --type pred
#python llm_eval.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method keyword --alpha 0.4 --beta 4 --type certify
# biogen decoding eta= 4
#python main.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 4 --save_response
#python llm_eval.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 4 --type pred
python llm_eval.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 4 --type certify
#python main.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 4 --save_response
#python llm_eval.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 4 --type pred
python llm_eval.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 4 --type certify
# biogen decoding eta=1 with subsampling
#python main.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 1 --subsample_iter 100 --save_response
#python llm_eval.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 1 --subsample_iter 100 --type pred
python llm_eval.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 1 --subsample_iter 100 --type certify
#python main.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 1 --subsample_iter 100 --save_response
#python llm_eval.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 1 --subsample_iter 100 --type pred
#python llm_eval.py --model_name llama7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 1 --subsample_iter 100 --type certify
# Figure 3 (top k analysis)
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 2 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 4 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 6 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 8 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 12 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 14 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 16 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 18 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 20 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 2 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 4 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 6 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 8 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 12 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 14 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
##python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 16 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 18 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 20 --defense_method decoding --corruption_size 1 --no_vanilla --use_cache
# Figure 4 (corruption size analysis)
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache --alpha 0.3 --beta 3
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 2 --no_vanilla --use_cache --alpha 0.3 --beta 3
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 3 --no_vanilla --use_cache --alpha 0.3 --beta 3
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 4 --no_vanilla --use_cache --alpha 0.3 --beta 3
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 5 --no_vanilla --use_cache --alpha 0.3 --beta 3
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache --alpha 0.4 --beta 4
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 2 --no_vanilla --use_cache --alpha 0.4 --beta 4
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 3 --no_vanilla --use_cache --alpha 0.4 --beta 4
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 4 --no_vanilla --use_cache --alpha 0.4 --beta 4
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 5 --no_vanilla --use_cache --alpha 0.4 --beta 4
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --no_vanilla --use_cache --alpha 0.5 --beta 5
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 2 --no_vanilla --use_cache --alpha 0.5 --beta 5
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 3 --no_vanilla --use_cache --alpha 0.5 --beta 5
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 4 --no_vanilla --use_cache --alpha 0.5 --beta 5
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 5 --no_vanilla --use_cache --alpha 0.5 --beta 5
# Table 2 (empirical attack)
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method PIA
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method Poison
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method PIA
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method Poison
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method PIA
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method Poison
#python main.py --model_name llama7b --dataset_name open_nq --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method PIA
#python main.py --model_name llama7b --dataset_name open_nq --top_k 10 --defense_method decoding --corruption_size 1 --eta 0.0 --attack_method Poison
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method PIA
#python main.py --model_name mistral7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method Poison
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method PIA
#python main.py --model_name llama7b --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method Poison
#python main.py --model_name gpt3.5 --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method PIA
#python main.py --model_name gpt3.5 --dataset_name realtimeqa --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method Poison
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method PIA
#python main.py --model_name mistral7b --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method Poison
#python main.py --model_name llama7b --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method PIA
#python main.py --model_name llama7b --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method Poison
#python main.py --model_name gpt3.5 --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method PIA
#python main.py --model_name gpt3.5 --dataset_name open_nq --top_k 10 --defense_method keyword --corruption_size 1 --alpha 0.3 --beta 3 --attack_method Poison
# biogen with more parameters (Figure 4)
#python main.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 5 --save_response
#python main.py --model_name mistral7b --dataset_name biogen --top_k 10 --defense_method decoding --eta 6 --save_response
# omitting similar usage for eval.py