Swin

[wfz666]

你好，我想请问论文中设置一个block中stl数量为5，是否意味着3个win，和2个swin，直觉上感觉这样不对。请问为什么不设置为6？谢谢！
Hello, I would like to ask if the number of stl in a block is set to 5 in the paper, does it mean 3 wins and 2 swins? I feel this is not right intuitively. Why not set it to 6? Thank you!

[ming053l]

hi 您好 當初我們的設定是 一個RDG作為一個base component (一開始的論文寫的時候比較趕，架構圖有些地方錯了，這個是我們的疏忽，後來已經新上傳到arxiv) 我們之前沒有進行這個實驗，原先的設計動機很heurisitc，主要是希望能夠以"效果持平或稍微優於HAT，但parameter-size能夠減少"的概念去設計的，另外一方面也是趕ddl，實驗沒做齊就直接上手。 我們會在近期去做這樣的一個比較看看，看能不能找到比較好的trade-off 謝謝您告訴我們一個很meaningful的問題！再次感謝！

[ming053l]

您好，根據我們的一些實驗結果，如果將第五個STL移除之後，參數量會進一步下降 (14M->10M)

同時伴隨一些performance drop，一方面也源於參數量降低不少，

但跟其他方法比起來，這個參數量能有這效果也算不錯的了，這些分數供您參考

DRCT-M在imagenet上預訓練的時候在Set5/Set14上約可以到32.76/29.01左右

而移除掉第五個STL的是在32.68/28.86

Hello, according to some of our experimental results, if the fifth STL is removed, the parameter-size will further decrease (14M->10M)

At the same time, it is accompanied by some performance drops. On the one hand, it is also due to the reduction in the number of parameters.

But compared with other methods, it is quite good to achieve this effect with this parameter amount. These scores are for your reference.

When DRCT-M is pre-trained on imagenet, it can reach about 32.76/29.01 on Set5/Set14.

The fifth STL was removed at 32.68/28.86