Skip to content

Commit

Permalink
[脚本]自动上传于 2023年07月19日 04:54
Browse files Browse the repository at this point in the history
  • Loading branch information
S1Bot committed Jul 18, 2023
1 parent 33a2799 commit a798fa2
Show file tree
Hide file tree
Showing 4 changed files with 80 additions and 10 deletions.
20 changes: 10 additions & 10 deletions RefreshingData.json
Original file line number Diff line number Diff line change
Expand Up @@ -2107,7 +2107,7 @@
"totalreply": 2296,
"title": "[【主少年JUMP】腰斩漫画与预测讨论楼]",
"newtitle": "[【主少年JUMP】腰斩漫画与预测讨论楼]",
"lastedit": 1689712973,
"lastedit": 1689712440,
"category": "漫区",
"active": true
},
Expand Down Expand Up @@ -5296,10 +5296,10 @@
"active": true
},
"2126390": {
"totalreply": 707,
"totalreply": 708,
"title": "[开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页]",
"newtitle": "[开源类GPT4多模态模型项目-OpenFlamingo-转型开源模型项目集合页]",
"lastedit": 1689712985,
"lastedit": 1689713587,
"category": "外野",
"active": true
},
Expand Down Expand Up @@ -6323,7 +6323,7 @@
"totalreply": 36746,
"title": "[【B77】VUP综合讨论楼]",
"newtitle": "[【B77】VUP综合讨论楼]",
"lastedit": 1689712992,
"lastedit": 1689712560,
"category": "虚拟主播区专楼",
"active": true
},
Expand Down Expand Up @@ -10768,10 +10768,10 @@
"active": true
},
"2071127": {
"totalreply": 72,
"totalreply": 73,
"title": "[能干的猫今天也忧郁 TV动画化 2023年7月]",
"newtitle": "[能干的猫今天也忧郁 TV动画化 2023年7月]",
"lastedit": 1689574080,
"lastedit": 1689713625,
"category": "漫区",
"active": true
},
Expand Down Expand Up @@ -10931,7 +10931,7 @@
"totalreply": 244,
"title": "[铁血联盟3没人聊聊么?IGN9分黑钱]",
"newtitle": "[铁血联盟3没人聊聊么?IGN9分黑钱,STEAM特别好评]",
"lastedit": 1689713025,
"lastedit": 1689712560,
"category": "游戏区",
"active": true
},
Expand Down Expand Up @@ -11787,7 +11787,7 @@
"totalreply": 85,
"title": "[为啥女频改的电视剧都不好看?]",
"newtitle": "[为啥女频改的电视剧都不好看?]",
"lastedit": 1689713052,
"lastedit": 1689712680,
"category": "外野",
"active": true
},
Expand Down Expand Up @@ -11840,10 +11840,10 @@
"active": true
},
"2144935": {
"totalreply": 118,
"totalreply": 119,
"title": "[ZT浅谈美国高华]",
"newtitle": "[ZT浅谈美国高华]",
"lastedit": 1689713056,
"lastedit": 1689713658,
"category": "外野",
"active": true
},
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -26401,3 +26401,53 @@ LLM在通过语言与人类互动方面表现出了卓越的能力,特别是

—— 来自 [S1Fun](https://s1fun.koalcat.com)


*****

#### Machinery
##### 708# 发表于 2023-7-19 04:50

TOAST

通过注意力引导进行迁移学习

github项目代码仓库:https://github.com/bfshi/TOAST

迁移学习涉及使预先训练的模型适应新的下游任务,然而在实际情况中观察到当前的迁移学习方法通​​常无法关注与任务相关的特征

<img src="https://img.saraba1st.com/forum/202307/19/044915yxmx4zbj9lslbqss.jpg" referrerpolicy="no-referrer">

<strong>Screenshot_20230719-044538.jpg</strong> (113.57 KB, 下载次数: 0)

下载附件

2023-7-19 04:49 上传

在这项工作中,探索了重新聚焦模型注意力以进行迁移学习,引入自上而下的注意力引导(TOAST/Top-Down Attention Steering),这是一种新颖的迁移学习算法,它可以保持预训练的主干网络冻结的同时,在输出中选择与任务相关的特征,并将这些特征反馈给模型以将模型注意力引导到与任务有关的特征中

通过重新集中注意力,TOAST在许多迁移学习基准上取得了SOTA结果,同时只具有少量的可调参数,与完全微调、LoRA、提示微调相比,TOAST显著提高了一系列细粒度视觉分类数据集的性能(例如FGVC数据集上的结果81.1%-&gt;86.2%)

TOAST在指令跟随语言生成方面也优于完全微调的Alpaca和Vicuna模型

<img src="https://img.saraba1st.com/forum/202307/19/044922rpwd5iixxiohtgju.jpg" referrerpolicy="no-referrer">

<strong>Screenshot_20230719-044557.jpg</strong> (86.36 KB, 下载次数: 0)

下载附件

2023-7-19 04:49 上传

TOAST冻结预先训练的主干并调整自上而下的注意力模块以重新集中模型的注意力

<img src="https://img.saraba1st.com/forum/202307/19/044940k2l0lbhrsblxmrsx.jpg" referrerpolicy="no-referrer">

<strong>20230719_044931.jpg</strong> (155.46 KB, 下载次数: 0)

下载附件

2023-7-19 04:49 上传

此外,还可以将其应用到LLaMA等语言模型中,实验发现用TOAST调优的LLaMA可以实现比Alpaca和Vicuna更高的性能

—— 来自 [S1Fun](https://s1fun.koalcat.com)

10 changes: 10 additions & 0 deletions 外野/2144935-01[ZT浅谈美国高华].md
Original file line number Diff line number Diff line change
Expand Up @@ -1448,3 +1448,13 @@ abc在美国文化里成长起来,结果美国文化产品不带abc玩。人

历史上内卷出来的都有严重的社达价值取向,同时又处于少数群体弱势地位,因此立场非常的扭曲矛盾。不仅美华,欧华也是这个样


*****

#### 熊边上
##### 119# 发表于 2023-7-19 04:46

<blockquote><a href="httphttps://bbs.saraba1st.com/2b/forum.php?mod=redirect&amp;goto=findpost&amp;pid=61711982&amp;ptid=2144935" target="_blank">千秋雪 发表于 2023-7-18 12:54</a>
没太懂印度人是如何做到做少数群体的?能再说说嘛?</blockquote>
最简单的一点就是相对清晰的自我认识,不要动不动一副主流群体心态看问题,高华最傻逼的一点就是要不看他那张脸听他说话的口音,还以为是个白人呢<img src="https://static.saraba1st.com/image/smiley/face2017/004.gif" referrerpolicy="no-referrer">

Original file line number Diff line number Diff line change
Expand Up @@ -697,3 +697,13 @@ gohands终于又有一部能让我接受看下去的动画,女主和猫都好

我是觉得动画化以后女主好吵啊,我看漫画的时候一直脑补她是不情愿上班那种碎碎念结果动画化后剧情好拖沓+女主大吵大闹真心受不了


*****

#### 京騒戯画
##### 73# 发表于 2023-7-19 04:50

猫猫太像黑道男妈妈了……话说女主官配是部长吗……

主要猫居然是平躺盖被子睡的,我还以为有埋肚子,搞得太有ntr系气氛,要是没有恋爱戏份还能看

0 comments on commit a798fa2

Please sign in to comment.