instruction-tuning

instruction-tuning是在Prompt-tuning之后提出的，它的思想是：在对A做Prompt-tuning之前，先在其他若干的任务之上做Prompt-tuning。如图：
在这里插入图片描述
每个任务有多个Prompt，作者使用了10个。
比较注意的是，instruction-tuning的prompt-tunning方法不能是生成式的应该是指令式的。
生成式：

指令式：

因为生成式比较难，而且生成式的prompt-tunning只适用于本任务，没有迁移能力。