

2014年那会儿,深度学习刚刚在图像识别上打了一场漂亮仗,紧接着大家就开始琢磨一个问题:既然让AI学会分类图片这么有效,那让AI学会生成图片会不会更有效?毕竟画一张图,比认一张图,似乎需要更深的理解。
十年过去了,这个直觉被证明是错的,至少没那么简单。
大多数做统一多模态模型的研究者发现,教AI生成图像和教AI理解图像,是两件几乎不相关的事情。你可以把一个模型训练得画画特别厉害,但它看图说话的能力可能压根没提升。这个结果让不少人得出结论:生成对理解的帮助,可能远不如理解对生成的帮助。
这篇来自加州大学伯克利分校等机构的论文,标题就是奔着这个问题去的:OmniTaskonomy,视觉生成到底什么时候能帮上视觉理解的忙?
先说说这事儿反直觉在哪儿。如果你让一个模型学会画深度图(也就是判断画面里哪些东西离镜头近、哪些远),直觉上它应该顺带学会了怎么理解空间关系,对吧?毕竟画深度图这件事本身就需要理解空间。但过去的研究结果一次次打脸这种直觉:生成训练往往就是生成训练,理解能力该多差还是多差。这就好比你请了一个画家来给你的孩子当家教,指望他顺便教会孩子几何,结果孩子几何该不会还是不会,尽管画家本人画立体图画得贼溜。
这篇论文想搞清楚:这种"顺带学会"到底存不存在?如果存在,是什么条件下才会发生?
问题出在哪儿
要回答这个问题,研究者们先做了一件很聪明的事:控制变量。
如果你直接拿一堆生成任务的数据和一堆理解任务的数据混着训练,然后发现理解能力涨了,你很难说清楚到底是生成训练起的作用,还是仅仅因为模型见过更多样的图片。这就跟你想验证"多吃鱼是不是让人变聪明
思考资本提示:文章来自网络,不代表本站观点。