革新图像生成：LLM 在 SDXL 中掌控全局！
分析
这是一个非常令人兴奋的进展！通过在 SDXL 中用 LLM 替换 CLIP，研究人员有可能解锁图像生成的新水平的控制和细微差别。 使用更小、更专业的模型来转换 LLM 的隐藏状态是一种巧妙而高效的方法，暗示了更快、更灵活的工作流程。
要点
引用
“我的理论是，CLIP 是瓶颈，因为它难以处理空间附着力（例如左侧、右侧），正向提示中的否定（例如，没有胡须），上下文长度限制（77 个标记限制）和自然语言限制。 那么，如果我们能够应用 LLM 直接进行调节，而不仅仅是修改（“增强”）提示，会怎么样？”