提起AI，很多朋友首先映入脑海的便是ChatGPT、文心一言等文本类大模型运用。
事实上，AI的天下远不止大模型，还有很多同样伟大的创造和运用。

例如，过去一年，扩散模型在AI 绘图、***等领域的运用实现了大幅度的飞跃。
基于扩散模型的Midjourney、Stable Diffusion、Ideogram、Runway在创意、设计领域大放异彩，愈发成为创意事情者日常事情流中不可或缺的一个部分。

因此，著名风投契构a16z的合资人Jennifer Li和Yoko今日大胆预测：

“2024年AI根本举动步伐将分为两大主角：大型措辞模型（LLM）和扩散模型，为创意市场供应支持的开拓者工具将得到巨大的增长。
”

本日，我们就结合Jennifer Li和Yoko的剖析，大略聊聊扩散模型与LLM有什么差异、开拓者基于扩散模型建立运用的时候又有哪些值得把稳的关键点？

1、LLM与扩散模型的两大关键差异

Jennifer Li和Yoko认为，LLM和扩散模型存在两大关键差异，值得投资者与开拓者关注。

一是事情负载的不同。

Yoko认为，二者须要不同的工具和不同处理办法，这将引领一轮根本举动步伐的变革，就像过去事务型数据库与剖析型数据库、批处理与流处理那样：

“目前，LLM在运用端紧张通过LangChain和 llamaindex。
来到扩散模型这边，根据运用端详细用例不同，延迟和打算需求也完备不同。
”

例如，同样基于扩散模型，Krea AI到Fai_ai等工具流程相对大略，事情负载相对较低；而ComfyUI这类将模型与低延迟根本举动步伐、定制化事情流程相结合，来办理实际问题的产品，还是比较有寻衅性的。

二是“社区氛围”不同。

Yoko认为，LLM更多地做事于企业级运用，如信息检索、问答系统等；而扩散模型则在创意社区中大放异彩，吸引了大量热爱在Windows机器上运行模型和事情流程的创意人士。

2、捉住扩散模型“狂飙”机遇？你须要把稳这些

作为开拓者，我们该当如何捉住扩散模型“狂飙”的机遇，打造未来的AI“独角兽”呢？Yoko认为，以下是一些值得把稳的关键点：

1、初始事情负载可能会大幅颠簸：由于天生具有视觉吸引力的输出很随意马虎，以是初期负载可能会很高。
随后，用户的参与度会不断变革，因此选择像inngest、upstash 这样的无做事器工具“非常主要”。

2、监控花费和定制用例的“幂律分布”：少数用户将产生大部分负载，而大多数开拓者可能不会在平台上进行太多定制内容。

3、如何永劫光的事情负载供应支持：例如，当用户的天生准备就绪（这可能须要很永劫光）时关照用户，或者如果第一步失落败就开始重新天生。
开拓者须要考虑如何管理这些事情负载，例如利用 inngest 来关照用户天生结果。

4、不要自己构建实时功能。
Yoko认为，这是一个繁芜且痛楚的过程，且并非所有开拓者都知道如何跨区域构建可靠的分布式系统并针对超低延迟进行优化。
因此，Yoko建议，可以考虑利用像 liveblocks、trydaily 这样的工具来帮助开拓。

3、2023 AI图片、***领域大事记

2023年， 绘图、***等领域的运用实现了大幅度的飞跃。

ICCV23 最佳论文《Adding Conditional Control to Text-to-Image Diffusion Models》提出了 ControlNet 的模型，只需给预演习扩散模型增加一个额外的输入，就能掌握它天生的细节。
该模型供应了 openpose、depth、canny 等多种预演习模型，可以实现对天生过程姿态、深度、边缘等多种信息的掌握，增强了天生内容的可控性，减少了随机性，走出了迈向商用的关键一步。

来到2023 年 7 月份，《AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning》论文，提出 AnimateDiff 通用方法，可以一次性为大多数现有的个性化文本转图像模型供应动画化能力，且无需进行特定模型调度，此外它还实现了无闪烁***天生的方法，AI 进入***时期。
12 月份，发布 AnimateDiff V3，进一步提升***天生质量。

同在 7 月份，Stable Diffusion XL 1.0 版本发布，对原有 SD 进行了全面升级，生图的质量进一步增强，难度进一步降落。
后续的几个月中，又陆续更新了微调演习、Lora、SDXL Turbo 模型等。

9 月份，《IP-Adapter： Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models》 发布，垫图神器，不再须要繁芜的 Lora 和 Prompt，只需一张图片，就可以完美还原所需，大大降落了 Lora 演习的本钱和生图难度。

11 月份，清华大学发布的《LCMs: The next generation of generative models after Latent Diffusion Models (LDMs)》论文中提出 Latent Consistency Models（潜同等性模型），简称 LCM 模型，将生图速率提升 5~10 倍，可以实现秒级生图，实时性 AI 天生得以实现。

本文来自华尔街见闻，欢迎***APP查看更多