2023年即将结束时，有名AI专家 Sebastian 对人工智能行业的发展做了一个全面的回顾，来了一次年终总结。
作为有名AI专家之一， Sebastian 深刻地不雅观察到了这个行业的风云变幻。

今年，以大型措辞模型为代表的人工智能技能发达发展，新产品和新技能层出不穷，给人们带来了线人一新的体验，成为了这个行业的亮点所在。

然而，随着技能的进步，也伴随着一系列待办理的问题。
这些问题急需行业内专家的共同努力来战胜。

2023年：延续还是新打破？

在过去的一年中，人工智能领域并没有涌现根本性的新技能或方法。
相反，许多产品和更新只是去年技能的延续与改进，没有什么太多的创新。

例如，ChatGPT从GPT-3.5升级到了GPT-4，DALL·E 2升级为了DALL·E 3，而Stable Diffusion 2.0升级为了Stable Diffusion XL。
这些更新虽然增加了一些新功能，但并没有带来太多的惊喜。

然而，有一个引人瞩目的传闻非常有趣：GPT-4可能是由16个子模块组成的专家稠浊模型(MoE)。
根据传闻，每个MoE子模块都具有1110亿个参数(值得一提的是，GPT-3只有1750亿个参数)。
只管目前还不能确定这个的真实性，但GPT-4采取MoE组成的构造的可能性确实存在。

从这个传闻中可以看出一个趋势，即人工智能领域的研究职员越来越少在论文等分享详细的信息。
例如，GPT-1、GPT-2、GPT-3和Instruct GPT的论文都透露了详细的架构和演习细节，但GPT-4的架构却没有人知道。
类似地，Meta AI的Llama论文详细先容了用于演习模型的数据集，但Llama 2却将这些信息保密起来。

在大型模型的透明度方面，斯坦福大学最近推出了“根本模型透明度指数”，根据该指数，Llama 2以54%的得分领先，GPT-4排名第三，得分为48%。
只管哀求企业分享商业机密可能不太合理，但这个趋势仍旧是一个值得关注的问题。

当然，对付2024年的未来，这个趋势可能并不会改变。
另一个在技能发展方面的趋势是输入高下文的长度不断增加。
例如，GPT-4的竞争对手Claude 2支持长达100k个标记的输入（而GPT-4目前只支持32k个标记的高下文）这使得Claude 2在天生长篇择要时非常有吸引力。

此外，Claude 2还支持PDF输入，这对许多人的事情来说非常有用。

2023年已经由去一半，人工智能领域的发展虽然没有太多的新技能打破，但依然值得期待未来的发展。
无论是GPT-4还是其他竞争对手，大家都对下半年会有什么样的惊喜和打破充满期待。

开源AI趋势大揭秘

去年，开源社区对隐扩散模型和打算机视觉模型表现出了极大的关注，让人瞩目不已。
然而，今年的开源趋势已经发生了天翻地覆的变革，目光集中在了LLM（Language Learning Model）上。

LLM的开源（或者说公开可用）的增长势头已经达到了爆炸性的水平，个中Meta公司发布的首个预演习模型Llama功不可没。
只管该模型的容许证有一些限定，但它仍旧引发了浩瀚研究职员和从业职员的投入，他们付出了大量的韶光和精力，并催生了后来的一系列变种，如Alpaca，Vicuna，Llama-Adapter，Lit-Llama等。

数月之后，Llama 2取代了Llama 1，成为更加功能强大的根本模型，并推出了其他的微调版本。
只管Llama-Adapter v1和Llama-Adapter v2等微调方法有望将现有的LLM转变为多模态LLM，但是大多数开源LLM仍旧因此纯文本模型为主。

值得把稳的另一个模型是于10月17日发布的Fuyu-8B模型。
与其他模型和方法（如LLaVA和MiniGPT-V）不同的是，Fuyu-8B将输入片段直接传入线性投影层，以学习自己的图像片段嵌入，而不依赖额外的预演习图像编码器。
这种方法简化了架构和演习设置，形成了独特的风格。

除了前述的多模态考试测验，追求GPT-4级别文本性能的另一个研究热点是利用参数小于100 B的较小模型。
开源社区对付进行这样的考试测验的缘故原由可能是受限于硬件资源本钱和限定、数据访问的限定，以及对付短韶光内进行开拓的哀求（由于揭橥论文的压力，大多数研究职员无法投入数年韶光来演习一个模型）。

然而，未来开源LLM的打破并不一定在于扩展模型规模。
在2024年，我们可以拭目以待，看MoE方法是否能够将开源模型提升到新的高度。

值得一提的是，在研究方面，2023年还涌现了一些基于Transformer的LLM替代方案，包括旨在提高效率的递归RWKV LLM和卷积Hyena LLM。
只管如此，基于Transformer的LLM仍旧是目前的主流技能，令人期待。

众所周知，开源社区在过去的一年中表现非凡，取得了许多打破和进步。
这个充满活力的社区一向以其非凡的创造力和无限的潜力而有名。
不仅如此，开源社区也深谙1+1>2的道理，通过协作和共享，将个人的力量搜集成群的聪慧，取得了惊人的成果。

然而，令人遗憾的是，不少人仍对开源人工智能持有疑惑乃至反对的态度。
看到这样的情形，作为一位资深的媒体创作者，我不禁感到难过。
开源社区无疑为我们带来了更多更好的办理方案和替代产品，但我们须要更多的人加入我们的行列，支持我们的努力。

作为社区的一员，我对开源社区的未来保持乐不雅观的态度。
通过不懈的努力和创新，我们已经取得了一系列令人瞩目的成果。
例如，我们在过去的一年中见证了一系列能够在单个GPU上运行的小型高效模型的涌现，如1.3B参数的phi1.5、7B Mistral和7B Zephyr。
这些高性能的模型已经靠近乃至超越了大型闭源模型的表现，令人振奋。

展望未来，我对2024年的预期更是充满期待。
我相信这个充满活力的社区会连续推动开源技能的发展，开辟出更广阔的前景。
作为一名热衷于开源的媒体创作者，我会连续关注并宣布开源社区的造诣和动态。
我希望通过我的宣布能够勉励更多人加入我们的行列，为开源技能的发展贡献力量。

这一年，开源社区以其惊人的创新和发展势头赢得了人们的关注。
让我们共同期待2024年，开源社区必将创造出更多令人愉快的打破！

提高生产力的期望

开源人工智能被认为是开拓高效和定制化LLM办理方案的紧张路子，包括适用于各种运用和基于个人或特定领域数据的微调LLM。
如果你关注作者在社交媒体上的发言，可能会创造他一贯在积极参与一个名为Lit-GPT的LLM开源资源库的谈论和不断改进。

作者本人鼓励开源运动，但他也非常喜好精心设计的产品。
自从ChatGPT发布以来，LLM已经在险些所有领域得到广泛运用。
精确利用LLM助手可以事半功倍。
举个例子，讯问ChatGPT一个杂货店的业务韶光并不是充分发挥其功能的办法，但你可以用它来修正文章的语法或进行头脑风暴，重新词语组织。

从更宏不雅观的角度来看，LLM的核心能力是提高事情效率，这是无可争议的。
除了用于普通文本的LLM，微软和GitHub推出的Copilot代码助手也日益成熟，越来越多的人开始利用它。
年初，Ark-Invest发布的一份报告估计，代码助手可将完成一项编码任务的韶光缩短约55%。

无论是否准确，但利用过代码助手的人都能感想熏染到效率的巨大提升，能够让繁琐的代码任务变得轻松。
可以确定的是，代码助手将连续存在，并且随着韶光的推移，它们的功能只会越来越强大。
然而，它们是否会取代人类程序员，作者希望不会。
但毫无疑问，它们将提高现有程序员的事情效率。

这对付StackOverflow来说意味着什么呢？有一张图表在《人工智能现状报告》中显示了StackOverflow与GitHub的网站流量比拟。
这可能与越来越多人利用Copilot有关。
只管如此，作者认为纵然是ChatGPT/GPT-4对付代码干系任务也有很大帮助。
乃至可以说，ChatGPT也可能是导致StackOverflow流量低落的部分缘故原由，乃至是紧张缘故原由。

AI行业面对的几大寻衅

幻觉信息幻觉是AI面临的一个紧张问题。
纵然在2022年，AI模型仍旧随意马虎天生有害内容，并且每每会产生幻觉。
为办理这个问题，已经涌现了一些方法，例如利用人类反馈的强化学习（RLHF）和英伟达提出的NeMO Guardrails。
然而，这些方法还没有完备办理这个问题，要么过于严格，要么效果不佳。

图片天生至今为止，还没有一种方法能在不削弱AI模型正面功能的条件下，完备可靠地办理这个问题。
对付AI的运用，我们该当慎重选择，比如在数学问题中，我们可以利用打算器，而将AI仅视为写尴尬刁难象时，我们也须要仔细检讨它的输出。
此外，对付某些商业运用，我们可以考试测验探索检索增强（RAG）系统，该系统从语料库中检索干系的文档段落，并以此为根本为AI模型天生文本。
这种方法可以让模型从数据库和文档中获取外部信息，而不是依赖于影象所有的知识和信息。

版权问题人工智能的版权问题是另一个紧迫的寻衅。
根据维基百科，关于利用受版权保护的材料来演习AI模型的版权问题还没有得到办理。
现阶段，很多规则仍在制订和修订中。
我们希望这些规则能够明确清晰，以使人工智能研究职员和从业者能够做出相应的调度和行动。

评估方法评估AI模型的一个难题是盛行的基准和排行榜每每都不足完善，由于测试集的内容可能已经泄露，成为了AI模型的演习数据。
这对付phi-1.5和Mistral来说是一个问题。
一种常用但不太方便的自动评估方法因此人类的偏好作为标准。
此外，许多论文将GPT-4视为第二好的方法。

收入问题天生式人工智能目前仍旧处于初期探索阶段。
大型措辞模型和文本天生模型在许多领域都有很好的运用。
然而，由于高昂的托管和运行本钱，它们是否能够为公司赢利仍旧备受争议。
比如，据宣布，OpenAI去年亏损了5.4亿美元。
但最近有宣布称，OpenAI现在每月能赚到8000万美元，已经能够填补运营本钱。

虚假图片和***与天生式人工智能干系的一个主要问题是假造图片和***。
这在当前的社交媒体平台上尤为明显。
假造图片和***一贯是一个问题，Photoshop等软件已经降落了假造内容的门槛，而人工智能则将这个问题推上了一个新的水平。
虽然有部分人工智能系统旨在检测天生的内容，但这些系统在文本、图像或***方面都不足可靠。
为了在一定程度上遏制和打击这些问题，唯一的方法是依赖可信赖的专家。
就像我们不会从互联网上的随机论坛或网站上获取医疗或法律建议一样，我们可能也不应该轻信互联网上随机发布的图片和***。

数据集瓶颈与前面提到的版权问题干系，很多公司（包括Twitter、Facebook和Reddit）已经关闭了免费的API访问权限，以增加收入，并阻挡滥用他们的数据用于演习人工智能模型。
虽然人工智能可能自动化并淘汰某些事情，但它也在创造新的就业机会。
一个为开源模型进步做出贡献的最佳办法之一，可能便是建立一个数据集众包平台，用于网络、整理和容许用于模型演习的数据集。

RLHF模型：人工智能的真正樱桃

当Llama 2模型套件发布时，一个引人瞩目的特性是其利用了一种名为RLHF（强化学习与人类反馈）的方法来提高模型的有用性和无害性。
虽然这种方法很有出息，但除了InstructGPT、ChatGPT和Llama 2之外，并没有太多项目采取这种方法。
然而，RLHF的日益遍及趋势却以图表的形式显示了出来。

只管RLHF的履行较为繁芜，许多开源项目仍旧专注于监督微调，而非指令微调。
而最新的替代方案是直接偏好优化（DPO）。
研究职员表明，用于RLHF的交叉熵丢失函数可以直接应用于微调LLM，据他们的基准测试结果显示，利用DPO更为有效，并且在相应质量方面常日也优于RLHF/PPO。

只管DPO彷佛还没有被广泛采取，但最近我们看到了第一个通过DPO演习的公开可用LLM模型，其表现彷佛优于通过RLHF演习的更大型的Llama-2 70b Chat模型。
这是一个令人振奋的创造！

然而须要把稳的是，RLHF并未明确用于优化基准性能，而是紧张优化了人类用户评估的“有用性”和“无害性”。
这一点在当前的图表中并没有很好地表示出来。

利用LLM做分类？

不久前，我在Packt 天生式 AI 会议上揭橥了一场精彩的演讲，关于文本模型在分类任务中的卓越运用。
对付诸如垃圾邮件分类、文档分类、客户评论分类以及社交媒体有害辞吐标记等常见任务，文本模型的浸染是不可忽略的。
而令人振奋的是，仅仅利用一个「小型」LLM（例如DistilBERT）在单个GPU上运行，就能实现非常出色的分类效果。

今年，我发布了一份利用小型LLM进行文本分类的练习，在我的深度学习根本课程中引起了广泛的关注。
乃至有人通过微调预演习好的Roberta模型，在IMDB电影评论数据集上得到了超过96%的准确预测率。

只管如此，我对付目前关于LLM分类方面的新的紧张事情和趋势却并未看到太多宣布。
大多数从业者仍旧方向于利用基于BERT的编码器模型或者编码器-解码器模型，比如2022年问世的FLAN-T5。
这或许是由于这些架构仍旧在各种任务中表现出色。
然而，我相信对付LLM分类的研究和探索将为我们带来更多的新创造和可能性。

就目前而言，利用LLM进行文本分类是一个被广泛接管并且非常有效的方法。
但是我很好奇，在不久的将来是否会有更多的研究和创新来推动LLM分类的前沿。
让我们拭目以待，欢迎更多关于LLM分类的新打破！

利用LLM做表格数据

2022年，我们见证了LLM（Long and Legal Medicine）在表格数据领域的广泛运用。
在作者的《A Short Chronology Of Deep Learning For Tabular Data》中，我们理解了许多有趣的基于深度学习的表格数据处理方法。
然而，与用于分类问题的LLM类似，表格数据方面的发展并不如人们所期望的那样迅速。

但今年，Grinsztajn等人在题为《Why do tree-based models still outperform deep learning on tabular data?》的论文中提出了一个令人惊异的创造。
他们创造，在中小型数据集（10k个演习示例）上，基于树的模型（如随机森林和XGBoost）在处理表格数据时仍旧表现优于深度学习方法。
这让我们重新核阅了这些传统的模型，在表格数据处理方面的持续支配地位。

此外，XGBoost还推出了强大的2.0版本，该版本具有更好的内存效率、对不适宜内存的大型数据集的支持，以及多目标树等新功能。
这对付提升表格数据剖析的效果有着重要意义，能够处理更大规模的数据集，并且具备办理更繁芜任务的能力。

然而，我们仍旧须要深入研究和探索，以创造更多适用于表格数据的深度学习方法，并将其与传统的树模型进行比较。
在未来的研究中，我们期待能够找到有效的方法来战胜深度学习在处理表格数据方面的寻衅，实现更准确和高效的剖析。

2023年的打算机视觉：新的机遇和发展趋势

虽然大型措辞模型（LLM）开拓依然在快速进行，但与此同时，与人工智能监管干系的争议彷佛使得LLM***的涌现速率略有放缓。
然而，这也给予了我们一个难得的机会，可以偶尔关注一下打算机视觉领域，谈论一下该领域的研究和发展现状。

除了研究之外，与打算机视觉干系的人工智能也一贯在引发今年已经成熟的新产品和体验。

今年夏天，我们迎来了第一辆真正意义上的无人驾驶汽车Waymo在街上的自由驰骋。
这一壮举不仅是技能的飞跃，更是人类探索人工智能在日常生活中的便利性和可行性的里程碑。

电影行业也开始引入人工智能技能，以创造出更加惊人和引人入胜的电影体验。
近期，我们见证了哈里森·福特（Harrison Ford）在《夺宝奇兵5》中通过人工智能技能“去朽迈”，电影制片人利用了演员旧档案资料演习出的人工智能，成功地让哈里森·福特年轻化，重新呈现在不雅观众面前。

此外，天生式人工智能功能已经稳定地融入到许多盛行软件产品中。
最新的例子是Adobe的Firefly 2，它通过强大的AI功能，使得用户可以轻松创造出令人惊叹的设计作品，不再受限于自己的创造力。

通过以上几个案例，我们可以看到，打算机视觉领域正处于快速发展之中，不断为我们带来新的机遇和体验。
从无人驾驶汽车到电影制作再到软件设计，打算机视觉的运用和创新已经成为当今科技天下的主要一环。

在未来，我们可以期待更多关于打算机视觉的打破和创新，无论是在科学研究领域还是在市场运用中。
打算机视觉将连续改变我们的生活，为我们带来更多便利和乐趣。

2024年的预测：一场LLM的革命正在来临

预测未来的科技发展始终是具有寻衅性和投契性的。
在去年，我们曾预测LLM在文本和代码之外的领域会有更广泛的运用。
事实证明，我们的预测并不浮夸其词。
比如，HyenaDNA成为了DNA领域的LLM，Geneformer在3000万个单细胞转录组上进行预演习，旨在推动网络生物学的预测。
这正在改变着打算机科学以外的STEM研究领域。
在未来的2024年，LLM将连续深刻影响STEM研究，带来更多的创新和打破。

另一个在2024年值得关注的趋势是各大公司开始开拓定制AI芯片，这紧张是为了知足对GPU的高需求而导致的。
谷歌将在TPU硬件上投入更多资源，亚马逊已经推出了Trainium芯片，AM D也可能会缩小与NVIDIA的差距。
同时，微软和OpenAI也开始开拓自己的定制AI芯片。
然而，这也带来了一个寻衅，便是如何确保这些硬件能够得到主流深度学习框架的全面和强大的支持。

开源领域方面，我们仍旧远远掉队于最大的闭源模型。
目前，最大的公开型号是Falcon 180B。
但这并不令人担忧，由于大多数人都无法得到处理这些大型模型所需的弘大硬件资源。
比较之下，我们对由多个较小的子模块组成的开源MoE模型更加渴望，而不是更大的模型。

此外，我们还可以看到在众包数据集和去监督微调（DPO）方面取得了一些进展，以更换前辈的开源模型中的监督微调方法。
这将为我们供应更多的数据样本和更广泛的运用处景，使模型的表现更加准确和可靠。

2024年的科技行业将迎来一场LLM的革命，改变我们的事情办法、学习办法以及STEM研究的推动力。
同时，定制AI芯片的发展也将推动硬件和软件的结合，更好地支持打算机科学的发展。
只管还有一些寻衅须要战胜，但我们对未来充满信心，并期待着看到这些创新的结果。

-END-

【免责声明 】部分内容和图片来自网络，仅供学习参考，版权归原创作者所有，如有内容，版权等问题，请联系作者删除。