近日，AI限度再次迎来紧要冲破。著明AI研讨本质室AI21在官网细致发布了其最新研讨后果——基于SSM-Transformer羼杂架构的买卖大模子Jamba。这款模子不仅收受了Transformer架构的优点，还神秘地交融了SSM工夫的上风，结束了性能和着力的双重飞跃。

传统的Transformer架构在处理长序列、西席大参数模子时存在诸多问题，如AI算力铺张大、过拟合、内存占用大等。为了管束这些勤勉，AI21本质室在Transformer架构基础上引入了结构化景况空间模子（SSM）工夫，收效研发出Jamba模子。这款模子在拿获序列内长距离依赖相关、泛化才智、特征索要等方面进展出色，同期灵验缩小了AI算力铺张和内存占用。

据悉，Jamba模子的糊涂量达到了同类著明开源模子Mixtral8x7B的3倍，同期在单个GPU上能容纳高达140K高下文，展现出了超卓的性能。这意味着，即使莫得广泛的GPU集群，中小企业和个东谈主开辟者也能通过Jamba开辟出高性能、低铺张的生成式AI居品。

Jamba架构的翻新之处在于采纳了分块分层的才智，神秘地将SSM和Transformer架构交融在沿途。每个Jamba模块齐包含一个贯注力层或一个Mamba层，然后是一个多层感知器，总体比例为每八个层中有一个Transformer层。这种缱绻在保证模子推感性能的同期，大大缩小了AI算力铺张，普及了糊涂量。

此外，Jamba还是一个大众羼杂模子（MoE），520亿参数中的120亿参数长期处于激活景况，并对所有这个词MoE层的大众进行了大幅度优化，收缩了推理时内存占用大的问题。

AI21本质室成立于2017年，总部位于特拉维夫和纽约，由三位业界资深东谈主士纠合创立。自成立以来，AI21本质室已融资3.26亿好意思元，并在2023年推出了谎话语模子Jurassic-2。Jurassic-2在文本生成、API延伸、话语复古等方面进行了全面增强，同期还绽开了提示微调、数据微调等功能，匡助企业和个东谈主开辟者打造量身定制的ChatGPT助手。现在，耐克、Zoom、沃尔玛、三星、阿迪达斯、airbnb等著明企业在使用AI21的大模子居品。

总之，AI21本质室发布的Jamba模子为中小企业和个东谈主开辟者提供了新的聘请，有望鼓励生成式AI居品的普及和运用。这款模子的收效研发，无疑将为AI限度带来新的变革，引颈行业迈向愈加好意思好的翌日。