复旦MOSS内测，服务器被挤崩！与ChatGPT差距较大

互推小编 2023-07-05

2月20日晚，复旦大学自然语言处理实验室的邱锡鹏教授团队发布了国内首个类ChatGPT模型MOSS，该名字与《流浪地球》系列电影中的人工智能550W量子计算机MOSS同名。
南都记者了解获悉，MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。目前，MOSS已由邱锡鹏教授团队发布至公开平台，邀请公众参与内测。

南都实测：实行邀请码机制注册

南都记者实测发现，目前，MOSS账号的注册实行邀请码机制，或者填写内测申请等待对方将邀请码发送到邮箱后，才能参与内测。目前内测申请的渠道较为拥挤，网页长时间显示加载中。有网友表示，由于瞬时访问压力过大，MOSS服务器昨晚被网友挤崩了。

对此，邱锡鹏教授团队在公开平台发布公告回应称，“最初的想法只是想将MOSS进行内测，以便我们可以进一步优化，没有想到会引起这么大的关注”，“我们一个学术研究的实验室无法做出和ChatGPT能力相近的模型，MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线，并且实现各种对话能力。”

国盛证券此前对GPT技术的训练成本进行的估算显示，GPT-3 训练一次的成本约为 140 万美元，对于一些更大的 LLM（大型语言模型），训练成本介于 200 万美元至 1200 万美元之间。以 ChatGPT 在 1 月的独立访客平均数 1300 万计算，其对应芯片需求为 3 万多片英伟达 A100 GPU，初始投入成本约为 8 亿美元，每日电费在 5 万美元左右。要维持这些服务器和网络的总成本支出超过 1000 亿美元。

日前，在南都举办的关于ChatGPT的沙龙上，专家表示，开发大模型中国企业面临一场硬仗，需要国内的企业形成合力，“这里面需要天才的介入，也需要像阿里、百度这样的大企业来发动，将智慧汇聚在一起，形成我们自己的布局和战略。”

MOSS的短板：中文水平不够高

邱锡鹏教授团队同时解释了产品取名“MOSS”的原因——“我们在训练完成第一代模型的时候，正值《流浪地球2》热映，片中MOSS给团队每个人都留下了深刻的印象，因此便使用了这样一个名称来指代我们的模型，以表示我们对最前沿AI模型的不懈追求。”

邱锡鹏教授团队透露，在MOSS完成初步的验证之后，会将MOSS的经验、代码、模型参数开源出来供大家参考。

邱锡鹏本人表示：“尽管MOSS还有很大改善空间，但它的问世证明了在开发类ChatGPT产品的路上，国内科研团队有能力克服技术上的重要挑战。”

据了解，MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。但MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。“MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”邱锡鹏坦言。

此外，MOSS的最大短板是中文水平不够高。“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。”主要原因是互联网上中文网页干扰信息如广告很多，清洗难度很大。为解决这一问题，复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作，并将清洗后的高质量中文语料用于下一阶段模型训练。

“MOSS”火出圈：商标注册跟风涌现

提到MOSS，很容易让人联想到《流浪地球2》中的那句台词。“550W听起来不像是名字，但把它反过来，叫MOSS，直译为小苔藓，是不是感觉亲切了一些。”MOSS平静的语调和闪烁的红色灯光，穿插在故事主线中，给观众留下了深刻的印象。

据统计，春节档电影《流浪地球2》累计票房已超过38亿元。在该片票房加持下，郭帆也成为中国影史上第七位“百亿票房导演”。

在这种影响力下，MOSS也成了香饽饽。天眼查App显示，“MOSS”商标已被多方注册为商标，申请人包括科技公司、电商公司、传媒公司以及自然人许某某、谭某某等，国际分类包括科学仪器、灯具空调、运输贮藏等。