GPT-4学习笔记|大力出奇迹的LLM模型

GPT-4学习笔记|大力出奇迹的LLM模型

周末一大早,睡眼惺忪的时候,就被学妹拉到了她的中科院校友会兴趣群里。博士、科学家们创建了个GPT兴趣群,学妹知道我现在正在夜以继日的试图跟上AI的进化,顺手拉了我一把。

短短几分钟之内,这个群就满员了。

学妹说,这个群的建立速度,充分反映了人类的好奇心和恐惧。

我说我感兴趣的的是这个群很可能会孵化出很多项目甚至初创公司。

要知道,GPT-4之父OpenAI公司,恰好也是一家科学家组成的公司。

1、OpenAI的前生今世

很长一段时间,AI技术牢牢把持在谷歌、DeepMind(被谷歌收购)等巨头手里,尤其是DeepMind的阿尔法狗家喻户晓。

2015年12月,特斯拉汽车创始人埃隆马斯克,格雷格布罗克曼(OpenAI联合创始人兼总裁)、山姆阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚苏特斯科夫(师从神经网络之父杰弗里辛顿,OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元,在旧金山创立了OpenAI。

不久前,马斯克发推抱怨:我仍然很困惑,为什么一个我捐赠了1亿美元的非营利性机构,竟然变成了一个市值300亿美元的营利性机构?

我们先不谈OpenAI的“变质”,如果不是微软不计成本的给它输血(资金、Azure云资源),我们恐怕看不到AI快速发展的今天。

2、什么是GPT

2017年,Google团队首次提出基于自注意力机制的Transformer模型,并将其应用于自然语言处理。

OpenAI应用了这项技术,2018年发布了最早的一代大型模型GPT-1(GPT是Generative Pre-trained Transformer的简称,中文翻译为生成型预训练变换模型)。

该模型用于问答、文本摘要生成、机器翻译、分类、代码生成和对话 AI。

GPT-1诞生于2018年,主要实现功能包括:自然语言推理,判断两个句子的关系(包含、矛盾、中立);问答与常识推理,输入文章及若干答案,输出答案的准确率;语义相似度识别,判断两个句子语义是否相关;分类,判断输入文本是指定的哪个类别。

GPT-1使用了几十亿文本档案的语言资料库进行训练,模型的参数量为1.17亿个。

2019年,GPT-2发布,模型参数量提高到15亿个。GPT-2和GPT-1在技术路线上没有本质的不同,只是增加了数据量。

2020年,GPT-3发布,参数量达到了创纪录的1750亿个,其训练参数是GPT-2的10倍以上,技术路线上则去掉了初代GPT的微调步骤,直接输入自然语言当作指示,给GPT训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。

OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料。当GPT-3获得足够丰富的知识库时,其生成的结果也变得越来越精确。

2022年发布的ChatGPT,是在GPT-3基础上的GPT3.5版本。

如果说ChatGPT带来一抹惊艳的话,GPT-4就是对“传统”AI摧枯拉朽的打击。

从参数量来说,GPT-4高达100万亿个(据报道未证实,也有人推算没有那么大)。

GPT-4的一个关键升级就是多模态,也就是支持图像和文本输入,拥有强大的识图能力。甚至能看懂梗图,并能找到梗所在的点。

GPT的发展过程中,1、2都没有带来太多的影响力,被认为是各种AI路线中的一支。但随着GPT-3尤其是GPT-4的出现,人们惊讶的发现,原来这就是AI的未来。

即便是大量资源押注AI的谷歌,也没有料到GPT的成功。中国的AI企业也在相关领域进行研发。

乐观估计,中国相关企业在技术上落后的时间大概是2-3年,并没有非常大的代差。

3、关于LLM模型

人类和机器的交互,是从汇编语言开始的。这是经过训练的人类和机器都能读懂的语言,但由于门槛过高,开始衍生出各种编程语言。

从上古的C语言到现在流行的Python,编程语言越来越简单,但距离机器直接理解人类的语言,依然有一定的距离。

我们必须需要工程师来做这个“翻译”。

NLP(Natural Language Processing自然语言处理)研究的目标,就是让机器能够直接理解并能输出人类语言。

其中,GPT依赖的LLM(Large Language Model,大型语言模型)成为目前最佳的选择方案。

PS,我不认为LLM是唯一的最终路线,只是现阶段最合适的路线。

OpenAI的成功有一定的偶然性,如果不是微软在搜索领域本来就比较落后,所以敢于“搏命”,ChatGPT这种模式,对搜自身的索引擎业务是致命打击(谁还去付广告费?)。

从GPT-1到GPT-4的迭代,并非是由于关键技术革命性的突破(也不是认为这个过程中技术的发展不重要),而是数据量的增加。

4、瓶颈

对于中国企业来说,方向既定的情况下,并不缺人才(全球顶级AI科学家30%以上是中国人或华裔),缺的是资金和算力。

资金并不是一件太难的事,有了OpenAI金玉在前,国内资本大佬也会舍得投入,但算力是个大问题。

美国限制了A100等高端显卡对中国的出口,虽然黄皮衣第一时间推出了阉割版给中国特供,但性能差异非常明显。

国产显卡还刚刚起步,景嘉微还没有向算力卡方向大规模发展,摩尔进程大概能接近英伟达5、6年前的水准,壁仞科技也拿出了不错的产品,但大概率在代工方面受制于人。

考虑到OpenAI几乎喂进去全人类的知识量,也不过烧掉十几万张显卡,算力的问题,其实同样可以“大力出奇迹”,用相对低端的产品堆起来,这可能需要各大AI企业携手了。

有人认为中国的语境对AI的发展有严重束缚,殊不知在吃西瓜摘棉花都是敏感词的美国,语境限制并不差到哪儿去,从技术上来讲,这都是小事。

还有人认为显卡的缺失和中国长期禁游戏有关,虽然我个人也反对无差别的禁游戏,但问题是也没人用10万块(黑市20万+)的A100来打游戏啊!

图片[1]-GPT-4学习笔记|大力出奇迹的LLM模型-CHATGPT实验室

5、应用

现在的GPT-4已经开放了文字输入输出功能,展示(暂未开放)了图像的识别和输出功能,可以想象的未来,语音、视频等真正多模态的输入输出,将成为各大AI企业创新研发的重点。

比如有人认为中文在互联网上占比太低,导致GPT-4里的中文内容缺乏。这个问题其实很好解决(事实上GPT-4也是这么办的),把中文翻译成英文后再输入LLM,输出再翻译回来。

那么在语音结合方面,科大讯飞就比较有优势,可以把语音转化成文字最终翻译成英文喂给AI;类似的,在视频结合方面,海康、商汤、旷视等企业就有很大的优势,把视频信息解读为文本信息再喂给AI。

回过头来再看当初的制裁,是不是豁然开朗了?

© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容