2023年8月,为ChatGPT奠定技术基础的论文《Attention is all you need》(注意力是一切)最后一位留在谷歌的作者Llion Jones宣布离开谷歌,并创立全新路径的AI模型公司,估值2亿美元,这个价钱是大多数AI初创企业估值的10倍多。
距离“谷歌八子”提出Transformer架构已过去了6年。Transformer是这一波生成式AI技术突破的源头,简单来说,相比以前只能一个接一个的序列化处理信息,Transformer在处理信息时可以一次性的“看见”所有信息,然后利用注意力机制将距离不同的单词进行结合。