题名:
ChatGPT原理与架构   / 程戈著 ,
ISBN:
978-7-111-73956-2 价格： CNY99.00
语种:
chi
载体形态:
210页 图 24cm
出版发行:
出版地： 北京 出版社： 机械工业出版社 出版日期： 2023
内容提要:
本书讲解ChatGPT及其相关技术。全书共11章，第1章深入分析了大语言模型的技术演化、技术栈等。第2章详细阐述了Transformer模型的理论基础和主要组件。第3章深入解析了GPT的生成式预训练的过程和原理。第4章主要探讨了GPT-2的层归一化、正交初始化和可逆的分词方法等技术，并详细分析了GPT-2的自回归生成过程。第5章介绍了GPT-3的稀疏注意力模式、元学习和基于内容的学习等技术，并对贝叶斯推断在概念分布中的应用进行了深入讨论。第6章详细介绍了大语言模型的预训练数据集和数据处理方法，同时阐述了分布式训练模式和技术路线。第7章深入解析了PPO算法的基本原理。第8章主要阐述了人类反馈强化学习的微调数据集以及PPO在InstructGPT中的应用。第9章深入探讨了大语言模型在低算力环境中的应用策略。第10章主要介绍了在大语言模型开发中涉及的中间件编程技术。第11章对大语言模型的发展趋势进行了预测和展望。 
主题词:
人工智能  
中图分类法:
TP18 版次： 5
其它题名:
大模型的预训练、迁移和中间件编程
主要责任者:
程戈 著
责任者附注:
程戈，博士生导师，湘潭大学计算机学院·网络空间安全学院教授，湘潭大学技术转移中心副主任，湘潭市京东智能城市与大数据研究院副院长。