读大语言模型08计算基础设施

1. 计算基础设施

1.1. 人工智能专家系统在20世纪70年代风靡一时

• 1.1.1. 基于规则的程序，目的是获取特定领域的专家知识
  
• 1.1.2. 每个专家系统都需要从领域专家处提取规则，并将其转化为特定的逻辑程序
  
• 1.1.3. 开发针对特定应用的专家系统不仅耗时长，而且需要投入大量人力
  

1.2. 专家系统虽然能够处理一些简单问题，但从专家那里提取规则的过程比预想的要复杂得多

• 1.2.1. 事后回看，专家系统和连接机器之所以未能实现预期目标，主要在于现实世界往往是灰色地带，很难用简单的黑白逻辑来应对
  
• 1.2.2. 神经网络模型则能够通过学习数据中的概率分布，并将这些信息整合起来，从而做出准确的预测，更好地处理这种不确定性
  

1.3. 淘金热来临时，不要去淘金，要卖铲子。

• 1.3.1. 商业箴言
  
• 1.3.2. 开发大语言模型的科技企业市值攀升30%，而为人工智能训练提供核心算力的英伟达表现更为亮眼，其股价暴涨600%，市值从2730亿美元飙升至3万亿美元以上
  
• 1.3.3. 在AI热潮中，卖GPU。​
  

1.4. 全球科技巨头运营着大量数据中心，这些现代化仓库内布满服务器机架

• 1.4.1. 虽然传统CPU仍占主导，但GPU与专用AI芯片的占比正快速提升
  
• 1.4.2. 为应对AI算力需求，专业AI数据中心如雨后春笋般涌现
  
• 1.4.3. AI计算目前占全球数据中心总耗电量的2%，预计2025年将升至10%
  

1.5. 大语言模型虽然前景广阔，但在商业应用中必须谨慎部署

• 1.5.1. 企业需要建立完善的管理和监督机制，防止模型生成误导性或不当内容，确保隐私安全，并明确区分人工决策边界
  
• 1.5.2. 大语言模型的应用应当融入企业整体战略框架，重视并尊重人类的见解与专业技能，确保技术辅助而非主导决策过程
  

1.6. 人工智能技术在不同企业间的采用率存在显著差异

• 1.6.1. OpenAI、谷歌和Meta这样的科技前沿公司，在内部已经广泛部署了由它们开发的先进语言模型
  
• 1.6.2. 位于硅谷之外的传统行业企业，步伐相对较慢
  

1.7. 企业使用ChatGPT存在潜在风险，因为系统会储存用户输入的所有数据以优化性能

• 1.7.1. 考虑到企业机密可能外泄，部分公司已采取预防措施，明令禁止员工在工作中使用ChatGPT
  

1.8. 相较于从零开始训练一个基础大语言模型所需的巨大成本，利用自有数据对现有模型进行微调不仅显著降低了费用，而且加速了模型适应特定业务需求的过程

• 1.8.1. 在整个过程中，所有用于训练的专有数据都被严格保存在一个安全的环境中，确保数据隐私和安全
  
• 1.8.2. 这项服务的成功是显而易见的：过去需要数小时才能完成的表格处理与报告生成任务，现在只需几分钟即可高效完成
  
• 1.8.3. 对那些拥有销售、市场营销、人力资源、会计、质量保证、法律，以及信息等部门的大公司而言，这些部门日常需要处理大量电子邮件、备忘录、报告及摘要，而现在它们可以变得更高效
  
• 1.8.4. 随着这项技术的广泛应用，它催生了许多未曾预见的应用场景和影响
  

1.9. 德勤和埃森哲等咨询公司通过为企业客户提供生成式人工智能的咨询服务，实现了收入的显著增长
1.10. 人工智能技术要真正普及到数以万计的中小企业仍需时日，这些企业往往缺乏强大的研发力量和信息技术团队

• 1.10.1. 培养专业的人工智能人才，建立完善的安全管控体系以防范风险和滥用，同时还需要对现有的办公流程进行重组
  

1.11. 尽管人工智能的研究发展日新月异，但企业的实际运转步伐却往往受制于烦琐的决策流程

• 1.11.1. 无论是初次培训还是持续教育，都是一个耗时的过程
  
• 1.11.2. 具备人工智能背景的MBA毕业生成为众多公司竞相争取的人才资源
  
• 1.11.3. 对在职人员来说，大型开放式网络课程（MOOC)提供了便捷的学习途径
  

1.12. 相较于互联网革命，人工智能革命对企业内部结构的影响更为深远，企业运营模式可能会因此发生根本性的变革

• 1.12.1. 随着训练技术的不断进步，更优质的数据集和更高效的算法的应用，小型模型的性能已开始接近大型模型的水平
  
• 1.12.2. 这种技术进步为中小企业创造了机会，使得它们无须依赖庞大的资源基础，就能够在本地环境中实施和利用先进的大语言模型技术
  

1.13. 当前人工智能技术虽在局部领域取得突破性进展，但要实现规模化应用并对经济产生深远影响，仍需假以时日

• 1.13.1. 人工智能作为一项革命性的通用技术，其全面推广不仅需要企业投入巨额资金，还需要对员工进行系统而深入的培训
  
• 1.13.2. 正因为人工智能具有前所未有的应用广度和渗透力，其最终带来的收益将会是极其可观的
  

2. 人工智能的研发

2.1. 20世纪的数字计算与通信技术的发明，为21世纪的信息爆炸奠定了基础
2.2. 作为一家获得合法垄断地位的企业，AT&T利用其长途电话业务部门的丰厚利润，持续为贝尔实验室提供稳定的资金支持

• 2.2.1. 1984年，在政府的推动下，AT&T最终被拆分为8家独立运营的公司，这次拆分虽然从经济角度获得了成功，但却在创新领域造成了难以弥补的损失
  

2.3. 贝尔实验室

• 2.3.1. AT&T（美国电话电报公司)旗下的贝尔实验室的物理学家约翰·巴丁、沃尔特·布拉顿和威廉·肖克利共同发明了晶体管，这一创新最终取代了真空管
  
• 2.3.2. 在贝尔实验室，克劳德·香农提出了信息论，这一理论彻底改变了数字通信的面貌，并为后来的移动电话网络发展奠定了基石
  
• 2.3.3. 贝尔实验室的丹尼斯·里奇和肯·汤普森还开发了UNIX操作系统和C编程语言，这两项技术至今仍在数据中心的服务器中扮演着核心角色
  
• 2.3.4. 20世纪90年代，贝尔实验室成立了生物计算研究部门，由现任普林斯顿大学教授戴维·坦克领导
  
• 2.3.5. 贝尔实验室还开发了功能性磁共振成像（fMRI)技术，这项技术能够无创地观测人类大脑活动
  
• 2.3.6. 贝尔实验室的研究成果令人类文明受益匪浅，但令人扼腕的是，这座创新殿堂如今已成为历史
  
• 2.3.6.1. 其研究人员获得的诺贝尔奖数量甚至超越了许多世界一流大学
  

2.4. 现代版的“贝尔实验室”

• 2.4.1. 当代互联网、云计算和人工智能领域的科技巨头，正在重演AT&T的历史角色
  
• 2.4.2. 企业凭借巨额利润持续加大研发投入，在全球构建了庞大的数据中心网络，其强大的计算能力为Transformer模型、ChatGPT等人工智能领域的重大突破提供了基础支撑
  

3. 人工智能的动力源泉

3.1. ChatGPT对GPT-4的访问请求实施了限制，这反映出数据中心在处理AI任务时已接近其能力极限
3.2. 随着用户基数的增长，维持运行服务器所需的能源消耗也在急剧上升
3.3. GPT-4的训练过程耗时数月，动用了数以万计的GPU，耗费高达1亿美元
3.4. 其实更大的成本挑战在于日常运营，每天大约需要100兆瓦时电能，这意味着GPT-4每天仅响应用户请求的成本就高达100万美元
3.5. 自20世纪50年代数字计算兴起，计算成本大约每两年减半，至今已降至初始水平的十亿分之一，这一趋势就是人们熟知的摩尔定律

• 3.5.1. 随着晶体管和导线尺寸接近物理极限，该定律在近几年内逐渐失去效力
  
• 3.5.2. 家用笔记本电脑通常配备4～8个核心，而GPU则可以拥有数千个核心，这一切都浓缩在一块仅邮票大小的CPU芯片中
  
• 3.5.3. Cerebras公司引领了创新，推出了一款尺寸如餐盘、集成了2.6万亿个晶体管的芯片
  

3.6. 多核芯片设计能够高效支持深度学习所需的大型并行计算架构，当核心数量足够时，处理时间不再依赖于网络规模

• 3.6.1. 人工智能算法能充分利用这种并行处理能力，实现性能与效率的双重提升
  
• 3.6.2. 随着模型尺寸的增加、硬件成本的下降，性能也越来越强
  

3.7. 真正的挑战并不是计算速度，而是能源消耗

• 3.7.1. 对于将AI功能引入智能手机、智能手表等边缘设备而言，低功耗计算是关键因素，它不仅决定了这些设备智能化水平的高低，也影响着它们的市场接受度和用户体验
  
• 3.7.2. 为了实现AI技术的商品化和普及化，我们需要探索新的技术路径，以克服当前的能耗障碍
  

4. 端侧AI

4.1. 现今，借助云端技术的支持，智能手机已经能够进行语音转文字和语言翻译
4.2. 如果不能开发出更为节能的计算技术，人工智能的大规模应用将不仅面临巨大的经济成本，还会对全球气候造成显著影响
4.3. 人类大脑的存在，为实现高效能的便携式大语言模型提供了灵感

• 4.3.1. 我们的大脑具备比现有顶级AI模型如GPT-4高出约百万倍的计算能力，却仅需20瓦的功率运行，每日能耗大约500瓦时
  
• 4.3.2. 大自然通过进化，在分子层面上嵌入了归纳偏置，并利用对电压敏感的离子通道来执行计算任务，从而实现了惊人的能源效率
  

4.4. 在20世纪80年代，加州理工学院的卡弗·米德注意到，晶体管在接近阈值的状态下工作时，能够模拟神经元中的电压敏感生物物理过程

• 4.4.1. 尽管晶体管通常被看作数字电路的基本组件，但从电路设计的角度来看，它们在接近阈值状态时表现出模拟特性，即输出电压能够平滑且迅速地响应输入电压的变化
  
• 4.4.2. 在数字模式下，强输入电流会迅速推动输出达到最大值
  
• 4.4.3. 将晶体管推向这种“极限”工作状态需要消耗大量能量，这不仅会产生大量热量，也是数字计算机能源效率低下的主要原因
  

4.5. 卡弗·米德发现了晶体管在接近阈值状态时的低功耗特性，并基于此原理，创造了一种新型的模拟超大规模集成电路（VLSI)计算设备

• 4.5.1. 这些类神经VLSI芯片的能耗仅为传统数字芯片的一小部分，同时能够执行类似于神经元的基本计算任务
  
• 4.5.2. 这种模拟芯片技术提供了一种在保持低能耗的同时提升计算能力的新途径
  
• 4.5.3. 由于芯片间导线数量有限，系统采用了一种创新的通信策略：神经元的地址以数字形式异步传输，多个神经元通过时间复用的方式共享同一导线
  

4.6. 在生物大脑中，轴突是负责长距离信息传递的专门神经纤维，信息以“全或无”的脉冲形式编码并传输

• 4.6.1. 大脑中约有一半的体积由白质构成，白质中的轴突被白色的髓鞘包裹，这有助于加速信号的传播
  

4.7. 在苏黎世大学，图比·德尔布鲁克开发了一种模拟VLSI视网膜芯片，名为动态视觉传感器（DVS)，它能将运动图像编码成脉冲序列

• 4.7.1. 运动物体的轮廓清晰可见，而静止的背景则不会产生脉冲（少量脉冲来自噪声)
  
• 4.7.2. 视网膜不仅包含能够响应特定刺激的神经元，还同时容纳了多种不同类型的输出神经元
  
• 4.7.3. 开型和关型神经元已足以捕捉跟踪快速移动物体所需的关键信息
  
• 4.7.4. 脉冲的产生是异步的，这意味着它们不受固定的时钟信号的控制
  
• 4.7.4.1. 传统的基于帧的相机以30毫秒的帧率工作，这导致运动物体出现模糊，并且由于背景区域通常保持不变，相邻帧之间存在大量冗余信息
  

4.8. 在无人机和机器人等应用领域，轻量化和低功耗是极为重要的特性
4.9. 智能手机等边缘设备也需要轻量化、低功耗和低成本的特性
4.10. 在视觉层级系统中，信息传递均通过脉冲形式进行

• 4.10.1. 大脑的运作机制通过其补偿缺失视觉信息的能力得以体现
  
• 4.10.2. 大脑皮质展现了生成能力，可以构造出类似外部视觉场景的幻象
  
• 4.10.2.1. 这一特性在梦境体验以及药物诱发的幻觉中得到了显著体现
  

5. 新的计算模型

5.1. 在过去的70年中，冯·诺依曼架构主导了数字计算机的设计

• 5.1.1. 这一架构基于图灵机理论，而图灵机是艾伦·图灵提出的一个概念思维模型，它通过一个简单的磁带读写器、理论上无限长的磁带（作为存储)和有限的内部状态（模拟处理器)，证明了任何可计算的函数都能被解决
  

5.2. 随着超级计算机中并行架构的发展和规模的扩大，冯·诺依曼架构中存储与处理分离的特点逐渐成为性能瓶颈，因为其需要占用庞大的物理空间
5.3. 目前世界上最快的超级计算机Frontier由74个机柜组成，总重30吨，占地7300平方英尺，面积超过两个网球场
5.4. 光在1纳秒内只能传播1英尺的距离

• 5.4.1. 当相距100英尺的两个核心尝试通信时，会产生长达200个时钟周期的延迟，使得协调这两个核心变得相当困难
  
• 5.4.2. 神经元的通信时间尺度为毫秒级（10^-3秒)，相比电子设备中的纳秒级通信，后者比前者快大约100万倍
  
• 5.4.3. 虽然大脑的处理速度相对较慢，但其1000亿个神经元能够通过百万亿个连接并行工作、相互协作，在很大程度上弥补了速度上的不足
  

5.5. 与科学计算中常用的32位和64位浮点数精度相比，神经网络中的权重和激活值通常只需要较低的比特精度便能满足计算需求

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！