目录
前言
碎碎念:人是被限制在学校的,话是上面的人不在意的,钱是没有的,资料是咸鱼xhs公主号东拼西凑的,课是二手的,心是受伤的,路是一个人走的,但代码却是需要手撕的。
本文主要是为了明确大模型学习路线,从JD的要求出发先了解一些基础概念,由浅入深,结合相关项目训练。主要矛盾就是这个岗位我需要会什么,项目那么多哪一个最相关?明确后再出发。
编辑
编辑
JD技术栈要求:
华为ai工程师 !!!!!
岗位职责
1、负责AI领域的软件工程化和产品开发;
2、负责AI算法及系统的设计和实现,包括但不限于:神经网络与机器学习、计算机视觉、无人驾驶、路径规划、智能决策、推荐系统、大模型、生成式AI等;
3、负责产品的集成和调测,以及各类工具链的开发;
4、负责对外洞察AI领域最新趋势,包括但不限于:大模型、生成式AI、AI for coding等。
岗位要求
1、计算机或人工智能相关专业,具备一个及以上大型实际软件项目经验,独立承担过关键子模块的开发工作;
2、熟练运用至少一门编程语言(C++ /Java /Python/Rust等);
3、熟悉Tensorflow/scikit-learn/xgboost/Caffe/MindSpore/pytorch等主流深度学习框架的使用,具备AI算法开发及应用经验者优先;
4、深入理解计算机系统架构与操作系统,熟练掌握异构计算平台原理和典型硬件加速器的使用方法,熟练运用并发编程和底层调试,熟悉Linux/ROS;
5、熟悉深度神经网络、计算机视觉、机器人导航定位、运动规划、机器学习算法和知识图谱等的至少一种,能够针对算法特点与芯片硬件特点设计最佳算法实现方式并优化部署或者有数据分析、挖掘、建模等方面的背景;
6、了解编程规范/惯用法/设计模式,掌握OOD(面相对象设计,强调封装,继承,多态) /业界常用框架优先。
相关概念
计算机系统架构:
面答:
计算机硬件系统的组成结构(是软硬件的接口规范,定义了交互规则),各组件之间的连接方式和工作原理
作用:优化算法内存,时间复杂度。适配cpu的算法避免内存溢出和指令不兼容
强调 “接口” 和 “协同” 两个核心 —— 架构的目的是让硬件资源被软件高效利用,同时平衡性能、功耗、成本三大指标。
cpu架构(X86,ARM,RISC-V)
面试应答技巧:结合 AI 算法部署场景,比如 “在边缘 AI 设备中,ARM 架构的低功耗特性更适合电池供电场景,而我们在部署深度学习模型时,可以利用 ARM 的 NEON 指令集优化矩阵运算,提升推理速度”。
存储层次(寄存器,缓存,内存,硬盘)
| 存储层级 | 速度 | 容量 | 成本 | 核心作用 |
|---|---|---|---|---|
| 寄存器 | 最快(ns 级) | 最小(KB 级) | 最高 | 存放 CPU 当前执行的指令和数据,减少内存访问延迟 |
| 缓存(L1/L2/L3) | 次快 | 较小(MB 级) | 较高 | 缓存近期访问的数据,作为寄存器和内存的缓冲 |
| 内存(RAM) | 中等 | 较大(GB 级) | 中等 | 运行中的程序和数据的主要存储区域 |
| 硬盘 / SSD | 较慢 | 极大(TB 级) | 较低 | 长期存储程序、数据、文件 |
- 为什么需要多级存储?答:解决 “速度越快的存储成本越高” 的矛盾,通过局部性原理让高频数据存放在高速存储中,兼顾性能和成本。
- 缓存命中率对程序性能的影响?答:缓存命中率越高,CPU 访问数据的速度越快,程序执行效率越高;AI 算法中,矩阵运算的缓存优化(如分块计算)能显著提升性能。
总线结构(数据总线,地址总线,控制总线)线就有带宽需求
、指令集架构(ISA RISC(精简指令集) )
面试高频考点:RISC 架构为什么适合 AI 算法?答:AI 算法以矩阵运算、向量计算为主,RISC 架构的指令简洁且支持 SIMD(单指令多数据)扩展(如 ARM 的 NEON、RISC-V 的 RVV),能通过一条指令同时处理多个数据,大幅提升并行计算效率。
多核/多处理器设计。核心目的:通过增加 CPU 核心数量提升并行计算能力,应对多任务和大规模计算场
操作系统:
控制硬件和软件资源的系统软件
作用:负责进程管理,内存管理,设备驱动,网络通信
ai算法部署时需要用操作系统调用硬件资源。排查资源占用问题
异构计算平台原理
指在一个系统中使用多种类型的处理器(如 CPU+GPU, CPU+FPGA)。利用不同硬件的优势处理不同任务(CPU处理逻辑,GPU处理计算,NPU 专门优化 AI 模型推理,FPGA 可定制化加速特定算法,ASIC 为特定场景(如自动驾驶)量身定制)。
AI 算法工程师需要根据算法特点(如 CNN 的并行性、Transformer 的串行依赖)选择合适的硬件组合,实现算法的高效部署,比如将深度学习模型的卷积层部署在 GPU 上,控制逻辑部署在 CPU 上。
典型硬件加速器
-
定义:专门为提升特定计算任务效率而设计的硬件组件,核心是通过专用电路减少通用计算的冗余开销。
-
常见类型:
- GPU:图形处理器,通过数千个核心并行处理大规模数据,是深度学习训练和推理的主流硬件,代表厂商有 NVIDIA、AMD。
- NPU:神经网络处理器,专为深度学习模型推理优化,功耗低、延迟小,广泛应用于手机、边缘设备(如摄像头、机器人),代表有华为昇腾、寒武纪思元、谷歌 TPU。
- FPGA:现场可编程门阵列,可通过编程自定义硬件电路,适合算法频繁迭代的场景(如科研、原型验证),代表厂商有 Xilinx、Intel。
- ASIC:专用集成电路,为特定算法定制的硬件,性能最优但灵活性差,适合大规模量产场景(如自动驾驶芯片、AI 服务器)。
并发编程
AI 算法部署时,需要处理多任务并发场景, 比如机器人同时进行导航定位、图像识别、传感器数据处理,通过并发编程实现多任务协同,避免单任务阻塞导致系统卡顿。
底层调试
不仅是看代码逻辑,还包括分析内存泄漏、指针错误、堆栈溢出。
算法领域
| 领域 | 核心概念 |
|---|---|
| 深度神经网络 (DNN) | CNN, RNN, Transformer 等,重点在于理解前向传播和反向训练的计算开销。 |
| 计算机视觉 (CV) | 目标检测 (YOLO/SSD)、图像分割、特征提取。 |
| 机器人导航定位 | SLAM (即时定位与地图构建) ,解决“我在哪”和“周围环境如何”的问题。 |
| 运动规划 | 在已知环境中规划出一条从 A 到 B 且避开障碍物的平滑路径。 |
| 机器学习 (ML) | 传统算法如 SVM, 随机森林, 聚类分析。 |
| 知识图谱 | 结构化的语义知识库,用于复杂的逻辑推理。 |
卷积神经网络(CNN,用于图像任务)、循环神经网络(RNN,用于序列任务)、Transformer(用于自然语言处理、多模态任务)、生成对抗网络(GAN,用于生成任务)等。
算法优化与部署
如何让算法再有限的算力资源上跑的又快又稳定
算法剪枝,量化(转数据类型);算子优化,对特定芯片的指令集重新编写算法底层;从数据中提取特征建模解决问题
零碎知识
硬件:由电子元器件组成的结构
软件: user和计算机沟通。 就是计算机的操作系统
user 用 软件,软件用硬件
虚拟机,虚拟(vmware)出计算机硬件,并给虚拟机装操作系统
大模型(大语言模型)基于深度学习训练出来的,处理和生成人类语言。大体现在参数多,训练数据多。
层数较多的人工神经网络从数据中学习输入与输出的映射关系的算法
OOD(面相对象设计,强调封装,继承,多态)
大模型type
语言大模型,图像处理生成大模型,语音大模型,
多模态大模型(能够同时处理文本,图像,音频,视频等多种信息模型,实现跨模态理解推理与生成的大规模ai模型)
怎么实现:
模态编码器:把文本,图像,音频信息等不同模特数据转化为统一的格式的向量
跨模态融合器:建立不同模特向量的语义关联,实现信息互补增强
模特生成/解码器:根据融合后的统一表示生成目标模态输出
华为算法工程师
岗位职责
1、负责对单点算法特性或算法模块进行设计、优化,承担产品算法开发及验证工作;
2、面向IP城域/骨干、DCN、园区网络、网络安全等领域,研究网络相关场景的机器学习算法、数据挖掘、深度学习、NLP等算法的研究和设计,使能网络智能化;
3、主导IGP、BGP、SRv6、VPN等网络协议软件开发实现和AI for Network、网络自动驾驶等业务的创新算法设计实现,支撑IPv6+国家战略和5.5G战略,实现全球领先;
4、紧跟业界相关领域的技术发展趋势,提出新的技术思路,实现技术创新性领先。岗位要求
1、具备人工智能AI算法、大数据算法、数据结构算法设计和开发能力;
2、具备前沿人工智能技术跟踪和业界趋势的跟踪和算法应用能力;
3、至少掌握Java/Python/C/Rust其中一种开发语言,掌握Hadoop开源工具使用更佳;
4、至少掌握一种数据挖掘工具和深度模型训练工具,如Tensorflow、caffe、matlab;
5、具备较强的动手实践能力,能够快速把想法用算法程序的实现;
6、具备挑战不可能的精神和创新意识,主动担责,攻坚破难;
7、具备良好的团队合作精神,善于沟通。
复活吧 我沉睡的智商!!!