大模型的孵化现在如火如荼，各行各业都在寻找大模型的发力点，吾虽专研计算机视觉，然大模型才是AI之曙光，机械智能之未来~~
大模型算法的关键点:
- 模型参数数量极大,通常数百亿级甚至千亿级,远超过以往的模型。
- 通过预训练获得强大的语言理解和生成能力,然后进行微调用于下游任务。
- 数据驱动,需要海量文本、语音、图像等数据进行训练。
- 典型模型如GPT、BERT及其衍生模型,能够生成逼真文本,回答问题等。
- 性能已接近人类水平,代表了语言AI的重大飞跃。
- 计算和数据成本巨大,导致应用存在难题。
- 被视为实现通用人工智能的重要路径之一。
- 提出了模型尺寸与性能之间的可扩展性。
- 深化了自监督预训练和迁移学习的思想。
- 开启了语言AI的新阶段,拓展了AI能力边界。
大模型算法是一种基于深度学习技术的人工智能算法，它可以通过大量的数据和计算资源来训练出更加准确和复杂的模型。这种算法通常需要大量的数据和计算资源，但是一旦训练完成，它可以提供更准确和精细的预测和分析结果。大模型算法在自然语言处理、图像识别、语音识别等领域中得到了广泛应用。
在深度学习中，当数据集和参数量的规模越来越大，训练所需的时间和硬件资源会随之增加，最后会变成制约训练的瓶颈。分布式并行训练，可以降低对内存、计算性能等硬件的需求，是进行训练的重要优化手段。根据并行的原理及模式不同，业界主流的并行类型有以下几种：
- 数据并行（Data Parallel）：对数据进行切分的并行模式，一般按照batch维度切分，将数据分配到各个计算单元（worker）中，进行模型计算。
- 模型并行（Model Parallel）：对模型进行切分的并行模式。模型并行可分为：算子级模型并行、流水线模型并行、优化器模型并行等。
- 混合并行（Hybrid Parallel）：指涵盖数据并行和模型并行的并行模式。
转职QA:
Python多线程问题:
- Python的GIL(全局解释器锁)使得同一时刻只有一个线程被执行,无法利用多核CPU。所以Python的多线程更适合IO密集型任务,不适合计算密集型任务。
- 遇到需要多线程的场景,可以考虑使用多进程来代替多线程,或者使用基于C语言扩展的线程库比如ctypes。
- 对于需要频繁切换线程的程序,GIL会增加线程切换的开销。可以通过减少加锁操作、使用线程池、避免共享资源来减少切换开销。
- 使用Python自带的threading模块时,需要注意避免死锁、竞态条件等问题。可以使用Lock、Semaphore、Event等同步原语来避免。
- Python 3.2开始加入了concurrent.futures模块,提供了线程池和进程池实现,可以简化多线程和多进程编程。
- asyncio模块提供了异步IO支持,可以通过异步IO方式避免阻塞IO的问题。
- 对于CPU密集型任务,可以通过Cython、Numba等工具提高计算性能,或考虑使用C/C++扩展。
- 分析程序的瓶颈,针对性地使用多线程/多进程或异步IO来优化,不要过度使用。合理设计程序架构也很重要。
对于多读少写的场景优化:
- 使用读写锁(RWMutex),使读操作不会互斥,提高读性能。读写锁允许多个读线程同时访问,但写线程独占访问。
- 考虑使用共享内存来避免重读,比如使用内存映射 mmap,不同进程可以映射同一块内存。
- 使用本地缓存,把远程数据读入缓存,后续从缓存读取,减少远程读取次数。可以使用 Redis、Memcached 等缓存服务。
- 对读取做批处理,通过一次读取获取批量数据到本地,避免多次网络交互。
- 将静态不变数据做成只读,动态数据与只读数据分离,只读数据直接加载到内存,降低读锁竞争。
- 分库分表,将读写分离到不同服务器,增加读取容量。
- 利用Solid State Disk(SSD)替代机械硬盘,SSD的随机读性能明显优于机械硬盘。
- 优化数据库及查询,关联查询优化,缓存表及查询结果,使用索引提升查询效率。
- 根据应用特点选择合适的数据库,一些优化读性能的数据库也值得考虑。
总之,通过缓存,读写分离,改进存储介质等手段,让系统更好地处理读多写少的场景。
