构建 LinkedIn 的下一代求职体验
作者:Caleb Johnson
发布日期:2025 年 5 月 29 日
求职是 LinkedIn 的核心功能之一,致力于帮助我们 12 亿的会员找到合适的职业机会。借助近期人工智能的发展,我们迎来了彻底变革求职方式的契机。
传统上,求职者通常依靠关键词搜索,主要是输入职位名称。虽然这种方式在某些情况下有效,但也存在局限——它无法理解搜索背后的语义细节,并且完全依赖求职者自己输入准确的关键词才能获得理想结果。
考虑到这些局限性,我们借助大型语言模型(LLM)技术,着手打造一套全新的 AI 驱动求职系统。这个新系统允许会员用自然语言表达自己想要的工作岗位,并获得与其期望更为贴近的搜索结果——包括他们原本可能不会主动搜索到的职位。对于刚刚步入职场、不了解如何选取关键词的新人,这种方式更加直观友好。
我们所构建的这套新一代求职系统,不再依赖传统的关键词匹配方法。它整合了先进的大型语言模型、基于向量的语义检索系统以及智能排序算法,具备理解复杂查询意图的能力,并能在前所未有的规模下提供高度个性化的推荐结果。
在这篇文章中,我们将介绍这个工具是如何从问题定义开始,通过 LLM 与 GPU 优化策略逐步落地、扩展到大规模的。
一、超越关键词:理解语义
过去的求职系统严重依赖精确的关键词和筛选器,容易错过用户复杂、多维度的真实意图。我们希望让求职者能用自然语言表达自己的目标,而不是苦思关键词。
举几个真实示例:
- "找在硅谷或西雅图的远程软件工程师职位,最好不要是外包公司发布的,最近发布的,薪资高于行业中位数"
- "我想用我的市场营销背景,为环境可持续发展做出贡献,最好和我以前的同事一起工作"
这种类型的查询对传统搜索引擎来说几乎不可能处理。它们需要对语义的深入理解,能够解析多重约束条件,并结合用户的历史背景和行为偏好。
我们构建的新系统能够理解这些复杂查询,并在数百万职位中做出实时匹配。这背后依赖的,是具备真正语义理解能力的模型架构。
二、模型能力:教师-学生架构
我们原有的职位匹配与排序模型,依赖固定的职位分类结构,语义理解能力有限。为了解决这一问题,我们引入了大型语言模型构建的“教师模型”以及在线部署的“学生模型”架构:
- 教师模型:功能强大的 LLM,用于理解意图并生成训练数据
- 学生模型:轻量级网络,用于在线阶段快速处理大规模请求
这种架构既保持了模型质量,又兼顾了部署效率。
三、系统架构:分阶段检索与排序
我们设计了三阶段的检索流程:
- 查询与职位向量化,通过 embedding 检索得到候选职位
- 候选初步排序,基于语义相似度快速筛掉噪声
- 精排阶段,使用更复杂的深度模型综合排序,考虑用户行为、职位质量等因素
该系统部署在 GPU 集群上,确保了在海量数据下的实时性。
四、GPU 优化与可扩展性
由于大语言模型计算资源消耗大,我们从底层架构就以 GPU 优先为导向:
- 使用高效的向量检索引擎
- 推理过程全部 GPU 加速
- 自动分配计算资源以适应查询复杂度
这种设计使得我们可以支撑大规模实时搜索请求,系统具备良好的可扩展性。
五、实验结果
我们的 A/B 测试表明:
- 自然语言搜索的点击率明显优于关键词搜索
- 投递率、用户停留时间等关键指标提升
- 对于新人群体(如应届毕业生)特别友好
六、未来方向
我们仍在持续迭代优化,主要方向包括:
- 更强的个性化搜索:根据用户兴趣动态生成 embedding
- 更丰富的上下文建模:利用用户历史行为与社交图谱
- 基于生成模型的职位摘要解释:让用户知道“为什么推荐这个岗位”
我们相信,这只是求职体验演进的第一步,未来的路径将更加自然、高效、智能。