一、市场现状与趋势
1. 已经发生的事情
近年来，人工智能技术迅猛发展，各大厂商在底层模型上的竞争愈发激烈。以OpenAI和Google为例，它们在模型性能和应用广度上不断突破，这种竞争推动了大语言模型（LLM）技术的快速进步。同时，多模态技术的兴起，如图像和文本的结合应用，使得模型的应用场景更加丰富多样。国家政策的大力支持也为这一领域的发展提供了坚实的基础，鼓励创新并促进技术的实际落地。
2. 正在发生的事情
然而，目前头部公司在LLM能力发展上逐渐遇到瓶颈。例如，OpenAI在一段时间内未能推出符合大众期望的新模型，发布的o3模型因高昂的成本和较长的响应时间未能广泛获得认可。技术曲线趋于平缓，Scale法则逐渐失效，各个模型之间的差距缩小，市场竞争开始转向优化用户体验和降低成本。尽管如此，o3在特定应用中效果显著提升，为市场带来了新的机遇和挑战。
3. 未来发生的事情
展望未来，新研究方向的论文将不断涌现，推动AGI的发展。现有LLM及开源模型的能力差异将进一步缩小，速度提升，价格继续降低，达到普惠的程度。这种趋势将极大地降低创业成本限制，为更多创新创业提供可能性，推动整个行业的繁荣。
二、C端与B端应用分析
1. C端应用
在C端应用中，LLM通常扮演“随机”、“创意”以及“人”等角色。这类应用以娱乐为主，因其强大的社交属性而迅速扩散，如词汇解释器、哄女友等产品。然而，由于用户粘性较低，商业化面临挑战。要实现商业化，需围绕LLM的“人”角色进行深入的用户场景设计，如陪伴功能等。但这也带来了风险和不确定性，例如模型可能输出不符合预期的人格设定或涉及法律风险的内容。C端不是我们创业的方向，所以不再赘述。
2. B端应用
相比之下，B端应用需要有坚实的业务支撑，为企业的核心业务赋能。在一些需要人工接入的短平快场景中，LLM表现出色，因其任务简单、成本低、准确度高。例如，情绪判断、OCR后续处理等，LLM可以快速处理，减少人工成本。在文字类工作中，LLM也展现了巨大的潜力，如自动生成文案、文章审核等，已被广泛运用。改变人机交互方式也是一个好的方向，例如通过对话创建优惠券等。然而，完全替代某一类高薪职业仍然具有挑战性，这主要源于任务的复杂性、私有知识和经验的缺失，以及LLM在处理某些特定任务（如数字计算相关任务）时的弱势。
三、技术与方法论
1. 工程化与RAG
随着LLM能力的不断提升，工程化成为一种非常有效的策略。通过减少LLM的自由发挥，降低单次任务的复杂度，将任务形式化为归纳总结、判断、识别等，能够提升效率和准确性。过去流行的复杂prompt设计，如交互式游戏样式，往往浪费token且容易被突破。针对LLM超出边界输出的场景，建议通过工程化判断的方式解决。尽管这种方法被视为缺乏前瞻性，但在交付与目标实现间是最有效的方式。
RAG（检索增强生成）作为解决知识与经验问题的有效手段，可以采用图数据库、向量数据库、全文搜索等多种形式。在存在大量专业知识的领域中，已被广泛使用，例如医疗、法律等。我认为无限上下文不是LLM未来的核心方向，而是LLM发展的附属产物。RAG要取得良好效果，数据的沉淀非常重要。选择合适的底层也很重要。完全结构化的数据可用关系型数据库，抽象的自然语言则可能需要向量数据库。全文搜索作为知识库的开山鼻祖，是一个低成本且成熟的选择。应避免大而全的解决方案，因为这往往意味着更高的成本。
2. Prompt与交互
在与LLM的交互中，不建议依赖复杂技巧修改prompt。随着模型的发展，交互难度逐渐降低，应注重锻炼思考和问题解决能力，减少任务阐述和逻辑理解的复杂度，做到清晰、简明地表达需求。思维链、反思、Step by Step、Thinking等是较好的实践。
3. 效果评估
对于任何应用，效果评估至关重要。建立实验-反馈-调整的闭环系统，可以有效提高效率。该系统应减少人工参与，强调定量分析。这里的效果不包括性能，长远来看性能与成本将被底层模型优化。
4. 想想人是怎么做的
过分强调工程化和最终目标，可能导致误入歧途。当遇到瓶颈时，不妨思考人是如何完成这项工作的。
四、工作方式的变革
1. AI辅助工具
AI辅助工具如Copilot、Cursor等已成为编程的得力助手。这些工具不仅能替代传统搜索引擎，还能成为优秀的编程伙伴，帮助开发者更高效地实现创意。个人在编写算法、工具类代码及不熟悉语言的编程中，这些工具发挥了巨大作用。开发新应用v0也成为生成可交互原型的有效途径，为快速迭代和验证提供便利。
2. 产品开发新模式
在产品开发中，形态变化迅速，需求需经过不断的实验与迭代才能逐步实现。鼓励小步快走的产品开发策略，不仅能有效管理预期，还能在追求最终目标的过程中增加确定性。以前的开发流程是需求、PRD、开发，现在可能需求在短时间内无法实现，需要经过多次实验和迭代逐步逼近。产品形态变化剧烈，甚至前中期不考虑最终产品也是可能的。为了实现最终目标，中间产生的用于基础建设或周期性交付的边缘产品也是合理的。一方面能管理好预期，另一方面也在追求最终目标前增加了一些确定性。
五、关键能力与人才
1. 多面手
在LLM应用中，多面手能够更好地利用模型实现更大的产出。其知识广度超过他人，能提高各领域的专业程度，从而获得更强的能力。
2. 行动派
在LLM能力支持下，试错成本大幅降低，行动派能快速尝试新想法，加快项目进展，推动创新。
3. 超级个体
老生常谈的一个词。在LLM帮助下，超级个体依赖自己与LLM对某一领域的认知，快速指导LLM完成任务。在此过程中，LLM扮演“助理”角色。
4. 思维能力与工程专家
思维能力是prompt调试中必不可少的，而工程能力是整个过程的强大辅助。发现生成效果不佳的地方，分析原因并修改prompt需要高度的思维能力。良好的工程能力则使你专注于思考，而无需处理繁杂事务。
总结
2024年即将结束，趁着周五写下今年的总结。虽然公司未能推出杀手级产品，但自身认知和心态发生了显著变化，并取得了成长。我相信无论创业成功与否，这几年的经历都将为未来持续带来价值。
