日习一技

随着大语言模型在生产环境中的广泛应用，内容安全、隐私保护和合规性变得越来越重要。用户可能会无意中输入敏感信息，模型也可能生成不当内容，而提示词注入攻击更是对系统安全构成直接...

在前两篇文章中，我们学习了 LiteLLM 的内置日志系统和外部日志集成能力。基于这些丰富的日志数据，我们可以实现对 LLM 网关的全面观测。然而，在生产环境中，仅仅有日志...

在前一篇文章中，我们学习了 LiteLLM 的内置日志系统，包括请求日志、会话日志和审核日志。这些日志为我们提供了完整的 API 调用追踪、成本分析和合规审计能力。然而，在...

对于一个 LLM 网关来说，日志系统扮演着至关重要的角色：它不仅能帮我们追踪每一笔 API 调用的成本和性能；当模型回复异常或请求失败时，还能提供详细的上下文信息来定位问题...

随着我们的 LLM 网关承载的流量越来越大、接入的模型越来越多，除了稳定性和可靠性，成本和性能 也成为了关键的考量因素。实际上，我们的应用每天都在处理很多相似的查询，比如客...

在之前的系列文章中，我们学习了 LiteLLM 的基础使用，包括模型管理、用户管理、权限认证和访问控制机制等。当我们的 LLM 网关要承载越来越多的流量、接入越来越多的模型...

在前两篇文章中，我们深入探讨了 LiteLLM 的认证机制和用户管理体系，认证机制解决了 你是谁 的问题，用户管理则从组织、团队到用户的多层架构，以及基于角色的访问控制（R...

在上一篇文章中，我们学习了 LiteLLM 的认证机制，从基础的虚拟 Key 到企业级的 JWT/OIDC 认证，了解了如何确保 API 访问的安全性。然而，认证只是第一步...

在之前的两篇文章中，我们分别学习了 LiteLLM 的快速入门和模型管理。我们了解到，LiteLLM 不仅是一个统一的 SDK，更是一个功能强大的企业级 LLM 网关。在生...

在上一篇文章中，我们快速了解了 LiteLLM 的核心特性和基本用法。我们知道 LiteLLM 通过统一的 API 接口支持调用 100+ 个 LLM 服务商的模型，而 P...

在 AI 应用的开发过程中，开发者们往往面临一个共同的难题：如何高效地集成多家 LLM 服务商的接口？不同的服务商提供的 API 设计各不相同，OpenAI 有自己的风格，...

结构化并发（Structured Concurrency） 最初由 JEP 428 提出，并在 JDK 19 中作为孵化 API 发布，接着又在 JDK 20 中通过 JE...

密钥封装（Key Encapsulation） 是一种现代加密技术，它使用非对称或公钥加密来保护对称密钥。传统的做法是使用公钥加密随机生成的对称密钥，但这需要 填充（Pad...

Java Agent 通常被直译为 Java 代理，它是一个 jar 包，这个 jar 包很特别，不能独立运行，而是要依附到我们的目标 JVM 进程中。它利用 JVM 提供...

向量 API 最初由 JEP 338 提出，并作为孵化 API 集成到 Java 16 中，在 Java 17 到 20 中，又经过了 JEP 414、JEP 417、JE...

作用域值（Scoped Values） 是 Loom 项目提出的另一个重要特性，它提供了一种隐式方法参数的形式，允许在大型程序的各个部分之间安全地共享数据，而无需将它们作为...

虚拟线程（Virtual Thread） 是 Java 21 中最突出的特性之一，作为 Loom 项目的一部分，开发人员对这个特性可谓期待已久。它由预览特性变成正式特性经历...

未命名模式和变量也是一个预览特性，其主要目的是为了提高代码的可读性和可维护性。 在 Java 代码中，我们偶尔会遇到一些不需要使用的变量，比如下面这个例子中的异常 e： 这...

外部函数和内存 API（Foreign Function & Memory API，简称 FFM API） 是 Java 17 中首次引入的一个重要特性，经过了 JEP 4...

记录模式（Record Patterns） 是对 记录类（Records） 这个特性的延伸，所以，我们先大致了解下什么是记录类，然后再来看看什么是记录模式。 什么是记录类（...