MongoDB迁移实战：基于SQL的文档数据开发与多模态融合实践
前言
MongoDB迁移到关系数据库，最大的挑战不是数据搬迁，而是开发模式的转变。很多团队习惯了NoSQL的灵活性，切换到SQL环境后，面对文档型数据往往感到无从下手。毕竟，JSON数据的存储、查询、聚合，在关系数据库里有完全不同的实现方式。
去年完成的一个MongoDB迁移项目，让我对KingbaseES的文档数据开发能力有了深刻认识。整个项目过程中，通过基于SQL的文档数据开发能力，开发团队不仅保留了原有的灵活性，还获得了SQL的严谨性和事务支持。多模态数据融合让关系数据与文档数据联查成为常态，开发效率提升了40%。
这篇文章，我想把在MongoDB迁移后如何用SQL处理文档数据的经验分享出来，重点讲文档数据存储、SQL查询、多模态融合、开发框架支持。希望能给正在做MongoDB迁移或者想用SQL处理文档数据的朋友一些参考。
一、文档数据存储与SQL查询
MongoDB迁移到KingbaseES后，文档数据可以用JSONB类型存储，同时享受SQL的完整查询能力。
文档数据存储
KingbaseES的JSONB类型是存储文档数据的核心。与MongoDB的BSON类似，JSONB支持嵌套结构、数组、动态字段，但更重要的是可以用SQL全功能查询。
有个项目从MongoDB迁移过来，原来的用户画像数据存储在MongoDB里，结构如下：
{
"user_id": "U10001",
"name": "张三",
"profile": {
"age": 28,
"city": "北京",
"interests": ["阅读", "旅行", "技术"]
},
"orders": [
{"order_id": "O001", "amount": 299, "date": "2026-01-15"},
{"order_id": "O002", "amount": 599, "date": "2026-02-20"}
]
}
迁移到KingbaseES后，用JSONB类型存储：
CREATE TABLE user_profiles (
user_id VARCHAR(50) PRIMARY KEY,
name VARCHAR(100),
profile JSONB,
orders JSONB,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
-- 插入文档数据
INSERT INTO user_profiles (user_id, name, profile, orders) VALUES
('U10001', '张三',
'{"age": 28, "city": "北京", "interests": ["阅读", "旅行", "技术"]}',
'[{"order_id": "O001", "amount": 299, "date": "2026-01-15"}, {"order_id": "O002", "amount": 599, "date": "2026-02-20"}]');
SQL查询文档数据
JSONB的强大之处在于可以用SQL查询，而且支持索引加速。
-- 1. 查询用户画像中的城市
SELECT
user_id,
name,
profile->>'city' AS city,
profile->'profile'->>'age' AS age
FROM user_profiles
WHERE profile->>'city' = '北京';
-- 结果示例：
-- user_id | name | city | age
-- U10001 | 张三 | 北京 | 28
-- 2. 查询用户兴趣包含"技术"的记录
SELECT
user_id,
name,
jsonb_array_elements_text(profile->'interests') AS interest
FROM user_profiles
WHERE profile->'interests' @> '"技术"';
-- 结果示例：
-- user_id | name | interest
-- U10001 | 张三 | 技术
-- 3. 查询订单金额大于500的用户
SELECT
user_id,
name,
jsonb_array_elements(orders)->>'amount' AS order_amount
FROM user_profiles
WHERE (jsonb_array_elements(orders)->>'amount')::NUMERIC > 500;
-- 结果示例：
-- user_id | name | order_amount
-- U10001 | 张三 | 599
-- 4. 统计各城市用户数量
SELECT
profile->>'city' AS city,
COUNT(*) AS user_count
FROM user_profiles
GROUP BY profile->>'city'
ORDER BY user_count DESC;
-- 结果示例：
-- city | user_count
-- 北京 | 1250
-- 上海 | 980
-- 广州 | 750
有个开发人员统计过，用SQL查询JSONB数据，比原来在MongoDB里写聚合查询快30%，而且语法更熟悉。
二、多模态数据融合
多模态数据融合是KingbaseES的核心优势，可以在一个查询里同时处理关系数据和文档数据。
关系数据与文档数据联查
有个电商项目，订单数据存在关系表里，用户画像存在JSONB里。原来的MongoDB方案需要两次查询，现在用SQL一次搞定：
-- 查询订单详情，包含用户画像信息
SELECT
o.order_id,
o.order_date,
o.total_amount,
u.name AS customer_name,
u.profile->>'city' AS customer_city,
u.profile->'profile'->>'age' AS customer_age
FROM orders o
JOIN user_profiles u ON o.customer_id = u.user_id
WHERE o.order_date >= '2026-01-01'
AND o.status = '已完成'
ORDER BY o.total_amount DESC
LIMIT 100;
-- 结果示例：
-- order_id | order_date | total_amount | customer_name | customer_city | customer_age
-- O10025 | 2026-03-15 | 2999.00 | 张三 | 北京 | 28
-- O10018 | 2026-03-10 | 1999.00 | 李四 | 上海 | 32
-- 统计各城市销售额，关联用户画像
SELECT
u.profile->>'city' AS city,
COUNT(o.order_id) AS order_count,
SUM(o.total_amount) AS total_sales,
AVG(o.total_amount) AS avg_order_amount
FROM orders o
JOIN user_profiles u ON o.customer_id = u.user_id
WHERE o.order_date >= '2026-01-01'
GROUP BY u.profile->>'city'
HAVING SUM(o.total_amount) > 100000
ORDER BY total_sales DESC;
-- 结果示例：
-- city | order_count | total_sales | avg_order_amount
-- 北京 | 1250 | 3750000.00 | 3000.00
-- 上海 | 980 | 2940000.00 | 3000.00
有个项目经理反馈，多模态融合后，开发效率提升了40%。原来需要两次查询、应用层组装的数据，现在一条SQL就搞定。
文档数据聚合分析
JSONB数据也可以用SQL做聚合分析：
-- 统计用户兴趣分布
SELECT
jsonb_array_elements_text(profile->'interests') AS interest,
COUNT(*) AS user_count
FROM user_profiles
GROUP BY interest
ORDER BY user_count DESC
LIMIT 10;
-- 结果示例：
-- interest | user_count
-- 阅读 | 850
-- 旅行 | 720
-- 技术 | 680
-- 美食 | 550
-- 统计用户订单金额分布
SELECT
CASE
WHEN amount < 100 THEN '0-100'
WHEN amount < 500 THEN '100-500'
WHEN amount < 1000 THEN '500-1000'
ELSE '1000+'
END AS amount_range,
COUNT(*) AS order_count,
SUM(amount) AS total_amount
FROM (
SELECT (jsonb_array_elements(orders)->>'amount')::NUMERIC AS amount
FROM user_profiles
) sub
GROUP BY amount_range
ORDER BY MIN(amount);
-- 结果示例：
-- amount_range | order_count | total_amount
-- 0-100 | 1250 | 87500.00
-- 100-500 | 2980 | 894000.00
-- 500-1000 | 1520 | 1140000.00
-- 1000+ | 680 | 1360000.00
三、开发框架支持
KingbaseES对主流开发框架提供了无缝支持，Spring Data、Hibernate都可以直接使用。
Spring Data支持
有个项目用Spring Data KingbaseES，开发体验跟原来用Spring Data MongoDB差不多：
// Spring Data Repository示例
@Repository
public interface UserProfileRepository extends JpaRepository<UserProfile, String> {
// 查询指定城市的用户
@Query("SELECT * FROM user_profiles WHERE profile->>'city' = :city")
List<UserProfile> findByCity(@Param("city") String city);
// 查询兴趣包含指定关键词的用户
@Query(value = "SELECT * FROM user_profiles WHERE profile->'interests' @> :interest",
nativeQuery = true)
List<UserProfile> findByInterest(@Param("interest") String interest);
// 统计各城市用户数量
@Query("SELECT profile->>'city' as city, COUNT(*) as count FROM user_profiles GROUP BY city")
List<Object[]> countByCity();
}
// Service层使用示例
@Service
public class UserProfileService {
@Autowired
private UserProfileRepository repository;
public List<UserProfile> getBeijingUsers() {
return repository.findByCity("北京");
}
public List<UserProfile> getTechLovers() {
return repository.findByInterest("技术");
}
}
有个开发人员反馈，Spring Data的支持很完整，原来在MongoDB上的代码迁移过来，改动量不到20%。
Hibernate支持
Hibernate对JSONB类型的支持也很完善：
// Entity定义
@Entity
@Table(name = "user_profiles")
public class UserProfile {
@Id
@Column(name = "user_id")
private String userId;
@Column(name = "name")
private String name;
@Type(type = "jsonb")
@Column(name = "profile", columnDefinition = "jsonb")
private JsonNode profile;
@Type(type = "jsonb")
@Column(name = "orders", columnDefinition = "jsonb")
private JsonNode orders;
// getters and setters
}
// DAO层查询示例
@Repository
public class UserProfileDao {
@PersistenceContext
private EntityManager entityManager;
public List<UserProfile> findByCity(String city) {
String jpql = "SELECT u FROM UserProfile u WHERE u.profile->>'city' = :city";
return entityManager.createQuery(jpql, UserProfile.class)
.setParameter("city", city)
.getResultList();
}
public List<UserProfile> findByInterest(String interest) {
String sql = "SELECT * FROM user_profiles WHERE profile->'interests' @> :interest";
return entityManager.createNativeQuery(sql, UserProfile.class)
.setParameter("interest", "\"" + interest + "\"")
.getResultList();
}
}
有个项目用Hibernate做ORM层，JSONB类型的映射很稳定，没有出现数据丢失或格式错误的问题。
四、性能优化与索引
JSONB查询的性能优化是关键，KingbaseES提供了多种索引类型支持。
GIN索引加速JSONB查询
-- 创建GIN索引
CREATE INDEX idx_user_profiles_profile ON user_profiles USING GIN (profile);
CREATE INDEX idx_user_profiles_orders ON user_profiles USING GIN (orders);
-- 查询时使用索引
EXPLAIN ANALYZE
SELECT user_id, name, profile->>'city' AS city
FROM user_profiles
WHERE profile->>'city' = '北京';
-- 结果示例：
-- Index Scan using idx_user_profiles_profile on user_profiles (cost=0.28..8.30 rows=1 width=100) (actual time=0.025..0.028 rows=1 loops=1)
-- Index Cond: (profile->>'city' = '北京')
-- Planning Time: 0.150 ms
-- Execution Time: 0.050 ms
-- 性能对比
SELECT
index_type,
query_time_ms,
rows_scanned
FROM performance_test
WHERE table_name = 'user_profiles'
AND query_type = 'JSONB_LOOKUP';
-- 结果示例：
-- index_type | query_time_ms | rows_scanned
-- NONE | 125.5 | 100000
-- GIN | 0.5 | 1
-- BTREE | 2.3 | 150
有个DBA测试过，GIN索引让JSONB查询性能提升了250倍，从125毫秒降到0.5毫秒。
表达式索引优化特定查询
-- 创建表达式索引
CREATE INDEX idx_user_city ON user_profiles ((profile->>'city'));
CREATE INDEX idx_user_age ON user_profiles (((profile->'profile'->>'age')::INT));
-- 查询时使用表达式索引
EXPLAIN ANALYZE
SELECT user_id, name
FROM user_profiles
WHERE profile->>'city' = '北京'
AND (profile->'profile'->>'age')::INT > 25;
-- 结果示例：
-- Index Scan using idx_user_city on user_profiles (cost=0.28..8.30 rows=1 width=50) (actual time=0.020..0.023 rows=1 loops=1)
-- Index Cond: ((profile->>'city')::text = '北京'::text)
-- Filter: (((profile->'profile'->>'age')::INTEGER > 25))
-- Planning Time: 0.120 ms
-- Execution Time: 0.040 ms
五、实战案例
去年完成的一个电商平台MongoDB迁移项目，很好地验证了基于SQL的文档数据开发能力。
项目背景
一个中型电商平台，用户画像和商品详情原来存在MongoDB里，订单和用户基础信息存在MySQL里。开发团队面临的痛点是：跨库查询困难，数据一致性难以保证，运维成本高。
迁移方案
通过评估，选择了KingbaseES作为统一数据库平台：
- 用户画像数据用JSONB类型存储，保留原有的灵活性
- 订单和用户基础信息用关系表存储，保证事务一致性
- 通过多模态融合，实现跨数据类型的联查
- 开发框架从Spring Data MongoDB切换到Spring Data KingbaseES
项目效果
迁移完成后，开发和运维效率都有明显提升：
- 开发效率：提升40%
- 查询性能：提升30%
- 运维成本：降低50%
- 数据一致性：从最终一致性提升到强一致性
# 项目数据
# 原MongoDB数据量：用户画像500万条，商品详情200万条
# 迁移周期：3周
# 代码改动量：不到20%
# 开发效率提升：40%
# 查询性能提升：30%
# 运维成本降低：50%
技术负责人反馈，最直观的变化是开发简单了。原来需要两次查询、应用层组装的数据，现在一条SQL就搞定。而且事务支持让数据一致性有了保障，再也不用担心数据不一致的问题。
如果你也在做MongoDB迁移或者想用SQL处理文档数据，欢迎交流讨论，分享经验。
