Dubbo（96）如何在大数据系统中应用Dubbo？

Victor356
84 阅读5分钟

在大数据系统中应用Dubbo，可以通过以下步骤实现：

  1. 项目结构设计：规划项目的模块结构，通常包括服务接口模块、各个服务提供者模块（如数据收集服务、数据处理服务、数据存储服务等）、服务消费者模块（如数据分析应用、前端展示应用等）。
  2. 服务接口定义：定义各个服务的接口，确保服务提供者和消费者能够共享相同的接口。
  3. 服务提供者实现：实现各个服务接口，并配置Dubbo提供服务。
  4. 服务消费者调用：在服务消费者中引用服务接口，并通过Dubbo调用远程服务。
  5. 服务注册与发现：配置注册中心（如Zookeeper）以实现服务注册与发现。
  6. 配置管理：管理项目的配置文件，确保服务提供者和消费者能够正确连接到注册中心并发现彼此。
  7. 测试与部署：测试服务的调用，确保服务能够正常工作，并将服务部署到生产环境。

以下是一个详细的示例，展示如何在大数据系统中应用Dubbo。

1. 项目结构设计

我们将创建一个包含多个模块的项目：dubbo-api、data-collection-service、data-processing-service、data-storage-service 和 frontend-application。

big-data-system
├── dubbo-api
│   └── src/main/java/com/example/dubbo/api
│       ├── DataCollectionService.java
│       ├── DataProcessingService.java
│       └── DataStorageService.java
├── data-collection-service
│   └── src/main/java/com/example/datacollection
│       ├── service
│       │   └── DataCollectionServiceImpl.java
│       ├── config
│       │   └── DubboProviderConfig.java
│       └── DataCollectionServiceApplication.java
├── data-processing-service
│   └── src/main/java/com/example/dataprocessing
│       ├── service
│       │   └── DataProcessingServiceImpl.java
│       ├── config
│       │   └── DubboProviderConfig.java
│       └── DataProcessingServiceApplication.java
├── data-storage-service
│   └── src/main/java/com/example/datastorage
│       ├── service
│       │   └── DataStorageServiceImpl.java
│       ├── config
│       │   └── DubboProviderConfig.java
│       └── DataStorageServiceApplication.java
├── frontend-application
│   └── src/main/java/com/example/frontend
│       ├── controller
│       │   └── DataController.java
│       ├── config
│       │   └── DubboConsumerConfig.java
│       └── FrontendApplication.java
└── pom.xml

2. 服务接口定义

2.1 创建 dubbo-api 模块

创建 dubbo-api 模块的 pom.xml 文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.w3.org/POM/4.0.0 http://www.w3.org/2001/04/xmldsig-more#">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>
    <artifactId>dubbo-api</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>jar</packaging>

    <dependencies>
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo</artifactId>
            <version>2.7.8</version>
        </dependency>
    </dependencies>
</project>

2.2 定义服务接口

在 dubbo-api/src/main/java/com/example/dubbo/api 目录下创建 DataCollectionService、DataProcessingService 和 DataStorageService 接口：

package com.example.dubbo.api;

public interface DataCollectionService {
    String collectData(String data);
}

public interface DataProcessingService {
    String processData(String data);
}

public interface DataStorageService {
    String storeData(String data);
}

3. 服务提供者实现

3.1 创建 data-collection-service 模块

创建 data-collection-service 模块的 pom.xml 文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.w3.org/POM/4.0.0 http://www.w3.org/2001/04/xmldsig-more#">

    <parent>
        <groupId>com.example</groupId>
        <artifactId>big-data-system</artifactId>
        <version>1.0-SNAPSHOT</version>
        <relativePath>../pom.xml</relativePath>
    </parent>

    <artifactId>data-collection-service</artifactId>

    <dependencies>
        <dependency>
            <groupId>com.example</groupId>
            <artifactId>dubbo-api</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo-spring-boot-starter</artifactId>
            <version>2.7.8</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.3</version>
        </dependency>
    </dependencies>
</project>

3.2 实现数据收集服务接口

在 data-collection-service/src/main/java/com/example/datacollection/service 目录下创建 DataCollectionServiceImpl 类：

package com.example.datacollection.service;

import com.example.dubbo.api.DataCollectionService;
import org.apache.dubbo.config.annotation.DubboService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

@DubboService
public class DataCollectionServiceImpl implements DataCollectionService {
    private static final Logger logger = LoggerFactory.getLogger(DataCollectionServiceImpl.class);

    @Override
    public String collectData(String data) {
        logger.info("Collecting data: {}", data);
        return "Collected data: " + data;
    }
}

3.3 配置Dubbo服务

在 data-collection-service/src/main/java/com/example/datacollection/config 目录下创建 DubboProviderConfig 类：

package com.example.datacollection.config;

import org.apache.dubbo.config.spring.context.annotation.EnableDubbo;
import org.springframework.context.annotation.Configuration;

@Configuration
@EnableDubbo(scanBasePackages = "com.example.datacollection.service")
public class DubboProviderConfig {
}

3.4 创建启动类

在 data-collection-service/src/main/java/com/example/datacollection 目录下创建 DataCollectionServiceApplication 类：

package com.example.datacollection;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class DataCollectionServiceApplication {
    public static void main(String[] args) {
        SpringApplication.run(DataCollectionServiceApplication.class, args);
    }
}

3.5 配置文件

在 data-collection-service/src/main/resources 目录下创建 application.yml 配置文件：

spring:
  application:
    name: data-collection-service
  main:
    web-application-type: none

dubbo:
  application:
    name: data-collection-service
  registry:
    address: zookeeper://localhost:2181
  protocol:
    name: dubbo
    port: 20880
  scan:
    base-packages: com.example.datacollection.service

logging:
  level:
    com.example.datacollection: INFO
  file:
    name: logs/data-collection-service.log

3.6 创建 data-processing-service 模块

创建 data-processing-service 模块的 pom.xml 文件，类似于 data-collection-service 模块。

3.7 实现数据处理服务接口

在 data-processing-service/src/main/java/com/example/dataprocessing/service 目录下创建 DataProcessingServiceImpl 类：

package com.example.dataprocessing.service;

import com.example.dubbo.api.DataProcessingService;
import org.apache.dubbo.config.annotation.DubboService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

@DubboService
public class DataProcessingServiceImpl implements DataProcessingService {
    private static final Logger logger = LoggerFactory.getLogger(DataProcessingServiceImpl.class);

    @Override
    public String processData(String data) {
        logger.info("Processing data: {}", data);
        return "Processed data: " + data;
    }
}

3.8 配置Dubbo服务和启动类

在 data-processing-service 模块中配置Dubbo服务和启动类，类似于 data-collection-service 模块。

3.9 创建 data-storage-service 模块

创建 data-storage-service 模块的 pom.xml 文件，类似于 data-collection-service 模块。

3.10 实现数据存储服务接口

在 data-storage-service/src/main/java/com/example/datastorage/service 目录下创建 DataStorageServiceImpl 类：

package com.example.datastorage.service;

import com.example.dubbo.api.DataStorageService;
import org.apache.dubbo.config.annotation.DubboService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

@DubboService
public class DataStorageServiceImpl implements DataStorageService {
    private static final Logger logger = LoggerFactory.getLogger(DataStorageServiceImpl.class);

    @Override
    public String storeData(String data) {
        logger.info("Storing data: {}", data);
        return "Stored data: " + data;
    }
}

3.11 配置Dubbo服务和启动类

在 data-storage-service 模块中配置Dubbo服务和启动类，类似于 data-collection-service 模块。

4. 服务消费者调用

4.1 创建 frontend-application 模块

创建 frontend-application 模块的 pom.xml 文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.w3.org/POM/4.0.0 http://www.w3.org/2001/04/xmldsig-more#">

    <parent>
        <groupId>com.example</groupId>
        <artifactId>big-data-system</artifactId>
        <version>1.0-SNAPSHOT</version>
        <relativePath>../pom.xml</relativePath>
    </parent>

    <artifactId>frontend-application</artifactId>

    <dependencies>
        <dependency>
            <groupId>com.example</groupId>
            <artifactId>dubbo-api</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo-spring-boot-starter</artifactId>
            <version>2.7.8</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.3</version>
        </dependency>
    </dependencies>
</project>

4.2 创建控制器

在 frontend-application/src/main/java/com/example/frontend/controller 目录下创建 DataController 类：

package com.example.frontend.controller;

import com.example.dubbo.api.DataCollectionService;
import com.example.dubbo.api.DataProcessingService;
import com.example.dubbo.api.DataStorageService;
import org.apache.dubbo.config.annotation.DubboReference;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class DataController {
    private static final Logger logger = LoggerFactory.getLogger(DataController.class);

    @DubboReference
    private DataCollectionService dataCollectionService;

    @DubboReference
    private DataProcessingService dataProcessingService;

    @DubboReference
    private DataStorageService dataStorageService;

    @GetMapping("/collectData")
    public String collectData(@RequestParam String data) {
        logger.info("Collecting data: {}", data);
        return dataCollectionService.collectData(data);
    }

    @GetMapping("/processData")
    public String processData(@RequestParam String data) {
        logger.info("Processing data: {}", data);
        return dataProcessingService.processData(data);
    }

    @GetMapping("/storeData")
    public String storeData(@RequestParam String data) {
        logger.info("Storing data: {}", data);
        return dataStorageService.storeData(data);
    }
}

4.3 配置Dubbo消费

在 frontend-application/src/main/java/com/example/frontend/config 目录下创建 DubboConsumerConfig 类：

package com.example.frontend.config;

import org.apache.dubbo.config.spring.context.annotation.EnableDubbo;
import org.springframework.context.annotation.Configuration;

@Configuration
@EnableDubbo(scanBasePackages = "com.example.frontend.controller")
public class DubboConsumerConfig {
}

4.4 创建启动类

在 frontend-application/src/main/java/com/example/frontend 目录下创建 FrontendApplication 类：

package com.example.frontend;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class FrontendApplication {
    public static void main(String[] args) {
        SpringApplication.run(FrontendApplication.class, args);
    }
}

4.5 配置文件

在 frontend-application/src/main/resources 目录下创建 application.yml 配置文件：

spring:
  application:
    name: frontend-application

dubbo:
  application:
    name: frontend-application
  registry:
    address: zookeeper://localhost:2181
  protocol:
    name: dubbo
  scan:
    base-packages: com.example.frontend.controller

logging:
  level:
    com.example.frontend: INFO
  file:
    name: logs/frontend-application.log

5. 根项目的 pom.xml

在根项目 big-data-system 中创建 pom.xml 文件，定义模块和依赖管理：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.w3.org/POM/4.0.0 http://www.w3.org/2001/04/xmldsig-more#">

    <modelVersion>4.0.0</modelVersion>
    <groupId>com.example</groupId>
    <artifactId>big-data-system</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>pom</packaging>

    <modules>
        <module>dubbo-api</module>
        <module>data-collection-service</module>
        <module>data-processing-service</module>
        <module>data-storage-service</module>
        <module>frontend-application</module>
    </modules>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.apache.dubbo</groupId>
                <artifactId>dubbo</artifactId>
                <version>2.7.8</version>
            </dependency>
            <dependency>
                <groupId>org.apache.dubbo</groupId>
                <artifactId>dubbo-spring-boot-starter</artifactId>
                <version>2.7.8</version>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <build>
        <pluginManagement>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.8.1</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                    </configuration>
                </plugin>
                <plugin>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-maven-plugin</artifactId>
                    <version>2.3.4.RELEASE</version>
                </plugin>
            </plugins>
        </pluginManagement>
    </build>
</project>

6. 启动Zookeeper

确保Zookeeper在本地运行，默认端口为 2181。可以通过下载Zookeeper并运行以下命令启动Zookeeper：

bin/zkServer.sh start

7. 启动服务提供者和消费者

  1. 启动数据收集服务：运行 DataCollectionServiceApplication 类。
  2. 启动数据处理服务：运行 DataProcessingServiceApplication 类。
  3. 启动数据存储服务：运行 DataStorageServiceApplication 类。
  4. 启动前端应用：运行 FrontendApplication 类。

8. 测试服务

访问前端应用的数据收集、处理和存储接口：

curl http://localhost:8080/collectData?data=sampleData
curl http://localhost:8080/processData?data=sampleData
curl http://localhost:8080/storeData?data=sampleData

9. 总结

通过以上步骤，我们设计并实现了一个大数据系统中的Dubbo服务，包含服务接口定义、各个服务提供者实现、服务消费者调用、服务注册与发现

avatar
文章
阅读
粉丝