优秀开源项目解读(六) - Piggy Metrics微服务项目
站长
· 阅读数 24
一、Piggy Metrics介绍
PiggyMetrics是一个模拟的个人记账理财的应用，原作者称其为一个端到端的微服务PoC(Proof of Concept)，也就是说他开发这个是为了验证微服务架构和Spring Cloud技术栈。PiggyMetrics目前在github上有超过12k星，是学习微服务架构和Spring Cloud技术栈的一个不错参考。
项目工程结构
│
├─account-service # 账户服务
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ ├─main
│ │ ├─java
│ │ │ └─com
│ │ │ └─piggymetrics
│ │ │ └─account
│ │ │ │ AccountApplication.java
│ │ │ ├─client
│ │ │ │ AuthServiceClient.java
│ │ │ │ StatisticsServiceClient.java
│ │ │ │ StatisticsServiceClientFallback.java
│ │ │ ├─config
│ │ │ │ ResourceServerConfig.java
│ │ │ │
│ │ │ ├─controller
│ │ │ │ AccountController.java
│ │ │ │ ErrorHandler.java
│ │ │ │
│ │ │ ├─domain
│ │ │ │ Account.java
│ │ │ │ Currency.java
│ │ │ │ Item.java
│ │ │ │ Saving.java
│ │ │ │ TimePeriod.java
│ │ │ │ User.java
│ │ │ │
│ │ │ ├─repository
│ │ │ │ AccountRepository.java
│ │ │ └─service
│ │ │ │ AccountService.java
│ │ │ │ AccountServiceImpl.java
│ │ │ │
│ │ │ └─security
│ │ │ CustomUserInfoTokenServices.java
│ │ │
│ │ └─resources
│ │ bootstrap.yml
│
├─auth-service # 授权认证服务
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ ├─main
│ │ ├─java
│ │ │ └─com
│ │ │ └─piggymetrics
│ │ │ └─auth
│ │ │ │ AuthApplication.java
│ │ │ ├─config
│ │ │ │ OAuth2AuthorizationConfig.java
│ │ │ │ WebSecurityConfig.java
│ │ │ ├─controller
│ │ │ │ UserController.java
│ │ │ ├─domain
│ │ │ │ User.java
│ │ │ ├─repository
│ │ │ │ UserRepository.java
│ │ │ └─service
│ │ │ │ UserService.java
│ │ │ │ UserServiceImpl.java
│ │ │ └─security
│ │ │ MongoUserDetailsService.java
│ │ │
│ │ └─resources
│ │ bootstrap.yml
│ │
│ └─
├─config # 配置中心
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ └─main
│ ├─java
│ │ └─com
│ │ └─piggymetrics
│ │ └─config
│ │ ConfigApplication.java
│ │ SecurityConfig.java
│ │
│ └─resources
│ │ application.yml
│ │
│ └─shared
│ account-service.yml
│ application.yml
│ auth-service.yml
│ gateway.yml
│ monitoring.yml
│ notification-service.yml
│ registry.yml
│ statistics-service.yml
│ turbine-stream-service.yml
│
├─gateway # API网关
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ ├─main
│ │ ├─java
│ │ │ └─com
│ │ │ └─piggymetrics
│ │ │ └─gateway
│ │ │ GatewayApplication.java
│ │ │
│ │ └─resources
│
├─monitoring
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ ├─main
│ │ ├─java
│ │ │ └─com
│ │ │ └─piggymetrics
│ │ │ └─monitoring
│ │ │ MonitoringApplication.java
│ │ │
│ │ └─resources
│ │ bootstrap.yml
│ │
│ └─test
│ ├─java
│ │ └─com
│ │ └─piggymetrics
│ │ └─monitoring
│ │ MonitoringApplicationTests.java
│ │
│ └─resources
│ bootstrap.yml
│
├─notification-service # 通知服务
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ ├─main
│ │ ├─java
│ │ │ └─com
│ │ │ └─piggymetrics
│ │ │ └─notification
│ │ │ │ NotificationServiceApplication.java
│ │ │ │
│ │ │ ├─client
│ │ │ │ AccountServiceClient.java
│ │ │ │
│ │ │ ├─config
│ │ │ │ ResourceServerConfig.java
│ │ │ │
│ │ │ ├─controller
│ │ │ │ RecipientController.java
│ │ │ │
│ │ │ ├─domain
│ │ │ │ Frequency.java
│ │ │ │ NotificationSettings.java
│ │ │ │ NotificationType.java
│ │ │ │ Recipient.java
│ │ │ │
│ │ │ ├─repository
│ │ │ │ │ RecipientRepository.java
│ │ │ │ │
│ │ │ │ └─converter
│ │ │ │ FrequencyReaderConverter.java
│ │ │ │ FrequencyWriterConverter.java
│ │ │ │
│ │ │ └─service
│ │ │ EmailService.java
│ │ │ EmailServiceImpl.java
│ │ │ NotificationService.java
│ │ │ NotificationServiceImpl.java
│ │ │ RecipientService.java
│ │ │ RecipientServiceImpl.java
│ │ │
│ │ └─resources
│ │ bootstrap.yml
│ │
├─registry # 注册服务
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ └─main
│ ├─java
│ │ └─com
│ │ └─piggymetrics
│ │ └─registry
│ │ RegistryApplication.java
│ │
│ └─resources
│ bootstrap.yml
│
├─statistics-service # 统计服务
│ │ Dockerfile
│ │ pom.xml
│ │
│ └─src
│ ├─main
│ │ ├─java
│ │ │ └─com
│ │ │ └─piggymetrics
│ │ │ └─statistics
│ │ │ │ StatisticsApplication.java
│ │ │ │
│ │ │ ├─client
│ │ │ │ ExchangeRatesClient.java
│ │ │ │ ExchangeRatesClientFallback.java
│ │ │ │
│ │ │ ├─config
│ │ │ │ ResourceServerConfig.java
│ │ │ │
│ │ │ ├─controller
│ │ │ │ StatisticsController.java
│ │ │ │
│ │ │ ├─domain
│ │ │ │ │ Account.java
│ │ │ │ │ Currency.java
│ │ │ │ │ ExchangeRatesContainer.java
│ │ │ │ │ Item.java
│ │ │ │ │ Saving.java
│ │ │ │ │ TimePeriod.java
│ │ │ │ │
│ │ │ │ └─timeseries
│ │ │ │ DataPoint.java
│ │ │ │ DataPointId.java
│ │ │ │ ItemMetric.java
│ │ │ │ StatisticMetric.java
│ │ │ │
│ │ │ ├─repository
│ │ │ │ │ DataPointRepository.java
│ │ │ │ │
│ │ │ │ └─converter
│ │ │ │ DataPointIdReaderConverter.java
│ │ │ │ DataPointIdWriterConverter.java
│ │ │ │
│ │ │ └─service
│ │ │ │ ExchangeRatesService.java
│ │ │ │ ExchangeRatesServiceImpl.java
│ │ │ │ StatisticsService.java
│ │ │ │ StatisticsServiceImpl.java
│ │ │ │
│ │ │ └─security
│ │ │ CustomUserInfoTokenServices.java
│ │ │
│ │ └─resources
│ │ bootstrap.yml
│
└─turbine-stream-service # turbine流服务
│ Dockerfile
│ pom.xml
│
└─src
├─main
│ ├─java
│ │ └─com
│ │ └─piggymetrics
│ │ └─turbine
│ │ TurbineStreamServiceApplication.java
│ │
│ └─resources
│ bootstrap.yml
└─
二、Piggy Metrics服务拆分
| 技术栈 | 技术栈选型 |
|---|---|
| API网关 | Spring Cloud Zuul |
| 负载均衡 | Eurake+Ribbon |
| 远程调用 | Feign |
| 限流熔断 | Hystrix |
| 服务注册与发现 | Spring Cloud Eurake |
| 授权认证 | Spring Cloud OAuth2 |
| 配置中心 | Spring Cloud Config&&Apollo |
| 分布式调用链监控 | Spring Cloud Sleuth |
| 链路追踪 | Zipkin |
| 消息队列 | RabbitMQ |
| 日志监控 | ELK |
三、Piggy Metrics业架构设计
目前PiggMetrics采用前后分离架构，前端是单页SPA，后端采用基于Spring Cloud技术栈的微服务架构。
3.1 业务服务架构
Piggy Metrics项目主要有三个服务，Account service 账户服务，存储用户账户和记账信息、Statistics service 统计服务，计算用户财务状况和统计信息、Notification service 通知服务，存储通知和备份等相关配置。
3.2 原基础服务架构
- API网关: 基于
Spring Cloud Zuul的网关，是调用后台API的聚合入口，实现反向路由和负载均衡(Eureka+Ribbon)、限流熔断(Hystrix)等功能。CLIENT单页应用和ZUUL网关暂住在一起，简化部署。 - 服务注册和发现: 基于
Spring Cloud Eureka的服务注册中心。业务服务启动时通过Eureka注册，网关调用后台服务通过Eureka做服务发现，服务之间调用也通过Eureka做服务发现。 - 授权认证服务: 基于
Spring Security OAuth2的授权认证中心。客户端登录时通过AUTHSERVICE获取访问令牌(走用户名密码模式)。服务之间调用也通过AUTHSERVICE获取访问令牌(走客户端模式)。令牌校验方式、各资源服务器去AUTHSERVICE集中校验令牌。 - 配置服务: 基于
Spring Cloud Config的配置中心，集中管理所有Spring服务的配置文件。 - 分布式调用链: 基于
Spring Cloud Sleuth的调用链监控。网关调用后台服务，服务之间调用，都采用Zipkin进行埋点和跟踪。 - 软负载和限流熔断: 基于
Spring Cloud Ribbon&Hystrix，Zuul调用后台服务，服务之间相互调用，都通过Ribbon实现软负载，也通过Hystrix实现熔断限流保护。 - METRICS & DASHBOARD: 基于
Spring Cloud Turbine + Hystrix Dashboard，对所有Hystrix产生的Metrics流进行聚合，并展示在Hystrix Dashboard上。 - 日志监控: 采用
ELK栈集中收集和分析应用日志。
3.3 优化后的基础服务架构
上图是经过造后优化后的架构，浅蓝色标注的都属于基础服务，主要替换的组件如下：
- 授权认证服务：替换为使用第8模块为课程定制开发的
Gravitee OAuth2服务器。 - 配置服务：替换为使用携程
Apollo做统一配置中心，集中管理所有Spring微服务的配置。 - 分布式调用链:替换为使用大众点评开源的
CAT做调用链监控，从网关调后台服务，服务之间相互调用，都采用CAT客户端进行埋点监控。CAT埋点既演示使用拦截器(interceptor)方式，也演示使用AOP非侵入方式。 - METRICS&ALERTING：网关和微服务都启用
Prometheus Metrics端点，便于集成Prometheus监控和告警。
其它组件，比如Zuul网关、Eureka服务发现、Ribbon软负载、Hystrix限流熔断，以及ELK集中日志都同原架构，没有太大变化。
技术亮点
通过Piggy Metrics项目可以从中学习到以下几点：
- 如何使用
Apollo集中管理Spring应用的配置? - 网关集中验证令牌
token怎么实现? - 基于
OAuth2的注册登录和API调用具体是如何实现的? CAT非侵入式埋点怎么做，如何尽量减少业务研发直接使用CAT进行埋点?
注册登录流程
上图展示PiggyMetrics的登录注册流程，简化流程如下：
- 客户端应用向后台发起注册请求。
- 请求通过网关反向路由到账户服务(
Account Svc)。 - 账户服务先去授权认证服务(
Gravitee OAuth2)创建一个用户(包括用户和密码，这样后续才可以登录获取访问令牌)。账户服务再保存新账户信息到本地MongoDB数据库。 - 注册成功以后，客户应用向授权认证服务请求访问令牌(走用户名密码模式)，拿到令牌以后缓存本地
localstorage。
服务调用流程
上图展示PiggyMetrics的API调用流程，简化流程如下：
- 客户端向后台服务发起API调用，调用时在HTTP授权头上带上访问令牌。
- 网关截获API请求，根据安全需求判断是否需要验令牌，如果需要，则向授权服务器发起令牌校验请求。授权服务器校验令牌并返回有效型性信息，如果令牌有效，同时返回用户名等相关信息。网关再判断校验是否通过，如果通过，则
将用户名以HTTP HEADER方式向后台服务传递，如果不通过，则直接报授权错到客户端。 - 资源服务器从
HTTP HEADER请求头获取用户名等信息，可通过用户名进一步查询用户相关信息，实现业务逻辑。
客户端调用后台服务，经过改造为网关集中校验令牌方式，这样可以简化安全架构，即在企业内网，资源服务器端可直接获取用户名信息，不需要再到授权服务器做集中令牌校验。另外，服务之间的调用也改造为可以直接调用，不需要授权认证和令牌，这种做法也是很多一线企业实际落地的做法，即在生产环境中，内部服务之间调用不授权认证，这样可以简化服务的开发和部署，但是对于安全敏感的服务要求做好生产网段隔离(需运维配合)。
代码解读
项目采用Spring Security&OAuth2实现用户认证授权，通过实现UserDetailsService接口实现身份认证：
UserDetailsService
@Service
public class MongoUserDetailsService implements UserDetailsService {
@Autowired
private UserRepository repository;
/**
* 根据用户名获取用户（用户的角色、权限等信息）
*
* @return UserDetails
*/
@Override
public UserDetails loadUserByUsername(String username) throws UsernameNotFoundException {
return repository.findById(username).orElseThrow(() -> new UsernameNotFoundException(username));
}
}
WebSecurityConfig配置类
security的WebSecurityConfigurerAdapter常用于配置任认证管理器配置、核心过滤器配置、安全过滤器链配置， HttpSecurity使用了builder的构建方式来灵活指定访问策略。
/**
* spring security配置
*
* @return UserDetails
*/
@Configuration
public class WebSecurityConfig extends WebSecurityConfigurerAdapter {
/**
* 自定义身份认证逻辑
*/
@Autowired
private MongoUserDetailsService userDetailsService;
/**
* anyRequest | 匹配所有请求路径
* access | SpringEl表达式结果为true时可以访问
* anonymous | 匿名可以访问
* denyAll | 用户不能访问
* fullyAuthenticated | 用户完全认证可以访问（非remember-me下自动登录）
* hasAnyAuthority | 如果有参数，参数表示权限，则其中任何一个权限可以访问
* hasAnyRole | 如果有参数，参数表示角色，则其中任何一个角色可以访问
* hasAuthority | 如果有参数，参数表示权限，则其权限可以访问
* hasIpAddress | 如果有参数，参数表示IP地址，如果用户IP和参数匹配，则可以访问
* hasRole | 如果有参数，参数表示角色，则其角色可以访问
* permitAll | 用户可以任意访问
* rememberMe | 允许通过remember-me登录的用户访问
* authenticated | 用户登录后可访问
*/
@Override
protected void configure(HttpSecurity http) throws Exception {
http.authorizeRequests().anyRequest()
.authenticated()
.and()
.csrf().disable();
}
@Override
protected void configure(AuthenticationManagerBuilder auth) throws Exception {
auth.userDetailsService(userDetailsService)
.passwordEncoder(new BCryptPasswordEncoder());
}
/**
* 解决 无法直接注入 AuthenticationManager
*/
@Override
@Bean
public AuthenticationManager authenticationManagerBean() throws Exception {
return super.authenticationManagerBean();
}
}
AuthorizationServerConfigurer
AuthorizationServerConfigurer是配置OAuth2授权配置服务的配置类接口，只需要添加@EnableAuthorizationServer，Spring会实现自动注入，接口有三个方法，可实现客户端的配置、安全功能、以及各个Endpoint（端点）的相关配置。
public interface AuthorizationServerConfigurer {
// 配置授权服务器的安全性
void configure(AuthorizationServerSecurityConfigurer security) throws Exception;
//客户端信息配置
void configure(ClientDetailsServiceConfigurer clients) throws Exception;
//配置授权服务器端点的非安全功能，如令牌存储、令牌定制、用户批准和授权类型。默认情况下你不需要做任何事情，除非你需要密码授权，在这种情况下你需要提供一个 {@link AuthenticationManager}。
void configure(AuthorizationServerEndpointsConfigurer endpoints) throws Exception;
}
AuthorizationServerConfigurerAdapter
AuthorizationServerConfigurerAdapter继承了AuthorizationServerConfigurer接口
public class AuthorizationServerConfigurerAdapter implements AuthorizationServerConfigurer {
public AuthorizationServerConfigurerAdapter() {
}
public void configure(AuthorizationServerSecurityConfigurer security) throws Exception {
}
public void configure(ClientDetailsServiceConfigurer clients) throws Exception {
}
public void configure(AuthorizationServerEndpointsConfigurer endpoints) throws Exception {
}
}
PiggyMetrics定义OAuth2AuthorizationConfig
OAuth2AuthorizationConfig是AuthorizationServerConfigurer默认的实现类，它是Spring Security OAuth2授权服务器的默认配置，当没有自定义配置时，将会使用此配置。
EnableAuthorizationServer
public class OAuth2AuthorizationConfig extends AuthorizationServerConfigurerAdapter {
//保存 OAuth2 token ,有InMemoryTokenStore、JdbcTokenStore、JwkTokenStore、RedisTokenStore
private TokenStore tokenStore = new InMemoryTokenStore();
private final String NOOP_PASSWORD_ENCODE = "{noop}";
@Autowired
@Qualifier("authenticationManagerBean")
private AuthenticationManager authenticationManager;
@Autowired
private MongoUserDetailsService userDetailsService;
@Autowired
private Environment env;
@Override
public void configure(ClientDetailsServiceConfigurer clients) throws Exception {
// 在内存中创建一个Oauth2 Client
clients.inMemory()
.withClient("browser")
// 授权类型集合
.authorizedGrantTypes("refresh_token", "password")
.scopes("ui")
.and()
.withClient("account-service")
// 密码
.secret(env.getProperty("ACCOUNT_SERVICE_PASSWORD"))
.authorizedGrantTypes("client_credentials", "refresh_token")
.scopes("server")
.and()
.withClient("statistics-service")
.secret(env.getProperty("STATISTICS_SERVICE_PASSWORD"))
.authorizedGrantTypes("client_credentials", "refresh_token")
.scopes("server")
.and()
.withClient("notification-service")
.secret(env.getProperty("NOTIFICATION_SERVICE_PASSWORD"))
.authorizedGrantTypes("client_credentials", "refresh_token")
// 授权范围
.scopes("server");
}
@Override
public void configure(AuthorizationServerEndpointsConfigurer endpoints) throws Exception {
// token存储器
endpoints
.tokenStore(tokenStore)
.authenticationManager(authenticationManager)
.userDetailsService(userDetailsService);
}
@Override
public void configure(AuthorizationServerSecurityConfigurer oauthServer) throws Exception {
oauthServer
.tokenKeyAccess("permitAll()")
.checkTokenAccess("isAuthenticated()")
.passwordEncoder(NoOpPasswordEncoder.getInstance());
}
}
Feign服务调用
Piggy Metrics在AccountService调用用户服务来创建用户，通过在账户服务定义FeignClient（AuthServiceClient）实现远程调用：
@FeignClient(name = "auth-service")
public interface AuthServiceClient {
@RequestMapping(method = RequestMethod.POST, value = "/uaa/users", consumes = MediaType.APPLICATION_JSON_UTF8_VALUE)
void createUser(User user);
}
AuthService#UserController开放创建用户的API:
@RestController
@RequestMapping("/users")
public class UserController {
@Autowired
private UserService userService;
@RequestMapping(value = "/current", method = RequestMethod.GET)
public Principal getUser(Principal principal) {
return principal;
}
@PreAuthorize("#oauth2.hasScope('server')")
@RequestMapping(method = RequestMethod.POST)
public void createUser(@Valid @RequestBody User user) {
userService.create(user);
}
}
Piggy Metrics扩展点
实际上这个架构进行生产化，仍需做生产化扩展，下面是一些可能的扩展点：
- 安全，采用网关集中令牌校验后，内部服务可以直接调用，不需要授权认证，但在生产环境中，特别是对于安全敏感的服务，需要考虑安全增强，例如生产网段隔离和IP白名单等机制。
- CAT客户端进一步封装，案例演示中为了简化，使用一些手工埋点，但在实际生产中，一般需要有独立框架团队对CAT客户端进行进一步封装，对常用基础组件(服务框架，数据访问层，MVC框架，消息系统，缓存系统等)进行集中埋点，并提供封装好的客户端(最好做到无侵入，可参考
Spring Cloud Sleuth Starter埋点方式)，方便业务研发团队接入。基本上，框架层集中埋点以后，业务应用只需引入依赖即可，一般不需要再手工埋点。 - 用户服务解耦，演示案例中，用户服务(包括用户数据库)和
Gravitee OAuth2集成在一起，但实际企业中用户服务可能是独立不耦合的，Gravitee OAuth2可以扩展集成独立用户服务，账户服务也可以集成对接独立用户服务。 - 前后分离部署，演示案例中，为简化部署，前端应用和网关住在一起，但在实际生产中，根据企业业务和团队规模，前端应用和后端微服务可能是完全分离部署的，具体做法可参考波波的视频课程。
- Gravitee OAuth2，另外
Gravitee OAuth2本身也需要扩展 Gravitee OAuth2。
转载自:https://juejin.cn/post/7167972547437264904