From bf91eac35b9a022ff9b4fe9c11771af9855f9aa3 Mon Sep 17 00:00:00 2001 From: shuigedeng <981376577@qq.com> Date: Sat, 31 Aug 2024 07:54:30 +0800 Subject: [PATCH] build: xx --- README.md | 79 ++++++++++++++++++++++++++++++------------------------- 1 file changed, 43 insertions(+), 36 deletions(-) diff --git a/README.md b/README.md index 85afa63..fb72673 100644 --- a/README.md +++ b/README.md @@ -4,37 +4,37 @@

License - Downloads - Downloads - Downloads + Downloads + Downloads + Downloads Downloads Downloads Downloads Downloads - Downloads + Downloads Downloads Downloads Downloads Downloads Downloads - Downloads + Downloads

## 1. 如果您觉得有帮助，请点右上角 "Star" 支持一下谢谢 -`taotao-cloud` (taotao云平台) 基于gradle8.9、jdk21, 支持graalvm21, 采用最新的spring 6.1.11、SpringBoot 3.3.3、SpringCloud 2023.0.3、SpringSecurity 6.3.1、Nacos 2.3.2、Mybatis-Plus 3.5.7、Redis 7等框架，开发的一款企业级微服务架构的云服务平台， 具有组件化、高性能、功能丰富的特点。代码简洁，架构清晰，组件可自由搭配，遵循SpringBoot编程思想，高度模块化和可配置化。 +`taotao-cloud` (taotao云平台) 基于gradle8.10、jdk21, 支持graalvm21, 采用最新的spring 6.1.12、SpringBoot 3.3.3、SpringCloud 2023.0.3、SpringSecurity 6.3.2、Nacos 2.4.1、Mybatis-Plus 3.5.7、Redis 7等框架，开发的一款企业级微服务架构的云服务平台， -具备服务注册&发现、配置中心、服务限流、熔断降级、监控报警、多数据源、工作流、高亮搜索、定时任务、分布式缓存、分布式事务、分布式存储等功能，用于快速构建微服务项目。 +具有组件化、高性能、功能丰富的特点。代码简洁，架构清晰，组件可自由搭配，遵循SpringBoot编程思想，高度模块化和可配置化。 -目前支持Shell、Docker、Docker-compose、K8s、Github/Genkins ci/cd等多种部署方式，实现RBAC权限。 遵循阿里代码规范，采用restful设计风格及DDD(领域驱动设计)思想，代码简洁、架构清晰，非常适合作为基础框架使用。基于DDD（领域驱动设计）的轻量级快速开发框架，致力于企业技术架构的可沉淀和可传承，解决复杂业务场景的扩展问题 +具备服务注册&发现、配置中心、服务限流、熔断降级、监控报警、多数据源、工作流、高亮搜索、定时任务、分布式缓存、分布式事务、分布式存储等功能，用于快速构建微服务项目。 -仓库的目的: 工作以来的技术总结和技术沉淀(业余时间进行开发) **仓库代码中不涉及公司任何业务代码** +目前支持Shell、Docker、Docker-compose、K8s、Github/Genkins ci/cd等多种部署方式，实现RBAC权限。 -主要包括如下几部分 +遵循阿里代码规范，采用restful设计风格及DDD(领域驱动设计)思想，代码简洁、架构清晰，非常适合作为基础框架使用。基于DDD（领域驱动设计）的轻量级快速开发框架，致力于企业技术架构的可沉淀和可传承，解决复杂业务场景的扩展问题 -- **大数据模块** 集成基于**hadoop、hive、dolphinscheduler**的离线批量日志数据处理和分析, 用户行为分析、推荐系统, **flink、flink cdc、flink cep、spark - streaming、presto、seatunnel**流式处理计算框架, **tidb、doris**离线数据仓库, **hudi、paimon**数据湖等大数据处理 +**仓库的目的**: 工作以来的技术总结和技术沉淀(业余时间进行开发) **仓库代码中不涉及公司任何业务代码** +主要包括如下几部分 - **微服务模块** 基于**spring cloud alibaba**微服务基础脚手架框架,用于基础服务的集成和跟业务无关的基础技术集成, 提供**大量的starters组件**作为技术底层支持,同时基础框架集中统一优化中间件相关服务及使用, @@ -42,12 +42,22 @@ - **saas商城模块** 基于**微服务模块**构建的前后端分离的B2B2C商城系统, 支持商家入驻支, 持分布式部署, - 使用**github action - CI/CD**持续集成, 前后端均使用**kubernetes**部署， + 使用**github action CI/CD**持续集成, 前后端均使用**kubernetes**部署， 各个API独立, 管理前端使用**vue3 ant-design-vue**开发, 移动端使用**taro taro-ui**开发, ** 系统全端全部代码开源** +- **大数据模块** 集成基于**hadoop、hive、dolphinscheduler**的离线批量日志数据处理和分析, 用于用户行为分析、推荐系统, + **flink、flink cdc、flink cep、spark streaming、presto、seatunnel**流式处理计算框架, **tidb、doris**离线数据仓库, **hudi、paimon**数据湖等大数据处理 + + +- **数仓模块** 基于Doris、Piamon、Hudi的离线数仓和实时数仓(数据湖) + * 数据源模块：业务数据写入 **MySQL** 数据库,生成的日志数据被写入 **Kafka**, **rocketmq** 消息队列 + * 数据采集模块：**Dinky**开发**FlinkSQL**，消费**Kafka**中的日志数据，并将其写入**Doris**、**Paimon** 、**Hudi**的在线数据存储（ODS）层。使用**DolphinScheduler**配置**SeaTunnel**任务，同步**MySQL**中的业务数据到**Doris**的ODS层。**FlinkSQL/CDC**从**Kafka**和**MySQL**采集数据，分别写入**Paimon** 、**Hudi**的ODS层。 + * 数仓模块：遵循标准的ODS(数据存储)->DWD(数据仓库明细层)/DIM(维度数据层)->DWS(数据服务层)->ADS(应用数据存储)的四级数据分层架构。数据在**Doris** 、**Paimon**、**Hudi**中通过批量和实时两种调度方式流转。 + * 数据可视化：ADS层和DWS层的数据可以利用**SuperSet**和**DataRT**工具进行报表和数据大屏的制作、展示 + + - **sass商城多端前端模块** 主要使用**react antd**进行前后端分离开发, 集成以**taro, taro-ui, react native** 为主的多端合一框架。 @@ -55,7 +65,7 @@ - **python模块** 主要是集成了基于**django**的web开发, 基于**scrapy**爬虫开发, **homeassistant** 家庭自动化框架原理的分析 -总之基于**spring cloud alibaba**的微服务架构 **hadoop hive flink spark hive** +总之基于**spring cloud alibaba**的微服务架构 **hadoop hive flink flink-cdc paimon doris hudi** 等大数据处理实践。旨在提供技术框架的基础能力的封装，减少开发工作，只关注业务 ## 2. spring cloud 微服务架构图 @@ -72,8 +82,8 @@ Requires: ``` JAVA_VERSION >= 21 (推荐使用graalvm-jdk-21) -GRALE_VERSION >= 8.9 -IDEA_VERSION >= 2024.2 +GRALE_VERSION >= 8.10 +IDEA_VERSION >= 2024.2.0.2 ``` Gradle: @@ -116,17 +126,17 @@ Maven: 依赖 | 版本 ----------------------|----------------- - Spring | 6.1.11 + Spring | 6.1.12 Spring Boot | 3.3.3 Spring Cloud | 2023.0.3 Spring Cloud Alibaba | 2023.0.1.2 Spring Cloud Tencent | 1.14.0-2023.0.0-RC2 - Spring Cloud huawei | 1.11.8-2023.0.x + Spring Cloud huawei | 1.11.9-2023.0.x Seata | 2.0.0 Sentinel | 1.8.8 - Spring-kafka | 3.2.1 + Spring-kafka | 3.2.2 Roketmq | 5.2.0 - Spring Security | 6.3.1 + Spring Security | 6.3.2 Mybatis Plus | 3.5.7 Hutool | 6.0.0-M15 Mysql | 8.4.0 @@ -138,16 +148,16 @@ Maven: Elasticsearch | 8.11.5 Xxl-job | 2.4.1 EasyCaptcha | 1.6.2 - Guava | 33.2.1-jre + Guava | 33.3.0-jre Grpc | 1.66.0 - Arthas | 3.7.2 + Arthas | 4.0.0 Dynamic-tp | 1.1.7-3.x Elasticjob | 3.0.4 Powerjob | 5.0.1-beta Forest | 1.5.36 Netty | 4.1.112.Final -## 6. 演示地址 +## 6. 演示地址 (云服务器已到期) * TaotaoCloud脚手架：[https://start.taotaocloud.top/](https://start.taotaocloud.top/) * 文档地址：[https://docs.taotaocloud.top](https://docs.taotaocloud.top) @@ -214,13 +224,13 @@ Maven: ``` taotao-cloud-project -- 父项目 │ ├─taotao-cloud-bigdata -- 大数据模块 -│ ├─taotao-cloud-cache -- cache模块 +│ ├─taotao-cloud-cache -- 本地缓存模块 │ ├─taotao-cloud-design-partterns -- 设计模式 │ ├─taotao-cloud-jdbcpool -- jdbcpool模块 │ ├─taotao-cloud-microservice -- 微服务模块 │ │ ├─taotao-cloud-ai -- ai模块 │ │ ├─taotao-cloud-bff -- bff模块 -│ │ ├─taotao-cloud-business -- 所有的业务模块 +│ │ ├─taotao-cloud-business -- 业务模块 │ │ ├─taotao-cloud-data-sync -- 数据同步模块 │ │ ├─taotao-cloud-data-analysis -- 数据分析模块 │ │ ├─taotao-cloud-gateway -- 网关模块 @@ -229,21 +239,21 @@ taotao-cloud-project -- 父项目 │ │ ├─taotao-cloud-open-platform -- 开放平台模块 │ │ ├─taotao-cloud-recommend -- 推荐模块 │ │ ├─taotao-cloud-shell -- shell模块 -│ │ ├─taotao-cloud-xxljob -- xxl-job模块 +│ │ ├─taotao-cloud-xxljob -- job模块 │ ├─taotao-cloud-mq -- 分布式消息中间件 │ ├─taotao-cloud-plugin -- 插件模块 -│ ├─taotao-cloud-job -- job模块 +│ ├─taotao-cloud-job -- 分布式任务调度中间件 │ ├─taotao-cloud-python -- python模块 │ ├─taotao-cloud-scala -- scala模块 -│ ├─taotao-cloud-rpc -- 分布式rpc框架 -│ ├─taotao-cloud-tx -- 分布式事务框架 +│ ├─taotao-cloud-rpc -- 分布式rpc中间件 +│ ├─taotao-cloud-tx -- 分布式事务中间件 │ ├─taotao-cloud-warehouse -- 数仓模块 │ │ ├─taotao-cloud-offline-warehouse -- 离线仓库模块 │ │ ├─taotao-cloud-offline-weblog -- 离线日志分析模块 -│ │ ├─taotao-cloud-realtime-datalake -- 准实时数据湖模块 -│ │ ├─taotao-cloud-realtime-mall -- 商城日志分析模块 +│ │ ├─taotao-cloud-realtime-datalake -- 实时数据湖模块 +│ │ ├─taotao-cloud-realtime-mall -- 实时商城数据分析模块 │ │ ├─taotao-cloud-realtime-recommend -- 实时推荐模块 -│ │ ├─taotao-cloud-realtime-warehouse -- 实时旅游模块 +│ │ ├─taotao-cloud-realtime-warehouse -- 实时数仓模块 ``` ## 9.开源共建 @@ -318,7 +328,6 @@ taotao-cloud-project -- 父项目 +--- Project ':taotao-cloud-starter-apt' +--- Project ':taotao-cloud-starter-cache' +--- Project ':taotao-cloud-starter-canal' -+--- Project ':taotao-cloud-starter-captcha' +--- Project ':taotao-cloud-starter-common' +--- Project ':taotao-cloud-starter-core' +--- Project ':taotao-cloud-starter-bootstrap' @@ -327,7 +336,6 @@ taotao-cloud-project -- 父项目 +--- Project ':taotao-cloud-starter-dubbo' +--- Project ':taotao-cloud-starter-grpc' +--- Project ':taotao-cloud-starter-idempotent' -+--- Project ':taotao-cloud-starter-idgenerator' +--- Project ':taotao-cloud-starter-ip2region' +--- Project ':taotao-cloud-starter-job' +--- Project ':taotao-cloud-starter-limit' @@ -345,7 +353,6 @@ taotao-cloud-project -- 父项目 +--- Project ':taotao-cloud-starter-prometheus' +--- Project ':taotao-cloud-starter-retry' +--- Project ':taotao-cloud-starter-security' -+--- Project ':taotao-cloud-starter-sensitive' +--- Project ':taotao-cloud-starter-sms' +--- Project ':taotao-cloud-starter-springdoc' +--- Project ':taotao-cloud-starter-third-client'