Commit Graph

11 Commits

Author SHA1 Message Date
liuy b8b44952ae build:暂停 hzy 在根 pom.xml 中注释掉了模块的 pom.xml 文件
-a-nifi-package-nar 模 hzya-nifi-package-nar块的构建

- 删除了 hzya-nifi-package-nar 模块的构建
2025-07-15 09:04:25 +08:00
liuy ac1f4a4602 feat(processor): 添加处理失败的 REL_FAILURE 关系
- 新增 REL_FAILURE 关系,用于处理过程中发生错误的 FlowFile
- 修改代码,将原本传递给 REL_ORIGINAL 的错误情况改为传递给 REL_FAILURE
- 优化错误日志输出,提高可读性和准确性
2025-07-11 11:14:52 +08:00
liuy f946c18295 build(nar): 添加新 NAR 模块并更新项目配置- 新增 hzya-nifi-AutoJsonTableCreate-nar模块
- 新增 hzya-nifi-DevGeneratePaginatedSqlProcessor-nar 模块- 新增 hzya-nifi-JsonSplitter-nar 模块
- 更新根 pom.xml 文件,添加新模块引用
2025-07-11 10:49:04 +08:00
liuy c9672ec085 feat(nifi): 添加 JSON拆分处理器并更新项目结构- 新增 DevJsonSplitterProcessor,用于拆分和展平多级 JSON 数据
- 移除未使用的 AutoJsonTableCreate 和 DevGeneratePaginatedSqlProcessor 模块
- 新增 hzya-nifi-package-nar 模块,用于打包 JSON 拆分处理器
- 更新项目结构和依赖关系
2025-07-11 10:27:06 +08:00
liuy 10bafb2b50 feat(nifi): 添加自动建表处理器
- 新增 DevAutoJsonTableCreateProcessor 处理器,用于自动创建数据库表
- 实现了连接数据库、检查表存在性、生成建表 SQL 并执行的功能
- 支持 MySQL、SQL Server 和 Oracle 数据库- 添加了自定义 JSON 数组解析方法
- 优化了表名和字段名的处理逻辑,支持不同数据库的特殊要求
2025-07-10 19:14:40 +08:00
liuy 9e05f88ce7 feat(DevGeneratePaginatedSqlProcessor): 增加对 Microsoft SQL Server 的支持
- 新增针对 SQL Server 的分页查询和最大值查询逻辑
- 优化全量同步和增量同步的 SQL生成逻辑
- 增加 SQL 解析和条件插入功能,以支持复杂查询
- 更新依赖,增加 jsqlparser 用于 SQL 解析
2025-07-10 17:05:41 +08:00
liuy bb4d2f4de3 fix(DevGeneratePaginatedSqlProcessor): 修复全量同步阶段数据查询逻辑
- 修改 whereClause初始值为 null,优化逻辑判断
- 在全量同步阶段添加数据范围限制条件
-针对不同数据库类型调整分页 SQL 语句格式
2025-07-10 10:27:51 +08:00
liuy 496c69864a 从远程仓库移除 .idea 目录 2025-07-09 16:01:44 +08:00
liuy 4f26616608 删除 .gitignore 文件 2025-07-09 15:57:14 +08:00
liuy e21e12cfc0 chore: 添加 .gitignore 文件以忽略操作系统和项目构建生成的临时文件
- 忽略 macOS 系统生成的临时文件和目录
- 忽略 Windows系统生成的临时文件和目录
- 忽略 IntelliJ IDEA 自动生成的缓存目录
- 忽略 Maven 构建过程生成的临时目录
2025-07-09 15:54:13 +08:00
liuy bdb8766c26 feat(nifi): 添加自定义分页 SQL 处理器
- 新增 DevGeneratePaginatedSqlProcessor 处理器
- 实现了 Oracle、MySQL 和 SQL Server 的分页查询
- 添加了状态管理,以跟踪每个表的最大值列
- 包含了错误处理和日志记录功能
- 新建了 Maven 项目结构和必要的配置文件
- 编写了处理器的单元测试
- 添加了项目文档和 README 文件
2025-07-09 15:47:21 +08:00