源启数据集成平台作为源启·数据资产平台的重要组成部分，专注于实现跨源数据的高效汇聚与迁移，提供一站式数据集成服务。平台适用于银行、保险、证券、能源、制造等行业，能够实现对多源异构数据从采集、转换到写入的全流程处理。该平台主要面向应用系统的数据入湖入仓、新旧系统数据迁移等场景，能够有效整合各类应用系统数据和文件。同时，平台提供离线、实时及文件数据集成能力，涵盖数据同步、任务管理与实时监控等核心功能。
随着大数据技术的发展，数据向数据湖和数据仓库汇聚并用于分析洞察与预测决策已成为显著趋势。数据迁移的场景也愈加丰富，从早期单一的关系数据库逐步扩展至NoSQL、文件及数据云等多源跨平台流转。传统ETL工具已难以应对此类复杂需求，加之信创替代和降本增效的双重推动下，市场亟需一款能支持多源异构数据采集、转换和写入的集成产品。源启数据集成平台正精准覆盖两大核心场景：一是将各类数据与文件高效汇入数据湖/仓，二是实现新旧数据库之间的平滑迁移。
源启数据集成平台是源启·数据资产平台面向跨源数据高效汇聚与迁移全新打造的一站式数据枢纽。平台全面兼容多种数据源，包括关系型数据库、MPP、大数据平台、文件系统及消息组件等。借助可视化操作界面，用户可快速配置离线与实时数据同步任务。
平台依托自研数据集成引擎（Gientech-Exchange-Engine）的分布式计算能力，支持高并发海量数据的稳定处理，保障业务的高可用性。同时，平台支持丰富的数据集成任务设计，涵盖表到表/文件/消息总线、文件到表/文件、消息队列到表/消息队列等多种任务类型，全面满足结构化、半结构化和非结构化数据的入湖入仓需求。
■ 工作台：用于统计集成任务的整体态势，提供任务总数量、不同分类任务数量、不同运行状态任务数量等指标的可视化展示。
■ 离线任务配置：用于全方位管理离线任务信息，提供新增、修改、删除、提交（调度）、监控入口、版本管理、配置信息查看及导入导出等功能。
■ 实时任务配置：用于全方位管理实时任务信息，提供新增、修改、删除、运行/停止、监控入口、版本管理、配置信息查看及导入导出等功能。
■ 离线任务监控：用于展示离线任务的运行状态，提供任务实例的运行/停止、运行日志查看、删除及配置信息查看等功能。
■ 实时任务监控：用于展示实时任务的运行状态，提供任务实例的运行/停止、运行日志查看、删除及配置信息查看等功能。
02
全新升级
平台实现化繁为简，能力更加高效可靠
近期，源启数据集成平台全新改造，增加了引导式任务开发、统一的转换函数、在线调试、断点续传等功能，在便捷性与性能上实现了双飞跃。相较于传统的代码开发模式，平台采用图形化引导式进行数据集成任务开发，显著降低了开发技术门槛。同时，平台采用自研的数据集成引擎，不再依赖第三方引擎，不仅降低了实施部署的难度，还进一步提高了数据集成的性能和稳定性。
引导式任务开发，提升开发效率
■ 功能介绍
平台支持用户通过可视化配置进行数据集成任务开发。开发过程分为“任务-采集-写入”三个配置步骤。平台将复杂的采集策略和写入策略封装为直观的配置项，用户仅需进行选择或简单设置即可完成，显著降低了开发难度。
■ 场景应用
代码式数据集成任务开发技术门槛较高，要求开发人员精通多种数据库知识并具备强大的代码编写能力，但现实中符合此类要求的人员较少。相比之下，引导式数据集成任务开发将各类策略封装为图形化配置项，配置过程敏捷高效，无需复杂编码，显著降低了开发难度。同时，平台为用户提供了清晰的引导式数据集成任务开发页面，包括“任务策略”、“采集策略”和“写入策略”三个配置步骤。用户只需根据页面提示完成当前步骤的配置，点击【下一步】进入下一环节，直到完成写入策略配置后，点击【保存】即可完成整个任务开发流程。
统一的转换函数，屏蔽底层差异
■ 功能介绍
平台支持在数据集成任务中对源字段数据进行映射转换处理，并提供了50多种丰富的转换函数，可兼容不同类型的数据源。
■ 场景应用
数据集成任务并非简单的数据搬运，往往伴随着对源字段数据的转换处理。对于不同类型的数据源，实现统一转换可能需要使用不同的函数或处理方法，这进一步增加了开发难度。平台通过自研的数据集成引擎，有效屏蔽了不同类型数据源之间的差异，提供了统一的函数列表。在配置字段映射时，支持为每个源字段逐一配置转换处理的函数表达式。同时，平台提供的函数列表查看功能，便于用户随时参考查看函数的使用方法。
字段映射：
函数列表：
在线调试，便于调整配置
■ 功能介绍
平台支持用户对配置完成的任务进行调试运行和查看调试运行日志，从而现场判断任务的正确性，以便对任务进行调整或定版。
■ 场景应用
用户在完成数据集成任务开发后，往往无法了解任务运行的具体过程（处于“盲开”状态），或仅能查看最终数据结果。一旦遇到数据结果不符合预期，便难以定位问题的根源。平台为此提供在线调试运行功能，并支持用户在线实时查看任务运行日志，便于用户分析、调整任务配置信息。
调试运行：
断点续传，避免数据丢失
■ 功能介绍
平台支持用户在运行实时数据集成任务时，选择从任务上次停止的时间点继续执行，以确保因暂停或异常退出的任务在重新运行时，能够避免数据丢失。
■ 场景应用
实时数据集成任务在运行时，无论是因调整任务配置信息的需要还是任务运行出现异常，都可能会导致任务中止。任务中止后再次运行时，中止时段的变化数据就可能丢失。为解决此问题，平台在重启实时数据集成任务时，提供两个选项：从当前时间点开始运行，或从任务上次停止的时间点开始运行。用户可根据实际情况，自主决定从“何时”开始运行任务。
