Apache SeaTunnel 支持 Metalake 开发了！避免任务配置敏感信息暴露

                                                                                                                                                <p>今年的开源之夏活动已接近尾声，Apache SeaTunnel 社区的开发者们在经过漫长的开发过程也都收获了自己的成果。上周，我们通过文章<a href="https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fmp.weixin.qq.com%2Fs%2Fe8yPPjPApLTkVb3ni1ekrQ" target="_blank">《巾帼力量助力 Flink 引擎 CDC 源模式演进》</a>分享了董嘉欣同学的开发故事，今天，让来看看另一位同学——来自上海交通大学软件工程专业的吴天宇，在本次活动中是如何完成开发任务的吧！</p> 

个人介绍

吴天宇，来自上海交通大学软件工程专业，目前是硕士二年级学生（GitHub ID：wtybxqm）。现阶段主要研究领域是普适计算与人机交互，爱好运动与游戏。硕士就读期间曾发表CCF-A类论文，并获得国家奖学金。

项目名称

• Apache SeaTunnel支持metalake开发

在2025年开源之夏活动中，我参与了Apache SeaTunnel项目的开发，目标是解决任务配置中敏感信息暴露的问题。

项目背景

传统的数据处理工具中，数据源的用户名、密码等敏感信息通常直接写入脚本中，这种做法不仅存在严重的安全隐患，而且在数据源信息需要更新时，用户必须手动修改所有相关任务脚本，既低效又容易出错。

因此，我设计并实现了metalake的支持功能，允许用户通过唯一的sourceId动态获取数据源信息，从而避免了敏感信息的暴露，同时简化了数据源配置的管理过程。

项目实现思路

为了实现这一目标，我首先在SeaTunnel的配置文件中集成了metalake的相关配置，确保任务启动时能够从配置文件中加载相关的配置项。这样，用户可以通过在seatunnel-env.sh或任务配置文件中的env部分配置metalake，任务启动时便能自动读取这些配置。通过这种方式，我确保了配置的灵活性和可扩展性。

方案设计

接着，我对源（source）和汇（sink）配置进行了改造，增加了sourceId字段，作为查询metalake中数据源信息的唯一标识。在任务脚本中，用户只需要指定一个sourceId，系统便会动态地从metalake中获取相应的数据源信息，并替换配置项中的占位符。这样，敏感信息如用户名和密码不再硬编码在配置文件中，而是通过metalake接口动态加载，从而提高了系统的安全性，避免了信息泄露。

在项目的实现过程中，我也考虑到系统的扩展性，因此我设计了一个插件化接口，使得系统不仅可以与Apache Gravitino集成，还能支持其他数据目录服务如UnityCatalog或DataHub。通过这种方式，用户可以根据需要选择不同的数据源管理工具进行集成，确保系统的灵活性和适应性。

尽管在开发过程中，我遇到了一些挑战，尤其是在对SeaTunnel代码的熟悉度上有所欠缺，但通过与导师的沟通和不断的学习，我逐步解决了这些问题。最困难的一点是，项目中的测试用例非常多，且由于网络等原因，部分测试用例的稳定性较差，导致需要多次重试才能通过。这也考验了我的耐心和细致的工作态度。总体而言，经过不懈努力，我成功地解决了这些问题，顺利完成了项目的各项任务，并为开源社区贡献了代码和文档。

最终，通过这个项目的开发，我不仅为SeaTunnel增强了安全性，还提高了数据源配置的灵活性和可管理性。这不仅解决了用户面临的敏感信息暴露和维护困难的问题，还为系统的后续扩展和集成其他数据源管理工具奠定了基础。

同时，为了更好地了解同学们在参与开源之夏项目中的开发心得和感受，Apache SeaTunnel 对同学们进行了简短的采访，以下为采访实录：

Q1:在众多项目中，为什么选择参与SeaTunnel的项目？

A: 首先因为SeaTunnel项目属于Apache社区，Apache社区一直以来都有很高的声誉，参与这样的项目对我来说是一次宝贵的机会。其次，SeaTunnel项目与我所在实验室的研究方向存在一些交集，并且采用的技术栈与我非常吻合，基于这些原因我选择了SeaTunnel项目。

Q2:SeaTunnel的项目与你的学业有什么交集吗？

SeaTunnel项目采用的技术栈与我本科时学习的相关技术有很高的契合度，尤其是在Java开发与测试方面。因此，这次参与SeaTunnel项目不仅让我能巩固和复习我之前学过的知识，还能进一步深化我对这些技术的理解，并将理论与实际相结合。

Q3：参与这个项目给你的学业和未来个人规划带来了哪些影响？对于这些影响，您有什么感受和评价？

参与SeaTunnel项目不仅提升了我的实际开发能力，也加深了我对数据处理与集成领域的理解。这个项目让我认识到在实际工作中，如何处理复杂的数据流转和调度问题，以及如何在实际开发中克服技术难题。这些经历对我未来的学术研究和职业生涯都有着深远的影响。

Q4：参与这个项目的过程中遇到的最大的挑战是什么？您是如何克服的？

我在这个项目遇到的最大困难其实是在进行测试时，需要一个Gravitino来提供数据源数据，但是现版本的Gravitino的docker镜像运行时会出现问题，使得测试无法进行。我是通过直接在测试镜像里下载了一个Gravitino来解决的。

Q5: 您参与开源有多长时间了？喜欢开源吗？开源给你带来了哪些改变？

这是我第一次参与开源社区。我感觉很喜欢开源。它不仅帮助我提升了技术能力，还让我更加关注社区的协作和沟通，这对我的个人成长非常有帮助。

Q6: SeaTunnel社区贡献给您的第一印象是怎样的？您希望在这里有何收获？社区还有哪些地方你觉得可以改进？

SeaTunnel社区给我的第一印象是非常开放和包容的，大家都非常愿意分享自己的经验并帮助新人。通过参与这个社区，我希望能够在技术上获得更多的提升，同时也希望能够认识更多优秀的开发者，进行更多的技术交流。

至于改进，我觉得社区在文档的完善上还可以做得更好，特别是一些技术细节部分，能帮助新人更好地入门。

Q7: 您后续还会持续在SeaTunnel社区活跃吗？

是的，我计划继续在SeaTunnel社区活跃，参与更多的开发和维护工作。开源社区为我提供了很多机会，我希望通过我的贡献，帮助更多的开发者和用户。

                                                                                </div>

Source link