工作职责:

设计并实现高效、可扩展、容错的搜索数据导出系统,支持大规模数据源的实时/批量方式导出
研究并优化各种结构化/非结构化数据的抽取、解析、格式转换流程,提升数据质量和导出效率
与搜索相关团队紧密合作,制定数据dump标准和规范,满足搜索引擎对数据格式、元数据、更新频率等各方面需求
设计并实现增量导出、数据分发等机制,实现与搜索集群的无缝集成
对数据dump过程中的错误和异常情况制定应对策略,确保数据导出的可靠性和完整性
持续优化数据导出性能,包括并行化、缓存、压缩等技术手段,降低对线上系统的影响
负责搭建数据备份和恢复系统,支持搜索集群的定期全量备份和紧急数据恢复需求
制定数据安全策略,确保敏感数据在导出过程中的安全性

任职要求:

3年以上搜索引擎/数据处理相关领域的工作经验
精通Java/Scala/Python等编程语言,熟悉Linux环境下的开发
深入了解Elasticsearch、Solr、Lucene等开源搜索引擎的架构和原理
熟练掌握关系型和NoSQL数据库的数据导入导出方法
对大数据处理系统有深入的理解,如Hadoop/Spark/Kafka等
熟悉常见的数据格式,如SQL/JSON/XML/ProtoBuf等
具备分布式系统设计和开发经验,对高可用、容错等有较好理解
积极主动,有责任心,具备良好的沟通能力和团队协作精神
对搜索引擎优化、相关性算法等领域有浓厚兴趣者加分
加分项:
有大型搜索引擎公司的工作经验
对容器和云原生技术有实践经验
发表过相关领域的技术文章或专利
有开源项目贡献经历