普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
应用集成
FAQ
  • Elasticsearch Sink组件使用说明
  • 组件说明
  • 配置项说明
  • FAQ

# Elasticsearch Sink组件使用说明

  • 组件说明
  • 配置项说明
  • 使用示例
    • 将数据库中数据写入Elasticsearch中
  • FAQ

# 组件说明

Elasticsearch Sink 连接器。用于将数据写入 Elasticsearch。

# 配置项说明

配置名称 数据类型 是否必填 默认值 描述
节点名称 String 是 Elasticsearch 当前创建的节点名称,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码 String 是 自动生成 当前创建的节点编码,以此标识此组件,由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源 String 是 - 从下拉选项中选择列出的当前项目已经关联的数据源。
索引名称 String 是 - Elasticsearch 索引名称,支持 * 模糊匹配。索引名称必须是小写的,不能用下划线开头,不能包含逗号,例如:seatunnel_${age}
索引类型 String 否 - 在Elasticsearch 6及以上版本中不建议指定。
主键 String 是 - 用于生成 document _id 的主键字段,这是 cdc 必需的选项。
分隔符 String 否 INITIAL 复合键的分隔符(默认为“_”),例如,以“$”为分隔符,document _id 的结果:“KEY1$KEY2$KEY3”。
最大重试次数 Int 否 - 请求的最大重试次数
最大批量处理文档数 Int 否 - 最大批量处理文档的大小。
表添加模式 String 否 表不存在时创建 对于目标表的情况,处理方式有三种:
- 重新创建表
- 表不存在时创建
- 表不存在时报告错误
- 忽略对表的处理
数据添加模式 String 否 追加数据 支持三种模式:
1、APPEND_DATA(追加数据):数据统一追加到目标表中;
2、DROP_DATA(同步前删除数据):先清空目标表数据,然后再给目标表添加数据;
3、ERROR_WHEN_DATA_EXISTS(当存在数据时,报告错误):当目标表存在相同数据时,报告错误,不会添加数据。
可选参数 Map 否 - 其他参数,用户可以根据需求进行配置。

# FAQ

← Doris HBase →