Doris Sink组件使用说明

• 组件说明
• 配置项说明
• 使用示例
  • Doris到Doris数据库同步
• FAQ

组件说明

Doris 连接器。用于将数据写入 Doris。

提示:

Doris Sink 在执行中不会自动创建表，需要用户提前创建目标表。

配置项说明

配置名称	数据类型	是否必填	默认值	描述
节点名称	String	是	Doris	当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码	String	是	自动生成	当前创建的节点编码，以此标识此组件，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源	String	是	-	从下拉选项中选择列出的当前项目已经关联的数据源。
选择库	String	是	-	从下拉列表中选择数据库。
选择表	String	是	-	从下拉列表中选择数据表。
标签前缀	String	是	-	StreamLoad提交时的唯一标识，如果不填写系统会自动生成一个UUID。
启用两阶段提交	Boolean	是	false	用于确保分布式事务的原子性。它被用来确保在分布式环境中，所有参与的节点要么都成功提交事务，要么都回滚，避免部分提交的情况发生。
是否启用删除	Boolean	是	false	删除所有与导入数据 key 列值相同的行。该选项需要 Doris 表开启批量删除功能 (默认开启 0.15+ 版本)，且只支持 Unique 表模型。
最大缓存记录	Integer	是	30000	在尝试重试StarRocks请求之前等待的时间。
最大缓存大小	Integer	是	false	每次操作前，先把目标表清空。
写入格式	String	是		写入数据的格式。
数据格式	String	是		批量提交或则单一提交。
写入超时时间	Integer	是		发送数据写入的请求后等待返回的超时时间。
提交记录数量	Integer	是	1	每次提交数据的数量。
可选参数	Map	否	-	可以根据需求进行配置。可选参数名称可以参考 Seatunnel 官方手册。 json 格式如： { "doris.config": "{ "format" :"JSON", "read_json_by_line": true }" }

FAQ