StarRocks Sink组件使用说明

• 组件说明
• 配置项说明
• 使用示例
  • StarRocks数据库同步
• FAQ

组件说明

StarRocks 连接器。用于将数据写入 StarRocks。

提示:

StarRocks Sink 在执行中不会自动创建表，需要用户提前创建目标表。

配置项说明

配置名称	数据类型	是否必填	默认值	描述
节点名称	String	是	StarRocks	当前创建的节点名称，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
节点编码	String	是	自动生成	当前创建的节点编码，以此标识此组件，由用户自定义且不可为空。命名可包含字母、数字、下划线。确保唯一性。
选择数据源	String	是	-	从下拉选项中选择列出的当前项目已经关联的数据源。
选择库	String	是	-	从下拉列表中选择数据库。
选择表	String	是	-	从下拉列表中选择数据表。
流加载标签前缀	String	否	-	StarRocks Stream Load (流加载)导入作业的标签的前缀。
批量提交最大缓存行数	String	否	1024	对于批处理写入，当缓冲区数达到 batch_max_rows 数或 batch_max_bytes 字节大小或时间达到 batch_interval_ms 时，数据将被刷新到StarRocks中。
批量提交最大缓存	Int	否	5	对于批处理写入，当缓冲区数达到 batch_max_rows 数或 batch_max_bytes 字节大小或时间达到 batch_interval_ms 时，数据将被刷新到 StarRocks 中。
最大重试次数	Int	否	0	失败的最大重试次数。
重试乘数	Int	否	0	用作产生下一个重试延迟的乘数，详细说明参考：http://beginners-java.blogspot.com/2015/03/customize-volley-default-retry-policy.html
重试等待时间	Int	否	0	尝试重试 StarRocks 请求之前等待的时间。
启用upsert语法支持	Boolean	否	否	是否启用 upsert/delete，只支持 PrimaryKey 模式。 false:
数据添加模式	String	否	APPEND_DATA	支持四种模式： 1、追加数据：数据统一追加到目标表中； 2、同步前删除数据：先清空目标表数据，然后再给目标表添加数据； 3、当存在数据时，报告错误：当目标表存在相同数据时，报告错误，不会添加数据。 4、自定义处理：用户可以自定义写SQL的方式进行处理。
可选参数	Map	否	-	可以根据需求进行配置。可选参数名称可以参考 Seatunnel 官方手册。 json 格式如： { "starrocks.config": "{ "format" :"JSON", "strip_outer_array": true }" }

FAQ