Lindorm数据源
DataWorks数据集成支持使用Lindorm Reader和Lindorm Writer插件读取和写入Lindorm双向通道的功能，本文为您介绍DataWorks的Lindorm数据读取与写入能力。使用限制 Lindorm不需要在DataWorks上配置数据源，可直接使用脚本模式配置任务，通过...
AnalyticDB for PostgreSQL数据源
},"name":"Reader","category":"reader"},{"parameter":{},"name":"Writer","category":"writer"}],"version":"2.0",/版本号"order":{"hops":[{"from":"Reader","to":"Writer"}]},"setting":{"errorLimit":{/错误记录数。record":""},...
HDFS数据源
使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认资源组到HDFS的网络链路比较复杂，建议您使用 独享数据集成资源组 完成数据同步任务。您需要确保您的独享数据集成资源组具备HDFS的 namenode 和 datanode 的网络访问能力...
Tablestore数据源
附录：Reader脚本Demo与参数说明 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍...
HybridDB for MySQL数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
HttpFile数据源
附录：HttpFile脚本Demo与参数说明 离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，...
AnalyticDB for MySQL 2.0数据源
accountType":"aliyun","project":"odps_test"},"mode":"ODPS"},"name":"Reader","category":"reader"},{"stepType":"stream","parameter":{},"name":"Writer","category":"writer"}],"version":"2.0","order":{"hops":[{"from":"Reader",...
通过DataX导入RDS数据
MySQL Reader MySQL Reader是DataX的一个插件，实现了从MySQL读取数据。TSDB Writer TSDB Writer是DataX的一个插件，实现了将数据点写入到Lindorm数据库时序引擎中。注意事项 确保与时序引擎的网络是连通的 因为TSDB Writer写入数据的方式...
导入数据
Polygon polygon=(Polygon)reader.read("POLYGON((20 10,30 0,40 10,30 20,20 10))");数据入库 HBase Ganos通过GeoTools API中的SimpleFeatureWriter写入数据，SimpleFeatureWriter支持事务，可以通过DataStore的getFeatureWriterAppend...
GLOBAL-001]-缺少必要的权限need reader datasou
问题描述 Dataphin管道任务报错“FAILED:VoldemortException:[VOLDEMORT-GLOBAL-001]-缺少必要的权限need reader datasource permission,userId:XXX,dsId:XXX。问题原因 数据源缺少对应的读写权限。解决方案 资产-权限-数据源权限，申请...
PyODPS读取分区表数据
with t.open_reader(partition='dt=20190715,region=beijing')as reader1:count=reader1.count print("第一种方式查询分区表数据：")for record in reader1:print record[0],record[1],record[2]#第二种方式如下。print("第二种方式查询...
AnalyticDB for MySQL 3.0数据源
},"name":"Reader","category":"reader"},{"stepType":"stream","parameter":{},"name":"Writer","category":"writer"}],"version":"2.0","order":{"hops":[{"from":"Reader","to":"Writer"}]},"setting":{"errorLimit":{"record":"0"/同步...
OTSStreamReader常见问题
OTSStreamReader运行时出现“The item of column must be map object”错误 问题现象 OTSStreamReader运行时出现“The item of column must be map object”错误，示例如下：[code:OTSStreamReaderError,messageOTS Stream Reader Error]-...
通过DataX导入Prometheus数据
Prometheus Reader Prometheus Reader 是 DataX 的一个插件，实现了从 Prometheus 读取数据。TSDB Writer TSDB Writer 是 DataX 的一个插件，实现了将数据点写入到Lindorm时序引擎中。Quick Start 步骤一：环境准备 Linux JDK（1.8 以上，...
创建时空对象
Polygon polygon=(Polygon)reader.read("POLYGON((20 10,30 0,40 10,30 20,20 10))");设置其他属性 可以通过SimpleFeature的UserData字段设置其他自定义信息，比如HBase Ganos内置了诸多Hints，使用自定义FeatureID（可节省存储空间）。...
Salesforce数据源
附录：Salesforce脚本Demo与参数说明 离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务...
创建时空对象
Polygon polygon=(Polygon)reader.read("POLYGON((20 10,30 0,40 10,30 20,20 10))");设置其他属性 可以通过SimpleFeature的UserData字段设置其他自定义信息，比如Lindorm Ganos内置了诸多Hints，包括：使用自定义FeatureID（可节省存储...
LogHub（SLS）数据源
字段类型 离线读（LogHub（SLS）Reader）离线写（LogHub（SLS）Writer）实时读 STRING 支持 支持 支持 其中：离线写LogHub（SLS）时 会将支持同步的各类型数据均转换成STRING类型后写入LogHub（SLS）。LogHub（SLS）Writer针对LogHub（SLS...
MongoDB数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } MongoDB Reader脚本参数 参数 描述 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。collectionName MonogoDB的集合名。...
使用paiio读写MaxCompute表数据
创建Reader并打开表 接口定义 reader=paiio.python_io.TableReader(table,selected_cols="",excluded_cols="",slice_id=0,slice_count=1):参数 参数 是否必选 类型 默认值 描述 table 是 STRING 无 需要打开的MaxCompute表名，格式为 odps:...
BigQuery数据源
no","table_name","table_status"]},"name":"Reader","category":"reader"} BigQuery Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须与添加的数据源名称保持一致。...
文件存储
使用示例 文件转文本 文本转文件 插入文件 删除文件 文件转文本/*文件转文本*@param file 文件*@return 文本*/public String file2String(File file){ InputStreamReader reader=null;StringWriter writer=new StringWriter();try {/使用...
PolarDB-X 2.0数据源
附录：PolarDB-X 2.0脚本Demo与参数说明 离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的Reader参数和Writer参数，脚本模式的统一要求请参见 通过脚本模式...
GenerateDISyncTaskConfigForCreating
mysql","datasource":"mysql_pub1","selectedTables":[{"dbName":"mysql_db","schema":[{"tableInfos":[{"table":"molin_di_test_in_pk_v4"}]}]}]}]},"name":"Reader","category":"reader"},{"stepType":"odps","parameter":{"datasource...
ClickHouse数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
DataHub数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
开发自定义组件示例
public的静态子类Job必须继承自Reader.Job*/public static class Job extends Reader.Job { private static final Logger logger=LoggerFactory.getLogger(Job.class);Configuration jobConfig;Override public void init(){ logger.info(...
OSS数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } OSS Reader脚本Demo：ORC或Parquet文件读取OSS 目前通过复用HDFS Reader的方式完成OSS读取ORC或Parquet格式的文件，在OSS Reader已有参数的基础上，增加了 Path、FileFormat 等...
Hudi数据源
查询性能分析 SelectDB使用Parquet Native Reader读取COW表的数据文件，使用Java SDK（通过JNI调用hudi-bundle）读取MOR表的数据文件。在Upsert场景下，MOR表中依然会有数据文件没有被更新，这部分文件可以通过Parquet Native Reader读取。...
开发自定义组件示例
public的静态子类Job必须继承自Reader.Job*/public static class Job extends Reader.Job { private static final Logger logger=LoggerFactory.getLogger(Job.class);Configuration jobConfig;Override public void init(){ logger.info(...
StarRocks数据源
Reader脚本Demo {"stepType":"starrocks","parameter":{"selectedDatabase":"didb1","datasource":"starrocks_datasource","column":["id","name"],"where":"id>100","table":"table1","splitPk":"id"},"name":"Reader","category":"reader...
MariaDB数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } MariaDB Reader脚本参数 脚本参数名 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须与添加的数据源名称保持一致。是 无 table ...
使用Tablestore（OTS）Reader同步全量数据时如何配置...
当使用Tablestore（OTS）Reader同步全量数据过程中出现同步速度较慢问题时的现象、原因和解决方案。现象 使用Tablestore（OTS）Reader同步全量数据过程中出现同步速度较慢问题。同步脚本的配置如下："reader":{"plugin":"ots","parameter":...
Python SDK示例：Table
from odps import ODPS t=o.get_table('dual')for record in t.head(3):#处理每个Record对象 使用 with 表达式的写法：with t.open_reader(partition='pt=test')as reader:count=reader.count for record in reader[5:10]:#可以执行多次，...
PyODPS查看一级分区
with o.execute_sql('select*from user_detail WHERE dt=\'20190715\'').open_reader()as reader4:print reader4.raw for record in reader4:print record["userid"],record["job"],record["education"]#使用ODPS的DataFrame获取一级分区。...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
在本地环境上使用PyODPS
result=o.execute_sql('SELECT*FROM pyodps_iris LIMIT 3')with result.open_reader()as reader:for record in reader:print(record)使用加速查询模式（MCQA）执行SQL命令。MCQA 是MaxCompute提供的查询加速功能，支持使用独立资源池对中小...
从OpenTSDB到TSDB的数据迁移
背景信息 下面将首先介绍DataX工具本身，以及本次迁移工作涉及到的两个插件（OpenTSDB Reader和TSDB Writer）。DataX相关使用介绍请参阅DataX的 README 文档。DataX DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括...
MySQL数据源
附录：MySQL脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置...
Hive数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
- 产品推荐
- 这些文档可能帮助您