高级应用：扩展程序参数配置
开发扩展程序代码时，DataWorks为您提供了内置参数，同时也支持您自定义参数，以提高扩展程序代码开发效率和效果，...对节点任务10（即ODPS SQL节点任务）和其他节点任务（如离线同步DI节点任务）不生效，这类任务不会触发扩展点的扩展程序。
逻辑表DQL操作
以查询某一笔订单（订单ID=123）的客户姓名以及收货城市为例，可以使用以下语句：select crt_sale_order_id,ord.dim_customer.user_name,ord.dim_address.dim_city.region_lvl3_name as city_name from ld_test.fct_crt_sale_order_di ord ...
逻辑表DQL操作
以查询某一笔订单（订单ID=123）的客户姓名以及收货城市为例，可以使用以下语句：select crt_sale_order_id,ord.dim_customer.user_name,ord.dim_address.dim_city.region_lvl3_name as city_name from ld_test.fct_crt_sale_order_di ord ...
Quick BI中SQL自定义数据集预览报错“RST_STREAM ...
问题原因 对应的代码中是将ds设置为SQL参数，如下：FROM dwd_log_xcx_http_req_di WHERE${to_date(ds,'yyyymmdd'):ds} 查看对应的报错日志显示存在全表扫描：Table(xp_dragon,dwd_log_xcx_http_req_di)is full scan with all partitions,...
通过云计算资源导入逻辑表
例如：^ods_base_yhkh_di$，则只导入名称为ods_base_yhkh_di的逻辑表。单击 确定。导入成功以后，可以在您选择导入的所属目录（基础层模型-ODS）右侧的模型列表页面，查看您已经导入的逻辑表。相关操作 操作 说明 编辑逻辑表 在逻辑表列表...
通过云计算资源导入逻辑表
例如：^ods_base_yhkh_di$，则只导入名称为ods_base_yhkh_di的逻辑表。单击 确定。导入成功以后，可以在您选择导入的所属目录（基础层模型-ODS）右侧的模型列表页面，查看您已经导入的逻辑表。相关操作 操作 说明 编辑逻辑表 在逻辑表列表...
ListGroupAuthorizationRules-查询实例组的授权规则
iotccg-g00epppbi9di9y*AuthorizationRuleIds array 否 授权规则 ID。最多支持 20 个授权规则 ID。string 否 授权规则 ID。最多支持 20 个授权规则 ID。gar-ez91t41jvi6tr8*DestinationType array 否 访问目标类型。最多支持 20 个目标类型...
ListGroupAuthorizationRules-查询实例组的授权规则
iotccg-g00epppbi9di9y*AuthorizationRuleIds array 否 授权规则ID。最多支持20个授权规则ID。string 否 授权规则ID。最多支持20个授权规则ID。gar-ez91t41jvi6tr8*DestinationType array 否 访问目标类型。最多支持20个目标类型。取值：...
ListGroupDNSServiceRules-查询实例组的DNS授权规则
iotccg-g00epppbi9di9y*DNSServiceRuleIds array 否 DNS 授权规则 ID。string 否 DNS 授权规则 ID。最多支持输入 20 个规则 ID。gar-ffnn1ewe2nmf3y*ServiceType string 否 DNS 授权规则的目标类型。取值：Normal：表示目标类型为 DNS 普通...
ListGroupDNSServiceRules-查询实例组的DNS授权规则
iotccg-g00epppbi9di9y*DNSServiceRuleIds array 否 DNS授权规则ID。string 否 DNS授权规则ID。最多支持输入20个规则ID。gar-ffnn1ewe2nmf3y*ServiceType string 否 DNS授权规则的目标类型。取值：Normal：表示目标类型为DNS普通类型。...
ListIoTCloudConnectors-查询云连接器实例信息
test","IoTCloudConnectorDescription":"test","WildcardDomainEnabled":false,"CreateTime":0,"ModifyTime":0,"IoTCloudConnectorGroupId":"iotccg-g00epppbi9di9y*","Mode":"PassThrough","IpFeature":"192.168.0.1","Type":"Standard",...
开启网关日志投递
DI：请求处理被延迟一段时间，该延迟时间由故障注入指定。FI：请求被故障注入指定的响应码中止。RL：请求在本地被HTTP速率限制过滤器限制，除了429响应码之外。UAEX：请求被外部授权服务拒绝。RLSE：请求被拒绝，因为速率限制服务出现错误...
API
说明 zzhm默认参数为CKR-1000，调试成功后返回内容中显示“dws_ren_kh_di（银行客户信息表）”证件号码为CKR-1000的银行客户相关信息数据。API调用。打开“Postman”工具，选择 Collections＞+New Collections。设置Name为“培训用例”，...
DeleteNamespace-删除项目空间
di-593439443804417 返回参数 名称 类型 描述 示例值 object RequestId string 请求 ID。67F33190-946B-1105-B6A1-E2DF0426DD51 Success boolean 是否成功。是否成功 示例 正常返回示例 JSON 格式 {"RequestId":"67F33190-946B-1105-B6A1-E...
维度建模
明细数据层DWD dwd_业务大类英文缩写_数据域英文缩写_业务过程英文缩写_自定义_存储策略缩写 e.g：dwd_ec_trd_create_ord_di 交易下单明细事实表。明细表_电商业务_交易域_下单业务过程_xxxx_每日增量。汇总数据层DWS dws_业务大类英文缩写...
步骤八：验证数据
本文为您介绍如何通过即席查询来...SELECT*FROM LD_dataphin_tutorial.fct_order_buy_di WHERE ds IS NOT NULL;编写以下命令后，单击页面上方的 运行，验证 汇总逻辑表 数据。SELECT*FROM LD_dataphin_tutorial.dws_all WHERE ds IS NOT NULL;
步骤八：验证数据
本文为您介绍如何通过即席查询来...SELECT*FROM LD_dataphin_tutorial.fct_order_buy_di WHERE ds IS NOT NULL;编写以下命令后，单击页面上方的 运行，验证 汇总逻辑表 数据。SELECT*FROM LD_dataphin_tutorial.dws_all WHERE ds IS NOT NULL;
创建云网关产品（JT/T 808）
{"manufacturer":"mf0001","deviceModel":"dm0001","deviceId":"di0001","licensePlateColour":"1","licensePlateNumber":"浙A*","phone":"1*","protocol":"jt808","action":"register"} deviceModel String 设备型号。支持英文字母、数字...
调用API获取设备状态
if("ONLINE".equals(di.getStatus())){ System.out.println("BatchQueryDeviceDetail 检测："+di.getDeviceName()+"设备在线");} else {/其他状态归结为设备不在线，也可以根据业务情况自行区分处理 System.out.println(...
CreateNamespace-创建项目空间
di-593440390152545 ResourceSpec object 否 资源规格。Cpu integer 否 CPU 数量。30 MemoryGB integer 否 内存大小。单位为 GB。说明 内存数量必须为 CPU 数量的 4 倍。120 返回参数 名称 类型 描述 示例值 object RequestId string 请求 ...
数据同步
在 目标源配置 区域，目标端 选择 ADB for Postgre>adbpg_dev，数据对象 选择 public.stg_base_yhkh_demo_di，其它配置保持默认。单击 下一步。在 字段映射 页面，选择 同名映射，单击 下一步。在 配置任务调度 页面，任务调度类型 选择 ...
节点画布概览
单击 图标，打开自动推荐表和字段功能，在节点画布编辑区写代码时，系统会自动推荐表，通过输入“表名.”，例如”dws_sj_xykxfhz_mzf_di.“会提示表字段。单击 图标，将比较不同版本的差异。图标，用于多人协同编辑，即当A用户编辑完某节点...
转换自定义DAG为Pipeline
{"name":"insert_rec_tem_user_table_test_preprocess_all_feature_holo","type":"DI","dependencies":["rec_tem_user_table_test_preprocess_all_feature"],"dataxjson":"test/feature/1.json","comment":"DATAX,for more detail please ...
节点画布概览
单击 图标，打开自动推荐表和字段功能，在节点画布编辑区写代码时，系统会自动推荐表，通过输入“表名.”，例如”dws_sj_xykxfhz_mzf_di.“会提示表字段。单击 图标，将比较不同版本的差异。图标，用于多人协同编辑，即当A用户编辑完某节点...
合并小文件
使用案例 tbcdm.dwd_tb_log_pv_di 是数据稳定性体系识别出来的需要合并小文件的物理表，通过元数据 tbcdm.dws_rmd_merge_task_1d 提供的信息，如下图所示，可以看出此表相关分区的文件个数大部分都在1000以上，多的甚至达到7000以上，但...
查看会话日志
di 数据库ID。cp 连接端IP。ct 连接端端口。cc 连接端MAC地址。dp 数据库IP。dt 数据库端口。dc 数据库MAC地址。tm 会话动作时间。at 会话动作。取值：1：失败 0：登录 1：退出 rc 数据库应答码。rt 数据库应答信息。um 数据库用户名。tl ...
元数据仓库共享模型（Hadoop）
alert_event_di 告警事件表 fct_dataphin_monitor_alert_notification_di 警推送记录表 逻辑运维 dim_dataphin_model_node 逻辑表调度节点 fct_dataphin_model_node_task_di 逻辑表调度实例 OS fct_dataphin_os_task_table_inputoutput_di ...
MySQL为源的迁移或同步任务请求参数示例
ctr,dtr,ci,di,tt\"},\"zwytest\":{\"name\":\"zwytest\",\"all\":false,\"filter\":\"id>0\",\"dml_op\":\"i,u\",\"ddl_op\":\"ct,at,dt,rt,cv,av,dv,cf,df,cp,ap,dp,ctr,dtr,ci,di\",\"column\":{\"id\":{\"key\":\"PRI\",\"name\":\"id\...
元数据仓库共享模型（MaxCompute）
alert_event_di 告警事件表 fct_dataphin_monitor_alert_notification_di 警推送记录表 逻辑运维 dim_dataphin_model_node 逻辑表调度节点 fct_dataphin_model_node_task_di 逻辑表调度实例 OS fct_dataphin_os_task_table_inputoutput_di ...
步骤七：运维补数据
背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总表的补数据操作相同，下文以客户表集成和 dim_products 逻辑表补数据为例。集成任务...
DescribePlaybook-获取剧本配置
用于获取剧本的xml配置信息。...DI"xmlns:dc=...
步骤七：运维补数据
背景信息 您需要为产品表、客户表、订单表集成任务和明细及汇总表 dim_customer、dim_products、fct_order_buy_di、dws_all 补数据。集成任务和明细及汇总表的补数据操作相同，下文以客户表集成和 dim_products 逻辑表补数据为例。集成任务...
03新建质量评估计划
在 新建质量计划 页面，填写计划基本信息页面：计划名称为“ods_qcheck”、计划code为“dataq_hzh”、云计算资源类型“MaxCompute”、云计算资源“dataq_odps_dev”、选择逻辑表“ods_base_yhkh_demo_di”、执行周期“时”、生效日期、具体...
Dataphin管道任务从MongoDB抽取数据报错“Reader ...
问题描述 本文主要描述了Dataphin管道...2022-10-20 02:22:23.538[DlinkTrans-MongoDB_1]ERROR DlinkLogbackListener-MongoDB_1-org.pentaho.di.core.exception.KettleException:Input.Error.NormalException Reader adaptor run error at ...
ST_MetaData
st_metadata-{"add_offset":"4.907141431495487","long_name":"Significant height of combined wind waves and swell","missing_value":"-32767","NETCDF_DI.M_time":"1043112","NETCDF_VARNAME":"swh","scale_factor":"0....
ModifyPrepayNamespaceSpec-修改项目空间资源
di-593440219799842 ResourceSpec object 是 项目空间资源详情 Cpu integer 是 CPU 数量。1 MemoryGB integer 是 内存大小。单位：GB。说明 内存大小必须为 CPU 数量大小的 4 倍。4 返回参数 名称 类型 描述 示例值 object RequestId ...
数据开发
在 开发节点 页签的列表中，单击目标开发节点ods_base_xykbkjl_demo_di 操作 列的 编辑。在画布页面，单击工具栏中的 图标，上线节点，单击 确定。在 物理化预分析 页面，单击 确定。待上线成功后，开发环境节点将会上线到生产环境节点。...
ST_MetaData
st_metadata-{"add_offset":"4.907141431495487","long_name":"Significant height of combined wind waves and swell","missing_value":"-32767","NETCDF_DI.M_time":"1043112","NETCDF_VARNAME":"swh","scale_factor":"0....
ST_MetaData
st_metadata-{"add_offset":"4.907141431495487","long_name":"Significant height of combined wind waves and swell","missing_value":"-32767","NETCDF_DI.M_time":"1043112","NETCDF_VARNAME":"swh","scale_factor":"0....
步骤二：开发事实逻辑表
本文为您介绍如何基于本教程完成 下单购买事实逻辑表（fct_order_buy_di）开发。步骤一：新建事实逻辑表 在Dataphin首页，单击顶部菜单栏的 开发。按照下图操作指引，进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面，配置相关参数。...
- 产品推荐
- 这些文档可能帮助您