DataWorks新版数据源公告
若想使用创建的数据源进行数据开发，则数据源创建完成后还需进入数据开发（DataStudio）进行模块绑定。已绑定的计算引擎：已绑定的计算引擎迁移至 数据开发>数据源 管理。编辑计算引擎：不再支持直接编辑计算引擎，如需编辑可直接通过编辑...
通过日志服务导入至数仓版
数据库名称 选择您已创建的AnalyticDB MySQL集群中的数据库。表名 选择您已创建的AnalyticDB MySQL集群中的数据库表。账号名称 配置为您在AnalyticDB MySQL集群中创建的数据库账号名称。账号密码 配置为您在AnalyticDB MySQL集群中创建的...
通过DataV展示数据
在 设置数据源 面板中，选择 数据源类型 为 数据库，已有数据源 为第一步中创建的数据源。在 SQL 脚本编辑区域，输入以下SQL语句。SELECT count(*)/100 as value FROM target_table where dts_operation_flag='I' 单击 数据响应结果 右侧的...
特征管理
基于数据库中的数据来创建特征时使用该值。connected_subgraph：构建连通子图。基于已有特征来创建新特征时使用该值。且只能基于由graph创建的特征来创建连通子图。iv：用于对输入特征变量进行编码，同时评估特征变量的预测能力。取值范围...
总体流程
创建表：以创建与On Time数据集类型对应的表为例，介绍如何使用DMS在已创建的数据库中创建本地表和分布式表。导入数据：以导入On Time数据集至已创建的分布式表为例，介绍如何使用客户端clickhouse-client工具导入数据到 云数据库...
功能简介
数据字典管理：支持创建并维护逻辑表中使用的数据字典，方便用户在定义数据元或维度属性时进行数据字典引用，支持数据字典物理化、数据字典导入、导出，方便数据字典使用与跨项目复制。质量校验函数：支持质量检测函数自定义，方便用户在...
数据标准
数据字典管理：支持创建并维护逻辑表中使用的数据字典，方便用户在定义数据元或维度属性时进行数据字典引用，支持数据字典物理化、数据字典导入、导出，方便数据字典使用与跨项目复制。质量校验函数：支持质量检测函数自定义，方便用户在...
01创建数据字典并物理化
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
按指标关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
按应用关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，因此，展示的数据应与工作组下的云计算资源数量、信息完全一致。...
创建数据集
本文为您介绍可视分析创作间中数据集的创建过程。操作步骤 输入账户和密码，登录 可视分析创作间。在左侧导航栏，单击分析图标，进入 分析 页面。单击页面右上角的 创建数据集，进入 新建数据集 页面。说明 您也可以在 开始 页面，单击创建...
按线上API关联
数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取当前工作组下所有的云计算资源产生，所以此处展示的数据应与工作组下的云计算资源数量、信息完全一致...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
Flink_SQL任务开发方式
Dataphin数据源表开发方式 Dataphin数据源表开发方式是指您在开发Flink_SQL任务时，可以直接访问在Dataphin中所创建的数据源中的表进行任务开发。如果您希望使用此种方式，需要先在数据源上配置数据源编码。具体操作，请参见 数据源管理...
云盘备份数据导入至AnalyticDB MySQL版
如果您需要对RDS MySQL云盘数据进行查询分析，您可先使用高级下载功能将数据下载到阿里云OSS中，再将OSS中的数据导入到云原生数据仓库 AnalyticDB MySQL版 进行查询分析。前提条件 RDS MySQL为 云盘 实例，且支持高级备份下载功能。是否...
概述
在数据库A中创建到数据库B的DBLink后，通过DBLink，数据库A可以像访问自己的数据一样访问数据库B的数据。DBLink的访问是单向的，若数据库B也想访问数据库A的数据，则需要在数据库B中也创建到数据库A的DBLink。使用场景 当前 PolarDB ...
元数据管理
在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-元数据表页面。2.找到想要删除的元数据表，点击右侧的删除按钮，点击确认窗口中的...
SQL Console初体验
说明 数据库名称中如果包含-，创建出的数据库的文件夹的名字中的-会变成@002d。支持字符集 选择需要的字符集。备注说明 数据库相关的备注说明，支持输入2~256个字符。单击 创建。在DMS控制台创建数据库 在DMS控制台创建数据库时，请确保您...
免费体验PolarDB PostgreSQL一站式HTAP服务
本体验中所使用的数据集为标准测试集TPC-H 50G的数据集。为了体现一站式HTAP功能在复杂查询方面的加速效果，我们选取了TPC-H标准测试中的三条复杂查询SQL供您选择：Q2（最小代价供货商查询）：带有排序、聚集操作、子查询并存的多表查询...
免费体验PolarDB PostgreSQL一站式HTAP服务
本体验中所使用的数据集为标准测试集TPC-H 50G的数据集。为了体现一站式HTAP功能在复杂查询方面的加速效果，我们选取了TPC-H标准测试中的三条复杂查询SQL供您选择：Q2（最小代价供货商查询）：带有排序、聚集操作、子查询并存的多表查询...
PyODPS节点实现结巴中文分词
64,} libraries=['jieba-master.zip']#引用您的 jieba-master.zip 压缩包 src_df=o.get_table('jieba_test').to_df()#引用您的 jieba_test 表中的数据 result_df=src_df.chinese.map(test).persist('jieba_result',hints=hints,libraries=...
使用PyODPS节点进行结巴中文分词
64,} libraries=['jieba-master.zip']#引用您的 jieba-master.zip 压缩包 src_df=o.get_table('jieba_test').to_df()#引用您的 jieba_test 表中的数据 result_df=src_df.chinese.map(test).persist('jieba_result',hints=hints,libraries=...
基于MaxCompute实现拉链表
本案例中的，数据开发部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标工作空间，并自行完成任务运维等后续操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间管理员角色详情请参见 空间级模块...
逻辑订阅
本文简单介绍逻辑订阅的使用流程，示例的流程如下：源实例的数据库src创建发布，发布表public.t1，然后在目的实例的数据库dst创建订阅sub1_from_pub1，订阅源库表public.t1。更多详情请参见 逻辑订阅原理与最佳实践。注意事项 您可以在单个...
创建可视化应用
背景信息 示例中使用的数据源是本地API文件，因此您不需要在DataV中添加数据源，直接在可视化项目的组件中调用API即可。如果您使用的是其他数据源，在创建可视化应用之前，需要先 添加数据源。操作步骤 登录 DataV控制台。在 我的可视化 ...
创建逻辑模型：维度表
维度表创建后，您可以将维度的属性添加为维度表的字段，并对维度表进行关联和分区的设置，使用统一的数据标准来进行字段设置，保障全数据域中的维度数据的属性是一致的。维度表配置完成后：可物化至存储引擎，后续在计算引擎中使用维度表...
7.数据加载
组件能够使用的数据是从组件本身开始向外的数据容器所加载的数据，所以看不到实体3。事件参数 再让我们查看最里层 Data 组件内的按钮，事件配置的逻辑流如下：和逻辑流数据源的参数类似，这里因为最里层 Data 组件已经加载了，所以参数是...
通过大数据平台搭建设备监控大屏
如果需要对DataHub中的数据进行计算，再将计算结果写入数据库，请参见第3步，配置实时计算平台。数据库信息，在 云数据库RDS版控制台 中，对应数据库的 基本信息 页查看。数据库相关参数说明：参数 说明 Host 数据库的内网地址。Port 数据...
数据配置
该项设为：/div CSS选择器：比如要精确获取div标签下class为content的内容，<div class="content">网页内容</div>，该项设为：div.content 暂不支持以.png/.jpg/.jpeg结尾的URL 4、点击确认任务状态会变成等待中，链接导入完毕后任务状态会...
使用SQL管理外部项目
但external_project.testtbl中的数据不会被复制到from_exe_tbl表中。查询表 SELECT*from from_exe_tbl;查看表结构 desc from_exe_tbl；相关文档 如果您想给外部项目或其中的表进行授权，可参见 对于外部项目的用户以及权限操作。
快速使用TPC-DS测试数据集
点击后，会自动执行一系列初始化SQL：在您的元数据中创建名为sampledata_tpcds_3g的库，并在库中创建24个TPC-DS的数据表。无需点击运行，在下方运行历史列表中，可以看到初始化语句的执行情况，刷新列表等待全部执行完成。执行完成后，就...
代码模式建模
FML语言将SQL中的关键字作为保留字，如果您的数据表或数据表的列使用了关键字命名，则需要使用 `` 符号进行转义，否则创建表会产生报错。进入目标表的FML编辑页面 在 维度建模 页面，双击目录树下对应的表名称。在 表详情 页单击 代码模式...
Delta Lake 快速开始一
步骤二：创建Notebook、导入数据、进行数据分析 定义Notebook中使用的路径path%pyspark#注意需要将数据文件events.json上传至您的OSS对应bucket下，events.json数据来源Databricks站点的open/close数据 inputPath="oss:/databricks-...
Flink_SQL任务开发方式
Dataphin数据源表开发方式 Dataphin数据源表开发方式是指您在开发Flink_SQL任务时，可以直接访问在Dataphin中所创建的数据源中的表进行任务开发。如果您希望使用此种方式，需要先在数据源上配置数据源编码。具体操作，请参见 数据源管理...
查询备份数据
临时实例创建成功后，您可在SQL窗口中对该备份时间点的数据进行查询。说明 SQL窗口出现绿框，表示该备份时间点的临时实例已创建成功，左侧备份时间点下会展开历史表结构。若您在SQL窗口未查询的时间超过60分钟，临时实例则默认本次查询结束...
配置数据识别规则
帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的全部敏感字段分布情况，数据识别规则的使用逻辑如下图所示。说明 对CDH引擎中...
入门概述
Web 版 OceanBase 开发者中心（OceanBase Developer Center，ODC）在提供工具能力的同时还提供了管控、协同...7 新建数据库变更 对数据库中的数据进行变更。 完成上述步骤后，即可开始通过 Web 版 ODC 开发和管理您的 OceanBase 数据库。
Kafka单表实时入湖OSS（HUDI）
在弹出对话框中指定好 开始时间 和 采样条数 后，单击 开始采集 按钮，可以对指定的Kafka Topic进行数据采样，同时您可以预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。编辑数据处理节点。单击 图标可以增加数据...
MongoDB数据导入
本文介绍如何通过 AnalyticDB MySQL 湖仓版（3.0）外表查询MongoDB数据，以及如何将MongoDB中的数据导入至 AnalyticDB MySQL 湖仓版（3.0）。前提条件 已在MongoDB实例所在的同一VPC中创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，...
创建元数据
使用限制 HBase、Elasticsearch或MongoDB数据源中的一个数据表只能创建一个元数据。仅支持开发用户、服务项目管理员角色的用户创建元数据。元数据入口 在Dataphin首页，单击顶部菜单栏 服务。按照下图操作指引，进入 新建元数据 页面。创建...
- 产品推荐
- 这些文档可能帮助您