资产安全概述

通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助客户建立完善的数据安全体系,确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务,详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...

资产安全概述

通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助客户建立完善的数据安全体系,确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...

常见问题

1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好:如果您准备购买阿里云大数据专家服务,但是遇到如服务范围、规格、服务选择等售前方面的问题,您可以通过钉钉与我们联系,您将“当面”获得阿里云大数据专家咨询专家的建议。...

创建数据脱敏场景

方式改变数据引擎存储层的数据。使用MaxCompute动态脱敏功能的最佳实践,详情请参见 实践示例:MaxCompute底层脱敏使用方法。Hologres引擎层脱敏 场景数量:仅支持配置一个。场景操作:仅支持编辑默认的二级场景信息,不支持新增二级...

什么是EMR on ACK

阿里云E-MapReduce(简称EMR)on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注...

东软案例

在互联网服务场景下,运维监控数据量激增,采集监控的数据类型更加多样(时序指标、日志、代码链路等),现有运维系统采用的单模引擎(如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库)应对这些实时、高并发采集,且价值密度...

Insert Into

不建议使用 Insert Into Values 方式进行数据导入,尤其是大数据的线上生产环境。如果必须这样使用,请将多行数据合并到一个Insert Into语句中进行批量提交,单个批次建议1000~1000000条数据。部分列更新。Insert Into的默认行为是整行写入...

迁移时变更压缩和编码方式

如果需要在数据迁移时改变数据的压缩方式或编码方式,您可以参考本文提供的操作方法,在创建迁移任务时添加相关参数对迁移配置进行调整。前提条件 检查源集群、目标集群、LTS的网络连通性。已添加源实例、目标实例的数据源。如何添加,请...

功能概述

功能介绍 传统的压测方案部分基于现有的压测工具(如sysbench、TPCC等),给定场景,改变数据写入和读取速度,观测压力变化对被测对象性能的影响;使用自动化方式替代需要手工重复的部分,例如自动化数据生成、自动测试、自动分析报告...

EMR Kafka磁盘写满运维

kafka-topics.sh-bootstrap-server core-1-1:9092-topic test-topic-describe 数据清理方式恢复 方案描述 数据清理是指当磁盘被写满时,将业务日志数据(非Kafka内部Topic数据)按照从旧到新的方式删除,直到释放出足够的空间。适用场景 写...

基于Delta lake的一站式数据湖构建与分析实战

数据湖作为一个集中化的数据存储仓库,支持的数据类型具有多样性,包括结构化、半结构化以及非结构化的数据数据来源上包含数据数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...

配置并管理实时同步任务

完成数据源、网络、资源的准备配置后,您可创建实时同步节点,同步数据至Hologres。本文为您介绍如何创建数据实时同步任务,并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前,配置好您需要...

MongoDB 4.4

第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...

MongoDB 5.0

第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...

事务管理

比如对于Clustering操作和Insert into并发执行,即使事务Start和Commit时间出现交叉也不会冲突失败,因为Clustering操作虽然改变数据组织方式,但没有改变数据本身的状态,和其他数据更新操作并没有影响一致性的冲突,因此允许并发执行。...

MongoDB 5.0新特性概览

您可以在业务运行(数据不断增长)的情况下,按需改变集合的分片键(Shard key),而不需要数据库停机或在数据集合中进行复杂的迁移。您只需要在MongoDB Shell中运行 reshardCollection 命令,选择您需要重新分片的数据库和集合,指定新的...

Delta Lake概述

数据演化:数据的Schema并非固定不变,Delta支持通过API 方式改变数据的Schema。实时机器学习:在机器学习场景中,通常需要花费大量的时间用于处理数据,例如数据清洗、转换、提取特征等等。同时,您还需要对历史和实时数据分别处理。而...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时,支持对开发、测试、生产等环境进行隔离,当您联合使用了其他阿里云产品时,也可根据环境隔离诉求进行对应业务的环境设置与隔离,本文以DataWorks联合EMR、OSS等产品为例,为您介绍如何实现开发生产等多套...

导入概述

导入方式 为适配不同的数据导入需求,StarRocks系统提供了5种不同的导入方式,以支持不同的数据源(例如HDFS、Kafka和本地文件等),或者按不同的方式导入数据,StarRocks目前导入数据方式分为同步导入和异步导入两种。所有导入方式都...

批量或异步插入数据

异步插入数据数据库ClickHouse适合批次的数据写入方式,这样可以节省计算周期和磁盘I/O,节省成本。在client端常用的写入方式为批量写入,如果想在ClickHouse Server侧支持批量写入,可以使用异步插入模式。启动异步写入方式需要启用 ...

Dataphin新手引导

新手引导帮助您了解Dataphin的基础操作步骤,包括...为了让您快速熟悉,采用补数据方式,模拟生产环境调度任务生成实例。详情请参见 通用补数据实例。查看运行结果 查看基于生产环境数据的任务运行结果是否符合预期。详情请参见 运行记录。

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

导入概述

导入方式 为适配不同的数据导入需求,StarRocks系统提供了以下导入方式,以支持不同的数据源(例如HDFS、Kafka和本地文件等),或者按不同的方式导入数据,StarRocks目前导入数据方式分为同步导入和异步导入两种。所有导入方式都支持CSV...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的...

选择付费方式

本文为您介绍如何根据实际情况选择付费方式以降低使用成本。MaxCompute的计费策略 MaxCompute提供了两个商品的三种计费方式:包年包月:计算资源是包月或者包年的,存储和下载资源是按实际使用量计费。按量计费:存储、计算和下载资源都是...

DataStudio侧实时同步任务配置

完成数据源、网络、资源的准备配置后,您可创建实时同步节点,将多种输入及输出数据源搭配组成同步链路,进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务,并在创建完成后查看任务运行情况。前提...

数据改变的可见性

因为这些规则决定了这些 SQL 命令是否将能看见引发触发器的数据改变。简单地:语句级触发器遵循简单的可见性规则:一个语句所作的改变对于语句级 BEFORE 触发器都不可见,而所有修改对于语句级 AFTER 触发器都是可见的。导致触发器被引发的...

应用场景

设备通过工业接口协议将自身状态数据生产业务数据接入工业设备网关,然后通过 MQTT 协议发送到物联网平台,继而传输到云上的消息服务系统并经过流计算系统处理后写入 TSDB,完成时序数据的存储和分析。系统运维和业务实时监控 通过对...

技术发展趋势

生产处理实时化 从数据的3V特性(体积,速度和变化)来看,大数据强调数据量,PB级以上,是静态数据;而Fast Data在数据量的基础上,意味着速度和变化,客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示,随着...

创建Sap Table数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 HOST SAP实例所在的服务器的...

创建Sap Table数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 HOST SAP实例所在的服务器的...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

新建TDengine数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。配置 集群配置 区域的参数。参数 描述 ...

同步节点

同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息,关键参数说明如下:参数 说明 节点名称 节点的名称,支持用户自定义。节点标识 节点的唯一标识,支持用户自定义,同一个...

同步节点

同步节点即数据传输节点。本文介绍同步节点的各属性配置参数说明。节点属性 节点属性用于设置同步节点的基本信息,关键参数说明如下:参数 说明 节点名称 节点的名称,支持用户自定义。节点标识 节点的唯一标识,支持用户自定义,同一个...

创建Hologres数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 Endpoint Hologres实例的...

创建Salesforce数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 实例URL 访问Salesforce实例的...

创建Salesforce数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 实例URL 访问Salesforce实例的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 数据传输服务 云数据库 RDS 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用