0

MySQL导出数据时提示文件损坏

葡京在线网投 1. 使用Navicat工具,优先将整个数据库的表和数据导出。 2. 如果遇到 文件损坏 错误可以在 表实例界面 选中所有表,然后将表转储为SQL文件(结构和数据)。 3. 在目标数据库执行导出的SQL文件,导入数据和结构。 4. 如果个别表因为各种原因(比如使用federated引擎建立了DB L ...

JaxYoun 发布于 2020-02-20 19:09 评论(0)阅读(2)
0

Flink知识散点

葡京在线网投 1、KeyBy 操作后,只有当 Key 的数量大于算子的并发实例数才能获得较好的计算性能。 A.而若Key 的数量比实例数量少,就会导致部分实例收不到数据,这些实例就得不到执行,这些实例的计算能力得不到充分发挥。 ~~B.当Key个数多余并行实例数时,由于同一个 Key 对应的所有数据都能发送到同一 ...

JaxYoun 发布于 2020-02-20 19:08 评论(0)阅读(3)
0

Flink中逻辑计划和物理计划的概念划分和对应关系

逻辑计划 1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。 2. operator往往代表一个函数。 3. 同一个分区内的具有连续上下游关系的函数组成operator chain,一个operator chain内的数据来流动过程中不会出现序列化和分区间 ...

JaxYoun 发布于 2020-02-20 19:06 评论(0)阅读(2)
0

SparkShuffle机制

在早期版本的Spark中,shuffle过程没有磁盘读写操作,是纯内存操作,后来发现效率较低,且极易引发OOME,较新版本的Shuffle操作都加入了磁盘读写进行了改进。 1、未经优化的HashShuffleManager:上一个stage中每一个task会对下一个stage的每一个task写一份数 ...

JaxYoun 发布于 2020-02-20 18:56 评论(0)阅读(1)
0

Spark组件间通信

1、Spark组件之间使用RPC机制进行通信。RPC的客户端在本地编写并调用业务接口,接口在本地通过RPC框架的动态代理机制生成一个对应的实现类,在这个实现类中完成soket通信、远程调用等功能的逻辑包装,而在RPC的服务端既编写业务接口也编写了具体的业务实现类,通过RPC框架以接口的方式暴露出来, ...

JaxYoun 发布于 2020-02-20 18:54 评论(0)阅读(1)
0

Spark内存管理

1、spark的一大特性就是基于内存计算,Driver只保存任务的宏观性的元数据,数据量较小,且在执行过程中基本不变,不做重点分析,而真正的计算任务Task分布在各个Executor中,其中的内存数据量大,且会随着计算的进行会发生实时变化,所以Executor的内存管理才分析的重点。 2、在执行Sp ...

JaxYoun 发布于 2020-02-20 18:52 评论(0)阅读(1)
0

Redis持久化机制

葡京在线网投 1、Redis数据持久化的必要性 由于redis是基于内存的数据库,面临数据掉电易失的风险,要避免数据丢失,最好将内存数据持久化到磁盘等永久存储介质上。服务重启时,会先加载磁盘文件内的数据到内存,完成数据恢复。 2、RDB(RedisDB) 对内存中的redis全量数据进行 时点快照 并序列化,以文 ...

JaxYoun 发布于 2020-02-20 18:51 评论(0)阅读(0)
0

Redis集群模式

1、常见的三种数据的集群存储模式 1. full mirror:全量镜像模式,单纯备份模式,各个节点数据相同,都包含了全量数据,仅主节点可写,保证了数据冗余和读的负载均衡。数据安全性高,横向扩展能力差,资源利用率不高。 2. pure sharding:数据分片,每个节点的数据不相同,所有节点中数据 ...

JaxYoun 发布于 2020-02-20 18:49 评论(0)阅读(4)
0

Ambari HDP 下 SPARK2 与 Phoenix 整合

葡京在线网投 1、环境说明 | 操作系统 | CentOS Linux release 7.4.1708 (Core) | | | : : | | Ambari | 2.6.x | | HDP | 2.6.3.0 | | Spark | 2.x | | Phoenix | 4.10.0 HBase 1.2 | 2 ...

跟着大数据和AI去旅行 发布于 2020-02-20 17:53 评论(0)阅读(1)
0

关于索引我能说的那些事儿

本文是自己对MySQL的 索引的理解,如有错误,还望不吝指出。 1 索引 索引这两个字着实有些太泛,而在我的理解中,其就是一个查字典的过程,比方说现在我们要从一本字典中查一个 字,那么我们可以从目录中的 字母找到这个 字,发现在 页,然后翻到 就可以看到关于 这个的解释、用法等。 可以看到我们不是从 ...

张小云的博客 发布于 2020-02-20 17:22 评论(2)阅读(66)
0

HDFS架构

HDFS架构(Master Slave) 几个进程的角色 1. nameNode(master):用于保存、管理、持久化文件的元数据(文件名、文件副本数、文件块大小、文件块列表),同时还要接收客户端的文件读写请求。 2. secondaryNameNode:用于实时同步文件元数据,给nameNode ...

JaxYoun 发布于 2020-02-20 15:50 评论(0)阅读(1)
0

Yarn架构

Yarn架构(Master Slave) 进程角色: resourceManager(Master):任务调度和集群资源管理。 nodeManager(Slave):单个节点的资源管理。 applicationMaster:为任务程序申请资源,任务程序运行状态监控、错误恢复。 container:对 ...

JaxYoun 发布于 2020-02-20 15:48 评论(0)阅读(4)
0

Zookeeper机制

顾名思义 zookeeper 就是动物园管理员,他是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员, Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper;Zookeeper: 是一个分布式的、开源的程序协调服务,是 hadoop ...

JaxYoun 发布于 2020-02-20 15:46 评论(0)阅读(2)
0

Zookeeper分布式协调即分布式锁机制

葡京在线网投 主要用到的Zookeeper机制: 临时+有序节点,节点watch机制 过程: 1. 发生分布式锁竞争时,参与竞争的各个客户端服务都到Zookeeper的同一父节点(代表着同一把锁)下建立自己的临时+有序子节点,创建成功后子节点名被zk返回给客户端,各客户端保存在本地。 2. 所有客户端服务都拉取父 ...

JaxYoun 发布于 2020-02-20 11:13 评论(0)阅读(3)
0

mysql 5.7.28 中GROUP BY报错问题 SELECT list is not in GROUP BY clause and contains no

葡京在线网投 mysql 5.7.28 中GROUP BY报错问题 SELECT list is not in GROUP BY clause and contains no 葡京在线网投: select @@global.sql_mode#将结果集中的 ONLY_FULL_GROUP_BY SQL 字段去除后,重新 ...

大大大技术 发布于 2020-02-19 22:30 评论(0)阅读(6)
0

mysql 的root 用户无法授权,navicat 远程授权提示1044葡京在线网投

先看葡京在线网投 # mysql root 用户无法赋权问题解决 1,登录 mysql -u root -p 2,use mysql; 选择mysql数据库 3,执行以下操作(查询用户的赋权权限,更改赋权权限 ,刷新生效) mysql> select user,host,grant_priv from ...

大大大技术 发布于 2020-02-19 21:33 评论(0)阅读(7)
0

PostgreSQL将日期转为当前年、月、日的函数date_trunc

葡京在线网投 PostgreSQL将日期转为年、月、日的函数date_trunc: 当前年: select date_trunc('year',now()) 当前月: select date_trunc('month',now()) 当前日: select date_trunc('day',now()) 当前时: ...

深入学习ing 发布于 2020-02-19 19:49 评论(0)阅读(3)
0

获取数据表最后最后访问,修改,更新,扫描时间

数据分析,需要获取数据每一张表的最后访问,修改,更新,扫描时间等: SELECT [Table Name] = [name],[Create Date] = create_date,[Modify Date] = modify_date,[Last User Update] = last_user_ ...

Insus.NET 发布于 2020-02-19 16:12 评论(0)阅读(18)
0

MySQL保存微信昵称中的特殊符号造成:(Incorrect string value: "xxxx'for column ‘name’ at row 1)异常

今天有业务员反应,编辑某个用户的信息的时候出现了异常,异常信息如下: Incorrect string value: "xFOx9Fx92x9D vxE6..'f or column 'name' at row 1 ...

杨小羊2333 发布于 2020-02-19 14:40 评论(0)阅读(9)
0

数据库多行转换为单一列

数据库存储与实际显示需求不一样时,我们得写SQL来实现数据呈现: 如: 先来看看数据表: CREATE TABLE [dbo].[Expenses] ( [Date] DATE, [Description] NVARCHAR(40), [Charge] DECIMAL(18,2) ) GO Sour ...

Insus.NET 发布于 2020-02-19 13:46 评论(0)阅读(21)