表在压缩率31和55下的对比测试性能如何?部署建议是什么?

在磁盘空间较充足的情况下,建议部署55压缩方式。

测试结论:
1、查询、update、delete 等操作,31压缩比55压缩慢10%-30%;
2、加载:31压缩比55压缩慢2倍;
3、insert全表:31压缩比55压缩慢6倍。
测试过程:
(1)压缩方式:31压缩和55压缩;
(2)集群部署:4节点2分片86集群;
(3)测试内容:tpch查询、加载、insert、update、delete。

longblob加载流程

longblob类型数据加载时,当数据长度小于32k时,加载方法同其他类型,即:在在发送数据前,将实际数据存入DC,通过select into server 发送到接收端。当大于32k时,解析数据阶段将该条数据生成一个临时文件,将该文件的全路径名存入DC,发送时,先将临时文件通过select into server 发送到接收端,然后再发送DC。
接收端接收到数据后,如果是longblob类型,会重新根据接收到的实际数据和原始DC中存储的数据,重新生成新的DC。如果是值则直接写入新的DC,如果是文件则根据DC中存的文件名进行匹配,找到与DC内相对应的临时文件,然后将临时文件改名(命名规则:标识号+DC号+行号),然后写入新DC(此时存储的是新的路径名)。

集群加载支持kerberos认证,对kerberos客户端安装、版本要求及集群参数配置分别是什么?

1、kerberos客户端安装
以redhat6.2操作系统为例:
kerberos客户端只需安装krb5-libs、krb5-devel、krb5-workstation
其他操作系统kerberos客户端安装存在差异
2、kerberos版本要求
集群节点的krb5-libs版本需在1.10或以上版本,集群节点的Kerberos库版本太低时,集群加载不启用kerberos认证功能。
3、集群参数配置
1)以下三个参数,若在配置文件中添加,需在gcluster与gnode层配置文件都进行配置。
gbase_hdfs_auth_mode
gbase_hdfs_protocol
gbase_hdfs_principal
2)以上三个参数,若在session级配置,只需在gcluster层执行即可。