go学习笔记——gin框架

参数名	含义	值
cleanup.policy	日志清除的策略，默认为 delete。如果要使用日志压缩，就需要让策略包含 compact。需要注意的是，如果开启了 compact 策略，则客户端提交的消息的 key 不允许为 null，否则提交报错	compact
compression.type	指定给定主题的最终压缩类型。此配置接受标准压缩编解码器(“gzip”、“snappy”、“lz4”、“zstd”)。设置为’producer’这意味着保留生产者设置的原始压缩编解码。“gzip”：压缩效率高，适合高内存、CPU；“snappy”：适合带宽敏感性，压缩力度大	producer
delete.retention.ms	保留删除消息压缩topic的删除标记的时间。此设置还给出消费者如果从offset 0开始读取并确保获得最终阶段的有效快照的时间范围（否则，在完成扫描之前可能已经回收了）。	86400000 (24 hours)
file.delete.delay.ms	从文件系统中删除文件之前等待的时间	60000
flush.messages	此设置允许指定我们强制fsync写入日志的数据的间隔。例如，如果这被设置为1，我们将在每个消息之后fsync; 如果是5，我们将在每五个消息之后fsync。一般，我们建议不要设置它，使用复制特性来保持持久性，并允许操作系统的后台刷新功能更高效。可以在每个topic的基础上覆盖此设置（请参阅每个主题的配置部分）。	10000
flush.ms	此设置允许我们强制fsync写入日志的数据的时间间隔。例如，如果这设置为1000，那么在1000ms过去之后，我们将fsync。一般，我们建议不要设置它，并使用复制来保持持久性，并允许操作系统的后台刷新功能，因为它更有效率	1000
follower.replication.throttled.replicas	follower复制限流列表。该列表应以[PartitionId]的形式描述一组副本：[BrokerId]，[PartitionId]：[BrokerId]：…或者通配符’*’可用于限制此topic的所有副本。
index.interval.bytes	此设置控制Kafka向其offset索引添加索引条目的频率。默认设置确保我们大致每4096个字节索引消息。更多的索引允许读取更接近日志中的确切位置，但使索引更大。你不需要改变这个值。	4096
leader.replication.throttled.replicas	在leader方面进行限制的副本列表。该列表设置以[PartitionId]的形式描述限制副本：[PartitionId]:[BrokerId],[PartitionId]:[BrokerId]:…或使用通配符‘*’限制该topic的所有副本。
max.message.bytes	kafka允许的最大的消息批次大小。如果增加此值，并且消费者的版本比0.10.2老，那么消费者的提取的大小也必须增加，以便他们可以获取大的消息批次。在最新的消息格式版本中，消息总是分组批量来提高效率。在之前的消息格式版本中，未压缩的记录不会分组批量，并且此限制仅适用于该情况下的单个消息。	10485760
message.format.version	指定消息附加到日志的消息格式版本。该值应该是一个有效的ApiVersion。例如：0.8.2, 0.9.0.0, 0.10.0，更多细节检查ApiVersion。通过设置特定的消息格式版本，并且磁盘上的所有现有消息都小于或等于指定版本。不正确地设置此值将导致消费者使用旧版本，因为他们将接收到“不认识”的格式的消息。	0.11.0-IV2
message.timestamp.difference.max.ms		9223372036854775807
message.timestamp.type		CreateTime
min.cleanable.dirty.ratio	此配置控制日志压缩程序将尝试清除日志的频率(假设启用了日志压缩)。默认情况下，我们将避免清理超过50％日志被压缩的日志。该比率限制日志中浪费的最大空间重复(在最多50％的日志中可以是重复的50％)。更高的比率意味着更少，更有效的清洁，但意味着日志中的浪费更多。	0.5
min.compaction.lag.ms	消息在日志中保持不压缩的最短时间。仅适用于正在压缩的日志。	0
min.insync.replicas	当生产者设置应答为”all”(或“-1”)时，此配置指定了成功写入的副本应答的最小数。如果没满足此最小数，则生产者将引发异常(NotEnoughReplicas或NotEnoughReplicasAfterAppend)。当min.insync.replicas和acks强制更大的耐用性时。典型的情况是创建一个副本为3的topic，将min.insync.replicas设置为2，并设置acks为“all”。如果多数副本没有收到写入，这将确保生产者引发异常。	1
preallocate	如果我们在创建新的日志段时在磁盘上预分配该文件，那么设为True。	false
retention.bytes	如果我们使用“删除”保留策略，则此配置将控制日志可以增长的最大大小，之后我们将丢弃旧的日志段以释放空间。默认情况下，没有设置大小限制则仅限于时间限制。	-1
retention.ms	如果我们使用“删除”保留策略，则此配置控制我们将保留日志的最长时间，然后我们将丢弃旧的日志段以释放空间。这代表SLA消费者必须读取数据的时间长度。	604800000
segment.bytes	此配置控制日志的段文件大小。一次保留和清理一个文件，因此较大的段大小意味着较少的文件，但对保留率的粒度控制较少。	104857600
segment.index.bytes	此配置控制offset映射到文件位置的索引的大小。我们预先分配此索引文件，并在日志滚动后收缩它。通常不需要更改此设置。	10485760
segment.jitter.ms	从计划的段滚动时间减去最大随机抖动，以避免异常的段滚动	0
segment.ms	此配置控制Kafka强制日志滚动的时间段，以确保保留可以删除或压缩旧数据，即使段文件未满	604800000
unclean.leader.election.enable	是否将不在ISR中的副本作为最后的手段选举为leader，即使这样做可能会导致数据丢失	false

问题集合：apache kafka技术分享系列(目录索引)　　

HBase学习笔记——客户端API

2022-01-13

tonglin0325

介绍HBase的Java API，参考：HBase读写的几种方式（一）java篇和 Hbase–put、BufferedMutator、get

1.写HBase

1.单行put

HTable非线程安全，切较为低效

2.客户端的写缓冲区和List

一个put操作都是一个RPC操作，只适合小数据量的操作，HBase的API配置了客户端的写缓冲区，缓冲区负责收集put宝座，然后调用RPC操作一次性将put送往服务器。

默认情况下，客户端缓冲区是禁用的，可以通过将自动刷写（****autoflush=false）来激活缓冲区，如果（****autoflush=true），用户每次调用put方法是都会触发刷写。当激活缓冲区后，单行put不会产生RPC调用，因为存储的Put实例保存在客户端进程的内存中。只有flushCommits方法调用后才会将所有的修改传送到远程服务器。

默认的写缓冲区大小为2MB（2097152字节），可以在客户端中配置，也可以在habse-site.xml中的hbase.client.write.buffer 配置一个较大的预设值，比如20MB

全文 >>