美国薪资最高技术Golang、Kafka、DynamoDB、Redshift、Cassandra

今天,我们深入研究《2019年Dice技术薪资报告》,了解哪些技术的薪资最高、开发人员当中的工作满意度及更多方面。深入了解技术薪资报告总是饶有趣味,了解哪种编程技能可以让你获得高薪工作!

Golang:将日志以Json格式输出到Kafka

在上一篇文章中我实现了一个支持Debug、Info、Error等多个级别的日志库,并将日志写到了磁盘文件中,代码比较简单,适合练手。有兴趣的可以通过这个链接前往:https://github.com/bosima/ylog/releases/tag/v1.0.

Go 操作 Kafka 如何保证无消息丢失

背景目前一些互联网公司会使用消息队列来做核心业务,因为是核心业务,所以对数据的最后一致性比较敏感,如果中间出现数据丢失,就会引来用户的投诉,年底绩效就变成325了。之前和几个朋友聊天,他们的公司都在用 kafka 来做消息队列,使用 kafka 到底会不会丢消息呢?

面试官问我如何保证Kafka不丢失消息?我哭了!

设置unclean.leader.election.enable = falseKafka 0.11.0.0版本开始 unclean.leader.election.enable 参数的默认值由原来的true 改为false我们最开始也说了我们发送的消息会被发送到 leader

「Kafka核心源码剖析系列」2. Kafka元数据以及消息封装

数据与智能 出版了畅销书「构建企业级推荐系统:算法、工程实现与案例分析」。每周输出7篇推荐系统、数据分析、大数据、AI原创文章。「数据与智能」(同名视频号、知乎、头条、B站、快手、抖音、小红书等自媒体平台号) 社区,聚焦数据、智能领域的知识分享与传播。

Kafka 的生成者、消费者、broker 的基本概念

文件系统或者数据库提交日志用来提供所有事物的持久化记录,通过重建这些日志可以重建系统的状态。同样地,kafka的数据是按照一定顺序持久化保存的,可以按需读取。

Kafka笔记—可靠性、幂等性和事务

可靠性如何保证消息不丢失Kafka只对“已提交”的消息(committed message)做有限度的持久化保证。已提交的消息当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后,它们会告诉生产者程序这条消息已成功提交。

Kafka两级调度实现分布式协调任务分配Golang版

主要工作分为两个步骤:通过worker获取自身的topicoffset等元数据信息。交给kafka的broker完成Leader/Follower选举workerLeader节点获取到kafka存储的partation和member信息,来进行二级分配,实现结合具体业务的负载均衡

使用 Kafka 和 MongoDB 进行 Go 异步处理

编译自: https://www.melvinvivas.com/developing-microservices-using-kafka-and-mongodb/ 作者: Melvin Vivas译者: qhwdw在我前面的博客文章 “ 我的第一个 Go 微服务:使用 Mong

超通俗易懂!Kafka入门级学习笔记,看完就明白了,PDF拿走不谢

身为运维工程师,我们对Kafka耳熟能详,但也仅仅如此。还有很大一批人不知道Kafka是做什么的,也不知道Kafka的原理和配置,更不用说Kafka的高级应用了。