喵个咪的博客喵个咪的博客
喵个咪的技术与生活
文章列表
文章分类
文章标签
时间线
喵个咪的技术与生活
文章列表
文章分类
文章标签
时间线
健康养生 2Python编程 5随笔日志 1产品设计 1C++编程 10运维技术 34Flutter编程 12编程技术 67设计模式 1汽车 1Go编程 64架构设计 3游戏开发 13量化开发 6物联网开发 7GoWind风行 41生活杂记 1
微服务技术选型:从生态架构视角看go-kratos的不可替代性

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

在 Go 语言微服务生态中,单一框架的能力边界往往决定项目上限,而 “核心框架 + 生态扩展” 的架构协同性,才是长期支撑业务迭代的关键。面对 Gin、Go-Micro、Kitex 等选项,go-kratos 不仅自身架构卓越,更通过kratos-transport(通信扩展)、kratos-authn/authz(安全扩展)、kratos-cli(工具扩展)及go-wind-admin/cms/go-crud(应用模板),构建了 “核心定义标准、扩展补全能力、应用落地业务” 的全链路架构体系。本文从架构视角拆解这一生态,解析技术选型优先选择 go-kratos 的深层逻辑。

Kratos微服务框架实现权鉴 - Zanzibar

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

用户的权限管理对每个项目来说都至关重要。不同的业务场景决定了不同的权限管理需求,不同的技术栈也有不同的解决方案:

  1. 如果你在写一个Ruby On Rails应用,那你可能会选择cancan;
  2. 如果你在写一个Java Spring应用,那你可能会选择Spring Security 或者 Apache Shiro;
  3. 如果你正在使用K8S,那你很可能需要与K8S的鉴权模块打交道。
golang微服务框架Kratos实现Websocket聊天室

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

什么是WebSocket

WebSocket 协议主要为了解决基于 HTTP/1.x 的 Web 应用无法实现服务端向客户端主动推送的问题, 为了兼容现有的设施, WebSocket 协议使用与 HTTP 协议相同的端口, 并使用 HTTP Upgrade 机制来进行 WebSocket 握手, 当握手完成之后, 通信双方便可以按照 WebSocket 协议的方式进行交互

WebSocket 使用 TCP 作为传输层协议, 与 HTTP 类似, WebSocket 也支持在 TCP 上层引入 TLS 层, 以建立加密数据传输通道, 即 WebSocket over TLS, WebSocket 的 URI 与 HTTP URI 的结构类似, 对于使用 80 端口的 WebSocket over TCP, 其 URI 的一般形式为 ws://host:port/path/query 对于使用 443 端口的 WebSocket over TLS, 其 URI 的一般形式为 wss://host:port/path/query

GO微服务框架Kratos上传文件

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

首先,我们需要知道:Kratos能够上传文件。

其次,我们需要知道:需要一些手工代码来支撑(不能够代码生成一波流)。

最后,我们所有的文件都落地到MinIO当中。对于使用过各种上传方案的我而言,MinIO是一个非常完美的文件解决方案。

在这里,我们不讨论前端的上传,我们只讨论后端的上传。我另外有一篇偏向于前端的文章,有兴趣的同学可以阅读它:JavaScript/TypeScript前端实现文件上传到MinIO。

跟我一起用Golang微服务框架Kratos实现一个用户行为分析系统(UBA)

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

本文将带你了解什么是 BI(商业智能) 和 UBA(用户行为分析),并且使用go语言和微服务框架kratos去实现一个UBA系统。

这个系统简单的描述就是:前端通过埋点SDK上报前端采集到的埋点数据,后端的代理服务(Agent Service)接收到了埋点数据之后,将数据入列到Kafka当中,然后我们消费Kafka当中的消息,入库到ClickHouse当中,分析服务对入库的埋点数据进行分析并且生成报表,最后在前端页面进行展示。

什么是BI?

BI,即商业智能,指利用大数据分析、现代数据仓库等技术收集企业最新数据、形成BI报表并及时为企业员工提供BI数据分析报告,实现对业务数据的深入挖掘以获取更多商业价值。大多数企业每天都会收集海量业务数据,这些数据来自其 ERP 软件、电商平台、供应链以及许多其他内部和外部数据源。要想充分利用这些数据,制定由数据驱动的决策,现代商业智能 (BI) 系统必不可少。

Golang微服务框架Kratos实现Thrift服务

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

什么是Thrift

Thrift是Facebook于2007年开发的跨语言的rpc服框架,提供多语言的编译功能,并提供多种服务器工作模式;用户通过Thrift的IDL(接口定义语言)来描述接口函数及数据类型,然后通过Thrift的编译环境生成各种语言类型的接口文件,用户可以根据自己的需要采用不同的语言开发客户端代码和服务器端代码。2007年由facebook贡献到apache基金,是apache下的顶级项目,具备如下特点:

  • 支持多语言:C、C++ 、C# 、D 、Delphi 、Erlang 、Go 、Haxe 、Haskell 、Java 、JavaScript、node.js 、OCaml 、Perl 、PHP 、Python 、Ruby 、SmallTalk
  • 消息定义文件支持注释,数据结构与传输表现的分离,支持多种消息格式
  • 包含完整的客户端/服务端堆栈,可快速实现RPC,支持同步和异步通信
golang微服务框架Kratos实现分布式任务队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

任务队列(Task Queue) 一般用于跨线程或跨计算机分配工作的一种机制。其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。

任务队列的输入是称为任务(Task)的工作单元。专用的工作进程不断监视任务队列以查找要执行的新工作。

在Golang语言里面,我们有像Asynq和Machinery这样的类似于Celery的分布式任务队列。

Golang微服务框架Kratos轻松集成并使用Swagger UI

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

在我们的开发当中,调试接口,测试接口,提供接口文档给前端,那都是非常频繁的工作内容。

那么,我们需要用什么方法和工具来实施这些工作内容呢?

Swagger,或者说OpenAPI。

下面先让我们了解一下下什么是Swagger,什么是OpenAPI。

什么是 OpenAPI

OpenAPI 是编写 RESTful API 的全球标准。它是一种规范,使得全球开发人员可以标准化 API 的设计,并在从头开始编写 REST API 时遵守所有安全、版本控制、错误处理和其他最佳实践。不仅仅是从头开始,即使现有的 API 也可以进行微调以符合全球标准。

Golang微服务框架kratos实现SSE服务

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

我也是最近才知道SSE的,问了下周围的人,发现知道的人也着实不多的。我是怎么知道SSE的呢?我看了下OpenAI的API,有一个Stream模式,就是使用的SSE实现的。说白了,这就是一个HTTP长连接通过服务端持续发送数据到前端的协议。在网络不稳定的情况下,它比Websocket要更好。

什么是SSE

Server-Sent Events(简称 SSE)

严格地说,HTTP 协议无法做到服务器主动推送信息。但是,有一种变通方法,就是服务器向客户端声明,接下来要发送的是流信息(streaming)。

也就是说,发送的不是一次性的数据包,而是一个数据流,会连续不断地发送过来。这时,客户端不会关闭连接,会一直等着服务器发过来的新的数据流,视频播放就是这样的例子。本质上,这种通信就是以流信息的方式,完成一次用时很长的下载。

Golang微服务框架kratos实现Socket.IO服务

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

Socket.IO 是一个面向实时 web 应用的 实时通讯库。它使得服务器和客户端之间实时双向的通信成为可能。底层使用EngineIO。SocketIO的的客户端使用Engine.IO-Client,服务端使用Engine.IO实现。

Socket.IO 主要使用WebSocket协议。但是如果需要的话,Socket.IO 可以回退到几种其它方法,例如Adobe Flash Sockets,JSONP拉取,或是传统的AJAX拉取,并且在同时提供完全相同的接口。尽管它可以被用作WebSocket的包装库,它还是提供了许多其它功能,比如广播至多个套接字,存储与不同客户有关的数据,和异步IO操作。

Golang微服务框架kratos实现SignalR服务

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

基于 SignalR 可以实现客户端和服务器之间进行即时通信。

适合 SignalR 的应用场景:

需要从服务器进行高频率更新的应用。 示例包括游戏、社交网络、投票、拍卖、地图和 GPS 应用。 仪表板和监视应用。 协作应用。 协作应用的示例包括白板应用和团队会议软件。 需要通知的应用。 社交网络、电子邮件、聊天、游戏、旅行警报和很多其他应用都需使用通知。

SignalR 自动选择服务器和客户端能力范围内的最佳传输方法,如WebSockets、Server-Sent Events、长轮询。Hub 是一种高级管道,允许客户端和服务器相互调用方法。 SignalR 自动处理跨计算机边界的调度,并允许客户端调用服务器上的方法,反之亦然。SignalR 提供两个内置协议:基于 JSON 的文本协议和基于 MessagePack 的二进制协议。

将Kratos微服务程序运行为Linux守护进程

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

supervisor

安装supervisor

Centos:

# 先安装 EPEL
yum install -y epel-release

# 安装supervisor
sudo yum -y install supervisor

# 设置为开机启动
sudo systemctl enable supervisord

# 启动进程
sudo systemctl start supervisord
Golang微服务框架Kratos应用RocketMQ消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

消息队列是一种异步的服务间通信方式,适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件,所以掌握好消息队列MQ就变得极其重要。

在本文当中,您将了解到:什么是消息队列?什么是RocketMQ?怎样在微服务框架Kratos当中应用RocketMQ进行业务开发。

什么是消息队列

消息队列(Message Queue,简称MQ)指保存消息的一个容器,其实本质就是一个保存数据的队列。

Golang微服务框架Kratos应用RabbitMQ消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

消息队列是一种异步的服务间通信方式,适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件,所以掌握好消息队列MQ就变得极其重要。

在本文当中,您将了解到:什么是消息队列?什么是RabbitMQ?怎样在微服务框架Kratos当中应用RabbitMQ进行业务开发。

什么是消息队列

消息队列(Message Queue,简称MQ)指保存消息的一个容器,其实本质就是一个保存数据的队列。

Golang微服务框架Kratos应用Pulsar消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

消息队列是一种异步的服务间通信方式,适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件,所以掌握好消息队列MQ就变得极其重要。

在本文当中,您将了解到:什么是消息队列?什么是Pulsar?怎样在微服务框架Kratos当中应用Pulsar进行业务开发。

什么是消息队列

消息队列(Message Queue,简称MQ)指保存消息的一个容器,其实本质就是一个保存数据的队列。

Kratos微服务框架实现权鉴 - OPA

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

Open Policy Agent,官方简称OPA,旨在统一不同技术和系统的策略执行。今天,OPA 被科技行业内的巨头们所使用。例如,Netflix 使用 OPA 来控制对其内部 API 资源的访问。Chef 用它来为他们的终端用户产品提供 IAM 功能。此外,许多其他公司,如 Cloudflare、Pinterest 等,都使用 OPA 在他们的平台上执行策略(如 Kubernetes 集群)。

OPA 最初是由 Styra 公司在 2016 年创建并开源的项目,目前该公司的主要产品就是提供可视化策略控制及策略执行的可视化 Dashboard 服务的。

Golang微服务框架Kratos应用NSQ消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

消息队列是一种异步的服务间通信方式,适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件,所以掌握好消息队列MQ就变得极其重要。

在本文当中,您将了解到:什么是消息队列?什么是NSQ?怎样在微服务框架Kratos当中应用NSQ进行业务开发。

什么是消息队列

消息队列(Message Queue,简称MQ)指保存消息的一个容器,其实本质就是一个保存数据的队列。 消息中间件是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的构建。

Golang微服务框架Kratos应用NATS消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

消息队列是一种异步的服务间通信方式,适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件,所以掌握好消息队列MQ就变得极其重要。

在本文当中,您将了解到:什么是消息队列?什么是NATS

什么是消息队列

消息队列(Message Queue,简称MQ)指保存消息的一个容器,其实本质就是一个保存数据的队列。

消息中间件是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的构建。

Kratos微服务框架下的TLS单向和双向认证

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

什么是SSL

SSL(安全套接字层) 及其后继者 TLS(传输层安全性) 是用于在联网计算机之间建立经过身份验证和加密的链接的协议。 尽管SSL协议已随着以下版本的发布而被弃用 TLS 1.0,在1999年,将这些相关技术称为“ SSL”或“ SSL /TLS。” 最新版本是 TLS 1.3,定义于 RFC 8446 (八月2018)。

Golang微服务框架Kratos应用MQTT消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

消息队列是一种异步的服务间通信方式,适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件,所以掌握好消息队列MQ就变得极其重要。

在本文当中,您将了解到:什么是消息队列?什么是MQTT?怎样在微服务框架Kratos当中应用MQTT进行业务开发。

什么是消息队列

消息队列(Message Queue,简称MQ)指保存消息的一个容器,其实本质就是一个保存数据的队列。

golang微服务框架Kratos实现消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

什么是消息队列

MQ就是消息队列,是Message Queue的缩写。消息队列是一种通信方式。消息的本质就是一种数据结构。因为MQ把项目中的消息集中式的处理和存储,所以MQ主要有解耦,并发,和削峰的功能。

为什么要使用消息队列

1. 异步

通常的微服务实现里面,都是通过RPC进行微服务之间的相互调用,这是同步的。如果消息队列的话,可以实现异步的调用。至于异步有啥好处呢,主要是为了削峰。

2. 削峰

同步的调用会带来一个问题:瞬时流量。客户的调用同步接口节奏,你是无法把控的,流量将会是忽高忽低的,猛的来一波,搞不好系统就崩了溃了。

Golang微服务框架居然可以开发单体应用?—— Kratos单体架构实践

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

TL;DR

微服务框架也是可以用于开发单体架构(monolith architecture)的应用。并且,单体应用也是最小的、最原始的、最初的项目状态,经过渐进式的开发演进,单体应用能够逐步的演变成微服务架构,并且不断的细分服务粒度。微服务框架开发的单体架构应用,既然是一个最小化的实施,那么它只需要使用到微服务框架最小的技术,也就意味着它只需要用到微服务框架最少的知识点,拿它来学习微服务框架是极佳的。

本文将围绕着一个我写的demo项目:kratos-monolithic-demo开展,它既是一个微服务框架Kratos的最小化实践,也是一个工程化实践的完全体。从中你可以学习到:

基于 Go-Kratos 与 MCP 的推荐服务实战指南

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

在微服务与多模块协同场景下,实现服务间的标准化通信与流程调度是核心挑战。本文聚焦 go-kratos-mcp-demo 项目,讲解如何基于 Go-Kratos 框架与 MCP(模块化协同协议)构建可扩展的推荐服务,涵盖服务契约设计(proto)、模块化流程编排、召回/过滤/排序等关键模块的实现与测试,并展示实战部署与可观测性方案。

技术基石:Go-Kratos 与 MCP 的协同架构

项目技术选型围绕 “模块化协同” 核心需求展开,Go-Kratos 与 MCP 构成架构的两大支柱,形成 “框架赋能 + 协议规范” 的协同模式:

Golang微服务框架Kratos应用分布式任务队列Machinery

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

任务队列(Task Queue) 一般用于跨线程或跨计算机分配工作的一种机制。其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。

任务队列的输入是称为任务(Task)的工作单元。专用的工作进程不断监视任务队列以查找要执行的新工作。

在Golang语言里面,我们有像Asynq和Machinery这样的类似于Celery的分布式任务队列。

Golang微服务框架Kratos应用Kafka消息队列

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

消息队列是一种异步的服务间通信方式,适用于无服务器和微服务架构。消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次。消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载。

消息队列是大型分布式系统不可缺少的中间件,也是高并发系统的基石中间件,所以掌握好消息队列MQ就变得极其重要。

在本文当中,您将了解到:什么是消息队列?什么是Kafka?怎样在微服务框架Kratos当中应用Kafka进行业务开发。

什么是消息队列

消息队列(Message Queue,简称MQ)指保存消息的一个容器,其实本质就是一个保存数据的队列。

Kratos微服务框架物联网IoT实战:设备实时地图

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

IoT,也就是物联网,万物互联,在未来肯定是一个热点——实际上,现在物联网已经很热了。

那好,既然这一块这么有前途。那我们就来学习怎么开发物联网系统吧。可是,作为一个小白,两眼一抹黑:我想学,可是我该如何开始?这玩意儿到底该咋整呢?

于是,我各种找资料,各种学习——此处省略一亿个字,其中的艰辛,其中的曲折,总之就是:说来都是泪,欲哭却无声——总算是有了基础的认知,有了一个模糊的方向。我知道了物联网设备通讯协议MQTT、CoAP、LwM2M,知道了微服务,知道了MQ,知道了Websocket,知道了REST,知道了gRPC……有了这些认知,看起来可以开始做技术选型了。

Kratos 大乱炖 —— 整合其他Web框架:Gin、FastHttp、Hertz

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

Kratos默认的RPC框架使用的是gRPC,支持REST和protobuf两种通讯协议。其API都是使用protobuf定义的,REST协议是通过grpc-gateway转译实现的。使用protobuf定义API是具有极大优点的,具有很强的可读性、可维护性,以及工程性。工程再大,人员再多,也不会乱。

一切看起来都是很美好的。那么,问题来了,我们现在使用的是其他的Web框架,迁移就会有成本,有风险,不可能一下子就把历史存在的代码一口气转换过来到Kratos框架。那我可以在Kratos中整合其他的Web框架做过渡吗?答案是:可以的。Kratos是基于的插件化设计,万物皆可插。

golang微服务框架Kratos实现GraphQL服务

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

GraphQL 是一种用于应用编程接口(API)的查询语言和服务器端运行时,它可以使客户端准确地获得所需的数据,没有任何冗余。

GraphQL 由 Facebook 开发,并于 2012 年首次应用于移动应用。GraphQL 规范于 2015 年实现开源。现在,它受 GraphQL 基金会监管。

GraphQL有什么用?

GraphQL 旨在让 API 变得快速、灵活并且为开发人员提供便利。它甚至可以部署在名为 GraphiQL 的集成开发环境(IDE)中。作为 REST 的替代方案,GraphQL 允许开发人员构建相应的请求,从而通过单个 API 调用从多个数据源中提取数据。

Kratos微服务与它的小伙伴系列 - 依赖注入库 - Wire

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

什么是依赖注入?

依赖注入 (Dependency Injection,缩写为 DI),是一种软件设计模式,也是实现控制反转(Inversion of Control)的其中一种技术。这种模式能让一个物件接收它所依赖的其他物件。“依赖”是指接收方所需的对象。“注入”是指将“依赖”传递给接收方的过程。在“注入”之后,接收方才会调用该“依赖”。此模式确保了任何想要使用给定服务的物件不需要知道如何建立这些服务。取而代之的是,连接收方物件(像是 client)也不知道它存在的外部代码(注入器)提供接收方所需的服务。

依赖注入涉及四个概念:

  1. 服务:任何类,提供了有用功能。
  2. 客户:使用服务的类。
  3. 接口:客户不应该知道服务实现的细节,只需要知道服务的名称和 API。
  4. 注入器:Injector,也称 assembler、container、provider 或 factory。负责把服务引入给客户。 依赖注入把对象构建与对象注入分开。因此创建对象的 new 关键字也可消失了。
Golang微服框架Kratos与它的小伙伴系列 - ORM框架 - GORM

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

什么是ORM?

面向对象编程和关系型数据库,都是目前最流行的技术,但是它们的模型是不一样的。

面向对象编程把所有实体看成对象(object),关系型数据库则是采用实体之间的关系(relation)连接数据。很早就有人提出,关系也可以用对象表达,这样的话,就能使用面向对象编程,来操作关系型数据库。

简单说,ORM 就是通过实例对象的语法,完成关系型数据库的操作的技术,是"对象-关系映射"(Object/Relational Mapping) 的缩写。

ORM 把数据库映射成对象。

  • 数据库的表(table) --> 类(class)
  • 记录(record,行数据)--> 对象(object)
  • 字段(field)--> 对象的属性(attribute)
Golang微服框架Kratos与它的小伙伴系列 - ORM框架 - Ent

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

什么是ORM?

面向对象编程和关系型数据库,都是目前最流行的技术,但是它们的模型是不一样的。

面向对象编程把所有实体看成对象(object),关系型数据库则是采用实体之间的关系(relation)连接数据。很早就有人提出,关系也可以用对象表达,这样的话,就能使用面向对象编程,来操作关系型数据库。

简单说,ORM 就是通过实例对象的语法,完成关系型数据库的操作的技术,是"对象-关系映射"(Object/Relational Mapping) 的缩写。

ORM 把数据库映射成对象。

  • 数据库的表(table) --> 类(class)
  • 记录(record,行数据)--> 对象(object)
  • 字段(field)--> 对象的属性(attribute)
Golang微服框架Kratos与它的小伙伴系列 - 分布式事务框架 - DTM

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

在 GO 语言生态中,DTM(Distributed Transaction Manager) 是一个开源的分布式事务管理服务,专门用于解决微服务架构下分布式事务的一致性问题。它以轻量、易用、高性能为特点,支持多种分布式事务模式,是 GO 语言开发者在处理跨服务数据一致性时的常用工具。

DTM 的核心功能与特点

1. 支持多种事务模式

DTM 针对不同业务场景,实现了主流的分布式事务协议,包括:

  • TCC(Try-Confirm-Cancel):适用于核心业务场景,通过拆分业务为 “尝试”、“确认”、“取消” 三个阶段,保证最终一致性。
  • SAGA:适用于长事务场景,将分布式事务拆分为多个本地事务步骤,每个步骤对应一个补偿操作,若某步失败则执行反向补偿。
  • 本地消息表(Local Message Table):基于消息的异步确认机制,通过本地事务与消息发送的原子性,确保跨服务操作的最终一致。
  • 事务消息:结合消息队列实现,通过 “半消息”、“确认发送”、“消费确认” 等机制,保证消息可靠投递与业务操作的一致性。
  • XA:基于数据库的 XA 协议(如 MySQL 的 XA 事务),适用于对强一致性要求高且支持 XA 协议的数据库场景。
Kratos 下使用 Protobuf FieldMask 完全指南

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

当我们使用 gRPC 进行跨服务通讯时,调用方往往只需要响应中的部分字段 —— 冗余字段不仅会增加网络传输成本,更可能触发不必要的下游依赖调用(比如为了返回一个非核心字段,需要额外调用 2 个服务)。​

在微服务场景中,这种「无效计算 + 无效传输」的开销会被放大:一次 RPC 级联 3~5 个下游是常态,而响应体中 60% 以上的字段可能都是调用方不需要的。​

此时,我们需要一种「字段按需筛选」机制:

  • GraphQL 用「字段选择器」实现​
  • JSON:API 用「稀疏字段集」实现​
  • 而 gRPC 生态中,Protobuf FieldMask 是标准且高效的解决方案。
Kratos微服务框架常见问题解答

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

为什么Protobuf定义成int64,转成json之后却变成了string类型?

比如说,定义了一个proto文件

message PartyMusicSearchItem {
    string name = 1;
    int32  fileSize = 2;
    string author = 3;
    string musicId = 4;
    int32 type = 6;
    int64 createdAt = 7;
    int64 lastTime = 8;
}
Kratos微服务轻松对接EFK日志系统

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

在早期的单体服务时代,如果想要在生产环境中通过日志去定位业务逻辑的Bug或者性能问题,那么我们需要让运维人员逐个远程登入服务器,逐个服务实例去查询日志文件,这样排查问题的效率是相当的低,当线上发生了紧急状况的时候,人都要急死,却又无法有效率的排查出问题所在,更不用说解决问题。

而在微服务时代,服务实例部署在不同的物理机上,各个微服务的日志也被分散储存在不同的物理机上。当服务集群足够大,成百上千,甚至上万,此时再使用上述的传统方式查阅日志,那已经是不可完成的任务。因此,我们需要集中化管理分布式系统中的日志,其中有开源的组件如Syslog,用于将所有服务器上的所有服务的日志进行收集、汇总。

Kratos微服务框架下实现CQRS架构模式

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

命令查询的责任分离Command Query Responsibility Segregation 通常被简化为 命令查询分离,即读写分离。

在特定的场景下,它可以提供更好的性能。但是,在强一致性方面,它并不能够保证。而且,还会带来认知负担。所以,实际运用上,需要谨慎。

什么是 CQRS

这个概念出自于 命令与查询分离(CQS, Command Query Separation),出自于1987 年 Bertrand Meyer 的 《面向对象软件构造》(Object-Oriented Software Construction)一书,其原始概念是我们可以把对象操作分为:命令(Command)和 查询(Query)两种形式。

跟我一起用Golang微服务框架实现一个CMS系统

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

微服务,是一种分布式软件架构。采用了分而治之的方法去解决复杂的应用问题。我们可以把复杂的系统拆解成不同的服务,并使之可以方便的进行横向扩容,提升整个系统的负载。

任何一个系统,它都需要一个管理系统,即便是使用微服务的架构也是需要的。在本文里,我们将使用B站开源的Golang语言微服务框架Kratos去实现一个最简单的CMS:博客系统。

Kratos 微服务轻松对接 CFG 日志系统

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos
  • ClickHouse
  • Fluent Bit
  • Grafana
Kratos微服务框架实现权鉴 - Casbin

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

Casbin(https://github.com/casbin/casbin)是一套访问控制开源库,致力于帮助复杂系统解决权限管理的难题。同时也是一个国产开源项目。Casbin采用了元模型的设计思想,既支持ACL(访问控制列表),RBAC(基于角色访问控制),ABAC(基于属性访问控制)等经典的访问控制模型,也支持用户按照自身需求灵活定义权限。Casbin已经被Intel、IBM、腾讯云、VMware、RedHat、T-Mobile等公司开源使用,被Cisco、Verizon等公司闭源使用。具体详见Casbin主页(https://casbin.org/)。

使用Bazel构建你的Kratos微服务

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

Kratos是一个微服务框架,既然是微服务,那么一个工程下肯定会存在不少的服务,一个服务就是一个二进制可执行程序,那么我们将会面对一个问题:如何去构建(Build)这些服务程序。这件事情,通常都交由构建系统去做。我们能够选择的构建系统有很多:Make、CMake、Bazel……那么,我们又该如何选择一个构建系统呢?

项目结构简单,服务少,我们完全可以使用Make来进行构建。要学会使用Make,您需要学会使用Makefile来编写构建脚本,如果整个构建只是组织一些简单的编译命令,那还好,学习和使用都会是简单轻松的事情。

但是,理想很丰满,现实很骨感。在实际的工程实践中,一切都会朝着复杂的方向发展。服务的数量肯定不会少,工程的组织结构也肯定不会简单,那么,构建也就会变得相应的复杂起来,需要编写大量的Makefile,Makefile的复杂度也越来越大了。另外还有,构建环境的搭建问题,持续集成的问题,自动构建的问题,构建时间变长的问题……抱歉,面对这样复杂的工程环境,Make难以满足我们的需求。

Kratos微服务框架下的认证和鉴权

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

从单体应用迁移到微服务架构,虽能收获松耦合、可扩展等诸多优势,但也引入了新的安全挑战。微服务通过开放 API 实现服务间通信,与单体应用相比:​

  • 攻击面显著扩大:每个独立服务都需单独保障安全性,风险点呈指数级增加​
  • 通信安全性要求更高:API 调用不仅要验证身份,还需保障传输安全与可用性​

因此,微服务架构需要一套与单体应用截然不同的安全解决方案,核心聚焦于认证(Authentication) 与鉴权(Authorization) 两大核心能力。

一、认证与鉴权的核心区别​

认证和授权的区别

Golang微服务框架Kratos应用分布式计划任务队列Asynq

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

任务队列(Task Queue) 一般用于跨线程或跨计算机分配工作的一种机制。其本质是生产者消费者模型,生产者发送任务到消息队列,消费者负责处理任务。

任务队列的输入是称为任务(Task)的工作单元。专用的工作进程不断监视任务队列以查找要执行的新工作。

在Golang语言里面,我们有像Asynq和Machinery这样的类似于Celery的分布式任务队列。

Kratos微服务框架API工程化指南

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

Kratos的RPC默认使用的是gRPC,与此同时我们还可以通过gRPC的grpc-gateway功能对RESTfull进行支持。这样,我们就可以同时支持gRPC和REST了。而这一切Kratos都已经封装好,无需知道底层的一切,用就好了。

怎么样在Windows下使用Make编译Golang程序

Date: 1/1/2020Category: Go编程Tag: Make

GNU的Make是一个又古老又强大的构建工具,在我们的开发当中用得普遍。就Makefile的语法而言也不算复杂,没有特别复杂的需求的话,很容易就上手了,维护起来也容易,拿Make来做程序构建是一个好主意。

更复杂一点的项目构建可以选择Google的Bazel,但是通常的项目(至少70%-80%的项目)都没有这么复杂的需求。

在Unix、Linux、BSD、macOS等xNix下面使用Make是很方便的,很自然的,因为是出厂自带。

怎样在Go语言中生成随机种子

Date: 1/1/2020Category: Go编程Tag: Golang, 随机种子

time.Now().UnixNano

这是用的最多的,但是,也是安全隐患最大的方法。

从表面上看go的时间方法最大精度到纳秒,但是好像其实并不能到达的绝对的纳秒精度。

测试结果很不好,碰撞很高。

import "time"

func TestSeedNanoTime(t *testing.T) {
	var seeds = make(map[int64]bool)
	for i := 0; i < 100000; i++ {
		seed := time.Now().UnixNano()
		seeds[seed] = true
		fmt.Println(seed)
	}
	fmt.Println(len(seeds))
}
使用Bazel构建Golang程序

Date: 1/1/2020Category: Go编程Tag: Golang, Bazel

在这篇简短的文章中,我们将介绍如何将 Golang 与 Bazel 构建系统结合使用。

具体来说,我们将讨论三个场景:

  1. 从头开始一个 Golang 项目;
  2. 将一个现有的 Golang 项目转换为 Bazel 构建;
  3. 以及将一个第三方 Golang 项目引入到您的 Bazel 构建系统。

从头开始一个 Golang 项目

让我们从将 Go 与 Bazel 结合使用的基础知识开始。

为此,我们需要从 https://github.com/bazelbuild/rules_go 获取 Go 语言的官方构建规则。

Golang在func中分配的变量通过参数传递出函数域之后变nil的问题

Date: 1/1/2020Category: Go编程Tag: Golang

最近在Go上面碰到了一个传出参数的问题:

func testOutString(out *string) {
	if out == nil {
		// str := "hellow"
		// out = &str
		out = new(string)
	}
	*out = "hello"
}

func main() {
	var str *string
	testOutString(str)
	fmt.Println(str)
}
如何使用 Golang 查询 MongoDB

Date: 1/1/2020Category: Go编程Tag: Golang, MongoDB

如何使用 Golang 连接 MongoDB

连接 MongoDB 非常简单,只需连接 MongoDB 生成的 uri。

然后我们可以使用 client.Database() 函数来确保我们连接到正确的数据库。

package main

import (
	"context"
	"log"
	"time"

	"go.mongodb.org/mongo-driver/mongo"
	"go.mongodb.org/mongo-driver/mongo/options"
)

func main() {
	ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
	defer cancel()

	client, err := mongo.Connect(ctx, options.Client().ApplyURI("mongodb://localhost:27017"))
	if err != nil {
		log.Fatal(err)
	}

	db := client.Database("testdb")

	// disconnect the mongo client when main is completed
	defer func() {
		if err = client.Disconnect(ctx); err != nil {
			panic(err)
		}
	}()
}
Golang模块版本管理

Date: 1/1/2020Category: Go编程Tag: Golang

GO模块版本号

模块的开发人员使用模块版本号的每个部分来表示版本的稳定性和向后兼容性。对于每个新版本,模块的发布版本号具体反映了自上一版本以来模块更改的性质。

当您开发使用外部模块的代码时,您可以在考虑升级时使用版本号来了解外部模块的稳定性。当您开发自己的模块时,您的版本号将向其他开发人员表明您的模块的稳定性和向后兼容性。

发布的模块在语义版本控制模型中使用版本号发布,如下图所示:

version-number

Golang 人脸识别

Date: 1/1/2020Category: Go编程Tag: Golang, 人脸识别

参考资料

  • 手把手 Golang 实现静态图像与视频流人脸识别
  • Golang人脸识别
Golang 并发模式:扇入、扇出

Date: 1/1/2020Category: Go编程Tag: Golang, 设计模式

个人喜爱 Golang 的最突出原因之一是:我们可以轻松构建高可用且非阻塞的程序。

在本系列文章中,我将尝试回忆 Golang 中可用的模式。我将采用每种模式,并详细讨论它们适合的位置以及如何有效地使用它们。

什么是扇入扇出。这是一种将数据从多个流或从一个流汇聚到多个流或管道的单一数据流的方法。

generate函数

为了讨论这个模式,我们首先需要一个数据源。这是一个可以用作数据源的数据生成器。

func generate( data string) <-chan string{
    channel := make(chan string)
    
    go func() {
        for {
            channel <- data
            time.Sleep(time.Duration(100*time.Millisecond))
    
        }
    }()
    return channel
}
Golang WebRTC

Date: 1/1/2020Category: Go编程Tag: Golang, WebRTC

参考资料

  • Golang WebRTC. How to use Pion 🌐Remote Controller
  • Getting Web Development Right: WebRTC Tutorial — Golang and React.
  • From zero to fully functional video conference app using Go and webRTC
Golang设置网络代理

Date: 1/1/2020Category: Go编程Tag: Golang

打开模块支持

go env -w GO111MODULE=on
初学者友好:Go-Kratos 集成 go-crud,GORM ORM CRUD 无需重复编码,轻松上手

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

对于刚接触Go微服务开发的初学者来说,直接上手“框架+ORM”的组合常显复杂。而kratos-gorm-example项目已为我们搭建好了Go-Kratos与GORM的基础集成框架,本文将基于该项目,聚焦如何快速接入go-curd工具简化CRUD(增删改查)操作,全程以step-by-step的方式讲解,新手也能轻松跟随实操。

先明确核心工具关系:kratos-gorm-example是“基础骨架”(已整合Kratos与GORM),go-curd是“效率工具”(封装重复CRUD逻辑),我们的核心目标是“在现有骨架上装工具,让数据操作更简单”。

初学者友好:Go-Kratos 集成 go-crud,Ent ORM CRUD 无需重复编码,轻松上手

Date: 1/1/2020Category: Go编程Tag: Golang, Go-Kratos

对于刚接触 Go 微服务开发的初学者来说,直接上手 “框架 + ORM” 的组合常显复杂。而 kratos-ent-example 项目已为我们搭建好了 Go-Kratos 与 Ent 的基础集成框架,本文将基于该项目,聚焦如何快速接入 go-curd 工具简化 CRUD(增删改查)操作,全程以 step-by-step 的方式讲解,新手也能轻松跟随实操。

先明确核心工具关系:kratos-ent-example是 “基础骨架”(已整合 Kratos 与 Ent),go-curd是 “效率工具”(封装重复 CRUD 逻辑),我们的核心目标是 “在现有骨架上装工具,让数据操作更简单”。

Go 接口与代码复用:替代继承的设计哲学

Date: 1/1/2020Category: Go编程Tag: Golang

一、前言

Go 是 Google 设计的类 C 静态类型语言,兼顾底层性能与开发效率。它并非传统意义上的面向对象(OOP)语言 —— 没有 class 关键字,也不支持传统的 “继承” 语法,但通过 接口的隐式实现 和 结构体组合(嵌入),Go 能灵活实现 OOP 的核心特性(多态、代码复用),且设计更简洁、无继承带来的耦合问题。 与 C++ 相比,Go 的设计哲学是 “组合优于继承”:用接口实现多态,用结构体嵌入实现代码复用,既避免了继承的复杂语法,又解决了多重继承的歧义问题。本文将通过类比 C++ 的接口 / 继承逻辑,详解 Go 如何实现类似效果。

Go单协程事件调度器:游戏后端的无锁有序与响应时间掌控

Date: 1/1/2020Category: Go编程Tag: Golang, 算法

在游戏后端架构设计中,单协程(单线程)事件调度器(Event Loop) 是实现 “绝对消息顺序” 与 “无锁状态管理” 的核心方案。

相较于多线程模型所面临的锁竞争、竞态条件、数据一致性等复杂问题,单协程调度器通过 完全串行化执行 所有核心逻辑,从根本上规避了并发安全风险——这一特性对于对状态准确性要求极高的游戏场景(如玩家血量、金币、技能释放结果、战斗胜负判定)具有决定性意义。

然而,串行执行也带来了严苛的约束:任何一个事件的处理延迟,都会直接放大为全服玩家的体验损耗。因此,单协程调度器的核心设计目标,是在保证逻辑有序性的前提下,极致控制响应时间,守住系统稳定性红线。

排序算法实现 - Golang版

Date: 1/1/2020Category: Go编程Tag: Golang, 算法

算法列表

  • [X] 冒泡排序(Bubble Sort)
  • [X] 鸡尾酒排序(Cocktail Sort)
  • [X] 选择排序(Selection Sort)
  • [X] 插入排序(Insertion Sort)
  • [X] 归并排序(Merge Sort)
  • [X] 原地归并排序(In-place Merge Sort)
  • [X] 堆排序(Heap Sort)
  • [X] 快速排序(Quick Sort)
  • [X] 希尔排序(Shell Sort)
  • [X] 计数排序(Counting Sort)
  • [X] 基数排序(Radix Sort)
  • [X] 桶排序(Bucket Sort)
  • [X] 二叉排序树排序(Binary Tree Sort)
  • [X] 鸽巢排序(Pigeonhole Sort)
  • [X] 侏儒排序(Gnome Sort)
  • [ ] 块排序(Block Sort)
搜索算法实现 - Golang版

Date: 1/1/2020Category: Go编程Tag: Golang, 算法

算法列表

  • [X] 顺序查找(Sequential Search)
  • [X] 二叉树查找(Binary Search)
  • [X] 三叉树查找(Ternary Search)
  • [X] 插值查找(Interpolation Search)
  • [X] 斐波那契查找(Fibonacci Search)
  • [X] 指数查找(Exponential Search)
  • [X] 树表查找(Tree table lookup)
  • [X] 分块查找(Blocking Search)
  • [ ] 哈希查找(Hash Search)
Entgo 实现 软删除(Soft Delete)

Date: 1/1/2020Category: Go编程Tag: Go, Ent, SQL

我们在开发程序的过程中,会遇到一个常见的需求——删除表中的数据。

但是有时候,业务需求要求不能永久删除数据库中的数据。比如一些敏感信息,我们需要留着以方便做历史追踪。 这个时候,我们便会用到软删除。

Entgo本身是不直接支持的,但是,要实现也并不是很难的事情。

什么是软删除?

软删除(Soft Delete) 是相对于 硬删除(Hard Delete) 来说的,它又可以叫做 逻辑删除 或者 标记删除。

Ent代码生成工具链

Date: 1/1/2020Category: Go编程Tag: Go, Ent, SQL

Ent是Facebook开源的一个GO语言的ORM框架。它提供了一系列的工具,可以做到:

  1. SQL生成schema;
  2. schema生成protobuf的message;
  3. schema生成gPRC的service。

创建go项目

go mod init entimport-example
使用 Bazel 创建Go应用程序的Docker容器镜像

Date: 1/1/2020Category: Go编程Tag: Bazel, Docker, Go

如果你知道Bazel,你就会知道它有多棒:它快速可靠。当您在使用多种服务的项目中工作时,甚至可能使用不同的语言,拥有一个快速可靠的构建系统,更重要的是,生成确定性构建是关键。

但是,您可能不知道使用它bazel来构建容器镜像是多么容易。您将从使用bazel应用到您的镜像构建过程中获得所有好处。另外,您不必处理丑陋的Dockerfiles。

Centos 安装 Golang

Date: 1/1/2020Category: Go编程Tag: go, Centos
vim install_golang.sh
使用 Go (Golang) 为 postgresql 实施 更改数据捕获 (CDC)

Date: 1/1/2020Category: Go编程Tag: go, CDC, PostgreSQL

Change Data Capture介绍

变更数据捕获 (CDC) 是一种用于跟踪对数据库中的数据所做的更改的技术,使您能够跟踪数据的演变。在 PostgreSQL 中,CDC 是使用逻辑复制(Logical Replication)功能实现的,它可以选择性地复制对特定表或列所做的更改。

Golang 是一种编程语言,近年来因其速度和简单性而受到欢迎。它也非常适合处理数据库,因为它内置了对 SQL 数据库的支持以及许多用于处理这些数据库的强大库。

在 PostgreSQL 中使用 Golang 和 CDC 是一个强大的组合,因为它允许您轻松地实时捕获和处理对数据库所做的更改。以下是开始在 PostgreSQL 中使用 Golang 和 CDC 需要遵循的基本步骤: