Add Mysql Protocol #2093

yanglimingcn · 2023-01-17T09:29:43Z

Add Mysql Protocol, support text protocol, transaction, support prepare statement.

issue #209

What problem does this PR solve?

Issue Number:

Problem Summary:

What is changed and the side effects?

Changed:

Side effects:

Performance effects(性能影响):
Breaking backward compatibility(向后兼容性):

Check List:

Please make sure your changes are compilable(请确保你的更改可以通过编译).
When providing us with a new feature, it is best to add related tests(如果你向我们增加一个新的功能, 请添加相关测试).
Please follow Contributor Covenant Code of Conduct.(请遵循贡献者准则).

…action, not support prepare statement. issue apache#209

yanglimingcn · 2023-01-17T09:33:10Z

mysql的prepared statement协议的支持。
遇到的两个问题解决方案如下：
1、prepared statement首先是在某个连接上创建一个statement id，后续操作可以根据这个statement id向这个连接发送后续的请求。同一个语句在每个连接上的statement id是不同的。在pooled模式下，每次RPC选择的连接是不同的，所以需要记录SocketId和statement id的关系，我们这里称为id_map。但是一个SocketId有可能关闭，然后又重新建立起来，这个新SocketId对应的连接没有这个statement id。id_map没有机制可以做到同步更新，保存的SocketId与statement id关系信息是旧的关系。这样就会产生问题。
这个问题的修改方式是，给socketid对应的fd一个唯一的版本号，每次通过stmt_id找到socketid的时候对比一下版本号，版本号一致说明fd没有变化，版本号不一致说明fd变化过。
2、目前还不能支持single模式，唯一的原因就是auth部分，正常auth多个请求会竞争发送auth，后续操作就不需要发送auth了，auth不用等待服务端应答，就可以让其他请求继续发送。但是mysql的auth和这个逻辑不通，mysql的auth首先接收mysql-server发送过来的salt，客户端根据salt加密密码，再把加密后的密码发送给服务端。这样的逻辑如果不等待服务端应答就解锁别的请求，就会出现发送auth的请求落后于正常的请求，导致消息乱序。
这个目前就先不支持single模式了。

wwbmmm · 2023-01-18T06:03:06Z

docs/cn/mysql_client.md

@@ -0,0 +1,562 @@
+[MySQL](https://www.mysql.com/)是著名的开源的关系型数据库，为了使用户更快捷地访问mysql并充分利用bthread的并发能力，brpc直接支持mysql协议。示例程序：[example/mysql_c++](https://github.com/brpc/brpc/tree/master/example/mysql_c++/)
+
+**注意**：只支持MySQL 4.1 及之后的版本的文本协议，支持事务，不支持Prepared statement。目前支持的鉴权方式为mysql_native_password，使用事务的时候不支持single模式。


现在是不是支持Prepared statement了

wwbmmm · 2023-01-18T06:07:07Z

docs/cn/mysql_client.md

+
+- 请求类型必须为MysqlRequest，回复类型必须为MysqlResponse，否则CallMethod会失败。不需要stub，直接调用channel.CallMethod，method填NULL。
+- 调用request.Query()传入要执行的命令，可以批量执行命令，多个命令用分号隔开。
+- 依次调用response.reply(X)弹出操作结果，根据返回类型的不同，选择不同的类型接收，如：MysqlReply::Ok，MysqlReply::Error，const MysqlReply::Columnconst MysqlReply::Row等。


Columnconst 中间少了个逗号

wwbmmm · 2023-01-18T06:11:27Z

docs/cn/mysql_client.md

+事务可以保证在一个事务中的多个RPC请求最终要么都成功，要么都失败。
+
+```c++
+rpc::Channel channel;


这一段初始化Channel的代码可以略去

wwbmmm · 2023-01-18T06:18:37Z

docs/cn/mysql_client.md

+
+##### libmysqlclient实现（100线程）
+
+./mysql_press -thread_num=50 -op_type=1 -use_bthread=true


50应改成100

wwbmmm · 2023-01-18T06:22:31Z

example/mysql_c++/CMakeLists.txt

@@ -0,0 +1,148 @@
+cmake_minimum_required(VERSION 2.8.10)


加上license

wwbmmm · 2023-01-23T09:33:21Z

src/brpc/policy/mysql_authenticator.cpp

+    }
+    const char* delim1 = "&";
+    std::vector<size_t> idx;
+    for (size_t p = params.find(delim1); p != butil::StringPiece::npos;


可以使用butil::StringSplitter或butil::SplitString

wwbmmm · 2023-01-23T09:42:59Z

src/brpc/policy/mysql_protocol.cpp

+
+DEFINE_bool(mysql_verbose, false, "[DEBUG] Print EVERY mysql request/response");
+
+void MysqlParseAuthenticator(const butil::StringPiece& raw,


这几个函数是不是可以在mysql_authenticator.h里声明一下

wwbmmm · 2023-01-23T10:03:10Z

src/brpc/policy/mysql_authenticator.cpp

+    return true;
+}
+
+void MysqlParseAuthenticator(const butil::StringPiece& raw,


是不是可以实现成MysqlAuthenticator::ParseFromString 这样更对称一些

wwbmmm · 2023-01-23T10:04:19Z

src/brpc/policy/mysql_auth_hash.h

+std::string mysql_build_mysql41_authentication_response(const std::string& salt_data,
+                                                        const std::string& password);
+
+std::string mysql_build_sha256_authentication_response(const std::string& salt_data,


这个哪里用到了

wwbmmm · 2023-01-23T10:12:44Z

src/brpc/mysql_reply.h

+    _type = MYSQL_RSP_UNKNOWN;
+    _data.padding = 0;
+}
+inline void MysqlReply::Swap(MysqlReply& other) {


加个空行，下同

wwbmmm · 2023-01-24T08:04:44Z

src/brpc/mysql_reply.cpp

+    return rc;
+}
+
+ParseError MysqlReply::Field::ParseBinaryDataTime(butil::IOBuf& buf,


DataTime -> DateTime

wwbmmm · 2023-01-24T08:24:22Z

src/brpc/mysql_common.h

+    MYSQL_SET_FLAG = 0x0800,
+};
+
+enum MysqlServerStatus : uint16_t {


这个哪里用了

wwbmmm · 2023-01-24T08:31:07Z

src/brpc/mysql_command.cpp

+namespace brpc {
+
+namespace {
+const uint32_t max_allowed_packet = 67108864;


用全大写命名吧

wwbmmm · 2023-01-24T08:38:56Z

src/brpc/mysql_command.cpp

+        if (seq == 0) {
+            const uint32_t old_size = outbuf->size();
+            outbuf->append(head);
+            size -= outbuf->size() - old_size;


为什么不直接用size -= head.size()呢

wwbmmm · 2023-01-24T08:40:31Z

src/brpc/mysql_command.cpp

+
+}  // namespace
+
+butil::Status MysqlMakeCommand(butil::IOBuf* outbuf,


这个叫MysqlMakeCommandPacket会不会更合适

wwbmmm · 2023-01-24T08:56:22Z

src/brpc/mysql_statement_inl.h

+typedef butil::FlatMap<SocketId, MysqlStatementId> MysqlStatementKVMap;
+typedef butil::DoublyBufferedData<MysqlStatementKVMap> MysqlStatementDBD;
+
+inline size_t my_init_kv(MysqlStatementKVMap& m) {


这个不用放在头文件里吧，放在mysql_statement.cpp里就行了

wwbmmm · 2023-01-24T09:05:01Z

src/brpc/mysql.h

+//       LOG(INFO) << response.reply(0);
+//   }
+
+class MysqlStatementStub {


这个类是不是放在mysql_statment.h里更合适

wwbmmm · 2023-01-24T09:16:27Z

src/brpc/mysql_command.cpp

+    return MakePacket(outbuf, head, func, edata);
+}
+
+butil::Status MysqlMakeExecuteData(MysqlStatementStub* stmt,


这个作为MysqlStatementStub的成员函数会不会更合适

wwbmmm · 2023-01-24T09:26:54Z

src/brpc/controller.h

@@ -104,6 +104,14 @@ enum StopStyle {

 const int32_t UNSET_MAGIC_NUM = -123456789;

+// if controller want to reserve a sock after RPC, set BIND_SOCK_ACTIVE


这个ACTIVE不是很好理解，是不是可以叫BIND_SOCK_RESERVE

chenBright · 2023-07-19T09:02:56Z

src/brpc/controller.cpp

+        if (!tmp_sock || (!is_health_check_call() && !tmp_sock->IsAvailable())) {
+            SetFailed(EHOSTDOWN, "Not connected to bind socket yet, server_id=%" PRIu64,
+                      tmp_sock->id());


tmp_sock为NULL，tmp_sock->id()会coredump吧？

Add Mysql Protocol, only support text protocol now, not support trans…

1601be4

…action, not support prepare statement. issue apache#209

wwbmmm reviewed Jan 23, 2023

View reviewed changes

wwbmmm reviewed Jan 24, 2023

View reviewed changes

chenBright reviewed Jul 19, 2023

View reviewed changes

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Add Mysql Protocol #2093

Add Mysql Protocol #2093

yanglimingcn commented Jan 17, 2023

yanglimingcn commented Jan 17, 2023

wwbmmm Jan 18, 2023

wwbmmm Jan 18, 2023

wwbmmm Jan 18, 2023

wwbmmm Jan 18, 2023

wwbmmm Jan 18, 2023

wwbmmm Jan 23, 2023

wwbmmm Jan 23, 2023

wwbmmm Jan 23, 2023

wwbmmm Jan 23, 2023

wwbmmm Jan 23, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

wwbmmm Jan 24, 2023

chenBright Jul 19, 2023

		@@ -0,0 +1,562 @@
		[MySQL](https://www.mysql.com/)是著名的开源的关系型数据库，为了使用户更快捷地访问mysql并充分利用bthread的并发能力，brpc直接支持mysql协议。示例程序：[example/mysql_c++](https://github.com/brpc/brpc/tree/master/example/mysql_c++/)

		注意：只支持MySQL 4.1 及之后的版本的文本协议，支持事务，不支持Prepared statement。目前支持的鉴权方式为mysql_native_password，使用事务的时候不支持single模式。


		##### libmysqlclient实现（100线程）

		./mysql_press -thread_num=50 -op_type=1 -use_bthread=true


		DEFINE_bool(mysql_verbose, false, "[DEBUG] Print EVERY mysql request/response");

		void MysqlParseAuthenticator(const butil::StringPiece& raw,


		} // namespace

		butil::Status MysqlMakeCommand(butil::IOBuf* outbuf,

		@@ -104,6 +104,14 @@ enum StopStyle {

		const int32_t UNSET_MAGIC_NUM = -123456789;

		// if controller want to reserve a sock after RPC, set BIND_SOCK_ACTIVE

Add Mysql Protocol #2093

Are you sure you want to change the base?

Add Mysql Protocol #2093

Conversation

yanglimingcn commented Jan 17, 2023

What problem does this PR solve?

What is changed and the side effects?

Check List:

yanglimingcn commented Jan 17, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment