小米未root_个人步骤_5GB的db大文件无法完整导出为未加密数据库_指定行导致的内存溢出_小米未升级hyperos

[kuyunjian]

我的步骤

1. 我的nt_msg.db数据库是从手机qq导出的用小米手机的备份功能导出tar.gz(包含 apk 本体和数据文件)
   不知道是不是有一些数据存在本地的其他文件夹，设置里看是56GB的qq内存占用，备份出来只有23GB 左右（在 mt 管理器以及其他的文件管理器里面），即使在备份软件里显示56GB 已备份，（值得一提的是，电脑上有一个小米助手，通过电脑端的小米助手备份出来的文件是30GB多。不过该方式备份出来的文件被分成了100多个小文件，不知道怎么操作）
2. 通过查百度，用Hex删除头文件，变成可以正确解压的 tar.gz 文件
3. 在里面搜索 nt_msg.db，可以查到我所有3个 QQ 的 db 文件，一个5GB，一个1GB，一个100MB（大约）
4. 正确获取 key
5. 通过nt_qq_android文档的方法，下载 sqlite，配置sqlite环境，下载SQLiteStudio（这步应该不必要），下载DB Browser (SQLCipher)
6. 删除400大小也就是1024字节或者说1KB 的 nt_msg.db 头文件
7. 通过windows可视化的SQLCipher打开数据库
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
8. 然后就开始遇到问题：
   1. 3个 nt_msg.db 数据库都不能直接另存为数据库

2. 仅大约那个100MBnt_msg.db可以通过 sqlcipher 删除密码并保存
3. 其它两个均会报错database disk image is malformed

4. 对100MB的文件进行PRAGMA integrity_check;时，返回值为ok，在我对报错的两个数据库进行PRAGMA integrity_check;时，返回值都为错误如下
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   *** in database main ***
   Tree 317868 page 317868: unable to get the page. error code=7
   Tree 317886 page 317886: unable to get the page. error code=1
   ...
   Tree 45 page 45: unable to get the page. error code=1
   Tree 44 page 44: unable to get the page. error code=1
   Tree 9 page 9: unable to get the page. error code=1
   Tree 13 page 13: unable to get the page. error code=1

5. 三个文件均可通过sqlcipher正常导出为.sql文件，1GB的这个db文件可以导出2GB的sql文件，但是只有100MB的sql文件可以正常导入回db文件。其它两个大内存sql文件导入回db文件为空表

6. 我看到这个项目里面有写文件损坏的相关信息，和我要清除密码出错时的提示database disk image is malformed一致
   最后的结果是 out of memory也就是超内存了

具体的过程是：
尝试的这个项目的方法：Mythologyli/qq-nt-db: QQ NT Windows 数据库解密+图片/文件清理，虽然是 Windows的nt_qq，但是后续的步骤都一样

于是我下载安装打开了MSYS2 MINGW64，安装了mingw-w64-x86_64-sqlcipher和sqlite3，开始用指令的方式尝试，

1. # cd [清除1024字节的nt_msg_clean.db存在的目录]（在msys2里，目录以 / 分隔而不是 \ ）
2. # sqlcipher
3. sqlite> .open nt_msg.db
4. sqlite> .database（验证已经打开了该数据库）
5. sqlite> PRAGMA key = '#8xxxxxxxxxxx@uJ'; PRAGMA kdf_iter = '4000';(key填对应数据库的key，返回值为ok)
6. 导出为无加密的数据库
   1. 开始报错，显示没有解密，sqlcipher 里有一个 sha1 和 sh512解密，我不知道在这里用什么指令实现，用gpt给出的会报错，并且之前100MB的那个db数据库也解密不成功
      
      
      
      
      
      
      
      
      
      

sqlite> ATTACH DATABASE 'nt_msg.db' AS plaintext KEY ''; SELECT sqlcipher_export('plaintext'); DETACH DATABASE plaintext;
2025-03-21 21:51:48.886: ERROR CORE sqlcipher_page_cipher: hmac check failed for pgno=1
2025-03-21 21:51:48.889: ERROR CORE sqlite3Codec: error decrypting page 1 data: 1
2025-03-21 21:51:48.891: ERROR CORE sqlcipher_codec_ctx_set_error 1
Parse error: file is not a database (26)
sqlite>

2. 我直接尝试用sqlite> .output nt_msg.sql导出即使ok但是实际上没有解密的db为sql文件，但是在windows sqlcipher里解密后能导出2GB的文件时，这里导出的仅为一个0kb的文件
3. 前面说到我把 Windows sqlcipher 里面导出的2 GB 文件导入回 sqlcipher 时，表为空
   1. 于是我尝试把windows sqlcipher里面解密后的2Gb的sql数据库尝试用MSYS2 MINGW64导出为db文件，指令同上文：$ cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db
      1. 显示Parse error near line 65: object name reserved for internal use: sqlite_stat4和out of memory
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
4. 但是我对windows sqlcipher里面解密后的另一个qq的100MB的sql数据库进行$ cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db，成功导出db文件
5. 我用PRAGMA cache_size = -50000; 把缓存从-2000扩大到-50000还是在59964行内存溢出的
   2. 我用gpt修正指令为cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' -e '/sqlite_stat4/d' | sqlite3 nt_msg.db
   1. 返回值依然为 out of memory 此时在59962行内存溢出

我在 Windows 里配置了 sqlite3 的环境变量，也重启了，cmd里面输入sqlite3 --version有版本号反馈，不知道为什么，在 msys2里面提示command not found，又要重新下载一次

[kuyunjian]

我用issue502024-12 的数据库加密已改为了 SHA512，本人困惑许久，特此更新下方的指令

sqlcipher nt_msg.clean.db

PRAGMA key = 'xxxxxxxxxxxxxxxx';
PRAGMA cipher_page_size = 4096;
PRAGMA kdf_iter = '4000';
PRAGMA cipher_hmac_algorithm = HMAC_SHA1;
PRAGMA cipher_default_kdf_algorithm = PBKDF2_HMAC_SHA512;
PRAGMA cipher = 'aes-256-cbc';

可以正确打开数据库，因为输入
.table 时返回了表数据

但是输入ATTACH DATABASE 'nt_msg.db' AS plaintext KEY ''; SELECT sqlcipher_export('plaintext'); DETACH DATABASE plaintext;尝试解密的时候又显示不是个数据库

[kuyunjian]

最新进展，有方法了，不知道是不是应该关闭这个issue，我继续读取数据库

属于是msys2和windows sqlchipher互补了

1. 先用windows sqlchipher临时解密和导出sql文件
2. 再用msys2把sql文件导出为db文件

---

1. 如果用windows sqlchipher导出sql为db文件会显示表为空，可能是这个项目qq-nt-db里面给的指令rollback的替换起了效果：cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db
2. 如果用msys2把db文件解密（解密的指令参考issue#50）导出为sql文件也会内存溢出（不确定这一条是不是刚刚我电脑本来就开太多软件了，这一步用windows sqlchipher导出1GB的db文件为2GB的sql文件只要半分钟，但是用msys2的 .output nt_msg.sql 工作两分钟之后就内存溢出了

这次我在windows sqlchipher导出为sql文件时没有勾选下列三项，并使用旧架构导出

[kuyunjian]

这里也放一下我用小米手机导出备份文件删头文件参考的帖子
（话说为什么是csdn，如果有原贴地址可以在这个地址下发一下）

[kuyunjian]

目前也是用这个大佬给出的脚本暂且导出了一下issue#51
我得看看群聊的聊天记录怎么导出了

[Tealina28]

虽然不知道你的操作或者文件有什么问题，但也许你可以尝试qqnt_backup。

目前也是用这个大佬给出的脚本暂且导出了一下issue#53 我得看看群聊的聊天记录怎么导出了

另外，截图显示的不是issue#51吗。对于群聊周末内也许可以写出可用版本。

[kuyunjian]

好像出现了新的问题，第一次是100MB的聊天文件，绝大部分方法混用都有效
第二次，也就是这条comment上面是1.54GB，用windows sqlchipher导出到sql是2.22GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件是1.44GB
第三次，我正在处理一个5.97GB的文件，这次用windows sqlcipher导出到sql只有1.17GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件只剩下了786MB，我猜测是导出到sql的步骤哪里出错了

[kuyunjian]

也不确定第三次是出了问题的，因为我用第三次导出的无加密786MB的DB文件导出了11.3MB的文本文件
第二次用1.44GB的DB文件只导出了5.xMB的文本文件
最后文本文件大小差异是在预期内的

[kuyunjian]

虽然不知道你的操作或者文件有什么问题，但也许你可以尝试qqnt_backup。

目前也是用这个大佬给出的脚本暂且导出了一下issue#53 我得看看群聊的聊天记录怎么导出了

另外，截图显示的不是issue#51吗。对于群聊周末内也许可以写出可用版本。

抱歉，我看了一下，引用的有一些错误，我现在修改，最新情况是已经可以获取到私聊的解密文件并用issue51导出txt了，有点坎坷，也谢谢你给的新项目地址，我看一看能否有更稳定简洁的方法

[shenapex]

不知道是不是有一些数据存在本地的其他文件夹，设置里看是56GB的qq内存占用，备份出来只有23GB 左右（在 mt 管理器以及其他的文件管理器里面），即使在备份软件里显示56GB 已备份

小米系统备份不会备份/storage/emulated/0/Android/data/com.tencent.mobileqq/（所以恢复后媒体文件全丢）

database disk image is malformed

之前我也遇到过，合理怀疑是在转移文件的时候文件损坏，建议先在手机端校验hash，转移到电脑后比对下hash是否一致

好像出现了新的问题，第一次是100MB的聊天文件，绝大部分方法混用都有效
第二次，也就是这条comment上面是1.54GB，用windows sqlchipher导出到sql是2.22GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;( -- due to errors)$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件是1.44GB
第三次，我正在处理一个5.97GB的文件，这次用windows sqlcipher导出到sql只有1.17GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;( -- due to errors)$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件只剩下了786MB，我猜测是导出到sql的步骤哪里出错了

本人对SQL也一窍不通，询问AI大概有可能是损坏的索引导致导出时跳过整段数据或者因为数据库里面BLOB字段被跳过导致的
如果提示Out of memory可以尝试分段导出呢

[kuyunjian]

database disk image is malformed

之前我也遇到过，合理怀疑是在转移文件的时候文件损坏，建议先在手机端校验hash，转移到电脑后比对下hash是否一致

可以考虑，我也同时考虑另外两种可能

1. qq本身代码就存在问题，屎山代码说不定本身出现错误的时候就直接用commit代替了rollback
2. 内存不足，需要切片处理相关的代码，但应该不能直接切，不然会把索引和数据切开（？）因为我一个100MB的qqdb数据库文件并没有出现 database disk image is malformed

好像出现了新的问题，第一次是100MB的聊天文件，绝大部分方法混用都有效
第二次，也就是这条comment上面是1.54GB，用windows sqlchipher导出到sql是2.22GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;( -- due to errors)$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件是1.44GB
第三次，我正在处理一个5.97GB的文件，这次用windows sqlcipher导出到sql只有1.17GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;( -- due to errors)$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件只剩下了786MB，我猜测是导出到sql的步骤哪里出错了

本人对SQL也一窍不通，询问AI大概有可能是损坏的索引导致导出时跳过整段数据或者因为数据库里面BLOB字段被跳过导致的 如果提示Out of memory可以尝试分段导出呢

我用这个项目qq-nt-db里面的

$ cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db

可以正常把windows sqlcipher导出的sql文件导出回未加密的db数据库文件
同时我按照qq-nt-db项目说的安装了msys2以及对应的sqlite3 sqlcipher等环境才能执行这串指令

但是我有一个5GB的db文件通过windows sqlcipher转换成sql就缩水了很多，那个1GB的db文件都不会这样，导出的私聊记录没有缩水，但是我不知道我导出群聊记录会不会寄

[kuyunjian]

虽然不知道你的操作或者文件有什么问题，但也许你可以尝试qqnt_backup。

感谢提供！我试了一下这个项目里面的python脚本，好用是确实好用，很快就能自动解密所有的文件
但是只对我那个100MB的qq db数据库有用

以下截图是我的5Gbqq db数据库，关键的nt_msg.db还是无法解密，得用上面的混合方法

1GB的也无法解密

[kuyunjian]

好像出现了新的问题，第一次是100MB的聊天文件，绝大部分方法混用都有效 第二次，也就是这条comment上面是1.54GB，用windows sqlchipher导出到sql是2.22GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件是1.44GB 第三次，我正在处理一个5.97GB的文件，这次用windows sqlcipher导出到sql只有1.17GB，再用cat nt_msg.sql | sed -e 's|^ROLLBACK;\( -- due to errors\)*$|COMMIT;|g' | sqlite3 nt_msg.db导入回DB文件只剩下了786MB，我猜测是导出到sql的步骤哪里出错了

现在的关键还是这个，5GB的DB文件缩水太多了，也考虑是版本更新导致的屎山代码，感觉这部分要导出群聊记录得另外花大功夫了

[kuyunjian]

我也许应该对5GB的那个DB库分段导出.SQL文件不知道能不能把sql文件完整导出（唯一只导出了1GB多的SQL）

目前在用那个issue#53 的py脚本导出json，但是速度特别慢，，，如果我会搞多线程或者筛选或者分段输入什么的就好了

[html5syt]

目前在用那个issue#53 的py脚本导出json，但是速度特别慢，，，如果我会搞多线程或者筛选或者分段输入什么的就好了

其实我的本意是用这个脚本导出某个群聊的聊天记录，而不是整个数据库
如果真的要解析整个数据库的话，其实可以做一个UI配合，只在需要时对需要查看的部分使用blackboxprotobuf进行解密
如果可以的话也可以使用其他语言（如C++）之类的写，逻辑相同，但是速度会快很多（我太菜了只会py）
使用多线程已经是我能想到的最快的静态解析方法了，如果还要再快那就只能减少无用信息的解析了