update spark connector doc for v25.0.1

apache · Mar 5, 2025 · 596fc9b · 596fc9b
1 parent 9a9d0a5
commit 596fc9b
Show file tree

Hide file tree

Showing 6 changed files with 225 additions and 199 deletions.
diff --git a/docs/ecosystem/spark-doris-connector.md b/docs/ecosystem/spark-doris-connector.md
@@ -39,6 +39,7 @@ Github: https://github.com/apache/doris-spark-connector
 
 | Connector | Spark               | Doris       | Java | Scala      |
 |-----------|---------------------|-------------|------|------------|
+| 25.0.1    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
 | 25.0.0    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
 | 24.0.0    | 3.5 ~ 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
 | 1.3.2     | 3.4 ~ 3.1, 2.4, 2.3 | 1.0 ~ 2.1.6 | 8    | 2.12, 2.11 |
@@ -55,14 +56,14 @@ Github: https://github.com/apache/doris-spark-connector
 <dependency>
     <groupId>org.apache.doris</groupId>
     <artifactId>spark-doris-connector-spark-3.5</artifactId>
-    <version>25.0.0</version>
+    <version>25.0.1</version>
 </dependency>
 ``` 
 
 ::: tip
 
 Starting from version 24.0.0, the naming rules of the Doris connector package have been adjusted:
-1. No longer contains Scala version information。
+1. No longer contains Scala version information.
 2. For Spark 2.x versions, use the package named `spark-doris-connector-spark-2` uniformly, and by default only compile based on Scala 2.11 version. If you need Scala 2.12 version, please compile it yourself.
 3. For Spark 3.x versions, use the package named `spark-doris-connector-spark-3.x` according to the specific Spark version. Applications based on Spark 3.0 version can use the package `spark-doris-connector-spark-3.1`.
 
@@ -78,7 +79,7 @@ Starting from version 24.0.0, the naming rules of the Doris connector package ha
 
 When compiling, you can directly run `sh build.sh`, for details, please refer to here.
 
-After successful compilation, the target jar package will be generated in the `dist` directory, such as: spark-doris-connector-spark-3.5-25.0.0.jar. Copy this file to the `ClassPath` of `Spark` to use `Spark-Doris-Connector`. For example, for `Spark` running in `Local` mode, put this file in the `jars/` folder. For `Spark` running in `Yarn` cluster mode, put this file in the pre-deployment package.
+After successful compilation, the target jar package will be generated in the `dist` directory, such as: spark-doris-connector-spark-3.5-25.0.1.jar. Copy this file to the `ClassPath` of `Spark` to use `Spark-Doris-Connector`. For example, for `Spark` running in `Local` mode, put this file in the `jars/` folder. For `Spark` running in `Yarn` cluster mode, put this file in the pre-deployment package.
 You can also
 
 Execute in the source code directory:
@@ -87,21 +88,21 @@ Execute in the source code directory:
 
 Enter the Scala and Spark versions you need to compile according to the prompts.
 
-After successful compilation, the target jar package will be generated in the `dist` directory, such as: `spark-doris-connector-spark-3.5-25.0.0.jar`.
+After successful compilation, the target jar package will be generated in the `dist` directory, such as: `spark-doris-connector-spark-3.5-25.0.1.jar`.
 Copy this file to the `ClassPath` of `Spark` to use `Spark-Doris-Connector`.
 
 For example, if `Spark` is running in `Local` mode, put this file in the `jars/` folder. If `Spark` is running in `Yarn` cluster mode, put this file in the pre-deployment package.
 
-For example, upload `spark-doris-connector-spark-3.5-25.0.0.jar` to hdfs and add the Jar package path on hdfs to the `spark.yarn.jars` parameter
+For example, upload `spark-doris-connector-spark-3.5-25.0.1.jar` to hdfs and add the Jar package path on hdfs to the `spark.yarn.jars` parameter
 ```shell
 
-1. Upload `spark-doris-connector-spark-3.5-25.0.0.jar` to hdfs.
+1. Upload `spark-doris-connector-spark-3.5-25.0.1.jar` to hdfs.
 
 hdfs dfs -mkdir /spark-jars/
-hdfs dfs -put /your_local_path/spark-doris-connector-spark-3.5-25.0.0.jar /spark-jars/
+hdfs dfs -put /your_local_path/spark-doris-connector-spark-3.5-25.0.1.jar /spark-jars/
 
-2. Add the `spark-doris-connector-spark-3.5-25.0.0.jar` dependency in the cluster.
-spark.yarn.jars=hdfs:///spark-jars/spark-doris-connector-spark-3.5-25.0.0.jar
+2. Add the `spark-doris-connector-spark-3.5-25.0.1.jar` dependency in the cluster.
+spark.yarn.jars=hdfs:///spark-jars/spark-doris-connector-spark-3.5-25.0.1.jar
 
 ```
 
@@ -469,30 +470,34 @@ insert into your_catalog_name.your_doris_db.your_doris_table select * from your_
 
 ## Doris & Spark Column Type Mapping
 
-| Doris Type | Spark Type                       |
-|------------|----------------------------------|
-| NULL_TYPE  | DataTypes.NullType               |
-| BOOLEAN    | DataTypes.BooleanType            |
-| TINYINT    | DataTypes.ByteType               |
-| SMALLINT   | DataTypes.ShortType              |
-| INT        | DataTypes.IntegerType            |
-| BIGINT     | DataTypes.LongType               |
-| FLOAT      | DataTypes.FloatType              |
-| DOUBLE     | DataTypes.DoubleType             |
-| DATE       | DataTypes.DateType               |
-| DATETIME   | DataTypes.StringType<sup>1</sup> |
-| DECIMAL    | DecimalType                      |
-| CHAR       | DataTypes.StringType             |
-| LARGEINT   | DecimalType                      |
-| VARCHAR    | DataTypes.StringType             |
-| STRING     | DataTypes.StringType             |
-| JSON       | DataTypes.StringType             |
-| VARIANT    | DataTypes.StringType             |
-| TIME       | DataTypes.DoubleType             |
-| HLL        | Unsupported datatype             |
-| Bitmap     | Unsupported datatype             |
-
-* Note: In Connector, ` DATETIME` is mapped to `String`. Due to the processing logic of the Doris underlying storage engine, when the time type is used directly, the time range covered cannot meet the demand. So use `String` type to directly return the corresponding time readable text.
+| Doris Type | Spark Type              |
+|------------|-------------------------|
+| NULL_TYPE  | DataTypes.NullType      |
+| BOOLEAN    | DataTypes.BooleanType   |
+| TINYINT    | DataTypes.ByteType      |
+| SMALLINT   | DataTypes.ShortType     |
+| INT        | DataTypes.IntegerType   |
+| BIGINT     | DataTypes.LongType      |
+| FLOAT      | DataTypes.FloatType     |
+| DOUBLE     | DataTypes.DoubleType    |
+| DATE       | DataTypes.DateType      |
+| DATETIME   | DataTypes.TimestampType |
+| DECIMAL    | DecimalType             |
+| CHAR       | DataTypes.StringType    |
+| LARGEINT   | DecimalType             |
+| VARCHAR    | DataTypes.StringType    |
+| STRING     | DataTypes.StringType    |
+| JSON       | DataTypes.StringType    |
+| VARIANT    | DataTypes.StringType    |
+| TIME       | DataTypes.DoubleType    |
+| HLL        | DataTypes.StringType    |
+| Bitmap     | DataTypes.StringType    |
+
+:::tip
+
+Since version 24.0.0, the return type of the Bitmap type is string type, and the default return value is string value `Read unsupported`.
+
+:::
 
 ## FAQ
 

diff --git a/...zh-CN/docusaurus-plugin-content-docs/current/ecosystem/spark-doris-connector.md b/...zh-CN/docusaurus-plugin-content-docs/current/ecosystem/spark-doris-connector.md
@@ -38,7 +38,7 @@ Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据
 
 | Connector | Spark               | Doris       | Java | Scala      |
 |-----------|---------------------|-------------|------|------------|
-| 25.0.0    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
+| 25.0.1    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
 | 25.0.0    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
 | 1.3.2     | 3.4 - 3.1, 2.4, 2.3 | 1.0 - 2.1.6 | 8    | 2.12, 2.11 |
 | 1.3.1     | 3.4 - 3.1, 2.4, 2.3 | 1.0 - 2.1.0 | 8    | 2.12, 2.11 |
@@ -54,7 +54,7 @@ Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据
 <dependency>
     <groupId>org.apache.doris</groupId>
     <artifactId>spark-doris-connector-spark-3.5</artifactId>
-    <version>25.0.0</version>
+    <version>25.0.1</version>
 </dependency>
 ```
 
@@ -77,28 +77,28 @@ Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据
 
 编译时，可直接运行 `sh build.sh`，具体可参考这里。
 
-编译成功后，会在 `dist` 目录生成目标 jar 包，如：spark-doris-connector-spark-3.5-25.0.0.jar。 将此文件复制到 `Spark` 的 `ClassPath` 中即可使用 `Spark-Doris-Connector`。 例如，`Local` 模式运行的 `Spark`，将此文件放入 `jars/` 文件夹下。`Yarn`集群模式运行的`Spark`，则将此文件放入预部署包中。
+编译成功后，会在 `dist` 目录生成目标 jar 包，如：spark-doris-connector-spark-3.5-25.0.1.jar。 将此文件复制到 `Spark` 的 `ClassPath` 中即可使用 `Spark-Doris-Connector`。 例如，`Local` 模式运行的 `Spark`，将此文件放入 `jars/` 文件夹下。`Yarn`集群模式运行的`Spark`，则将此文件放入预部署包中。
 也可以
 
 
 2. 在源码目录下执行：
    `sh build.sh`
    根据提示输入你需要的 Scala 与 Spark 版本进行编译。
 
-编译成功后，会在 `dist` 目录生成目标 jar 包，如：`spark-doris-connector-spark-3.5-25.0.0.jar`。
+编译成功后，会在 `dist` 目录生成目标 jar 包，如：`spark-doris-connector-spark-3.5-25.0.1.jar`。
 将此文件复制到 `Spark` 的 `ClassPath` 中即可使用 `Spark-Doris-Connector`。
 
 例如，`Local` 模式运行的 `Spark`，将此文件放入 `jars/` 文件夹下。`Yarn`集群模式运行的`Spark`，则将此文件放入预部署包中。
 
-例如将 `spark-doris-connector-spark-3.5-25.0.0.jar` 上传到 hdfs 并在 `spark.yarn.jars` 参数上添加 hdfs 上的 Jar包路径
+例如将 `spark-doris-connector-spark-3.5-25.0.1.jar` 上传到 hdfs 并在 `spark.yarn.jars` 参数上添加 hdfs 上的 Jar包路径
 ```shell
-1. 上传 `spark-doris-connector-spark-3.5-25.0.0.jar` 到 hdfs。
+1. 上传 `spark-doris-connector-spark-3.5-25.0.1.jar` 到 hdfs。
 
 hdfs dfs -mkdir /spark-jars/
-hdfs dfs -put /your_local_path/spark-doris-connector-spark-3.5-25.0.0.jar /spark-jars/
+hdfs dfs -put /your_local_path/spark-doris-connector-spark-3.5-25.0.1.jar /spark-jars/
 
-2. 在集群中添加 `spark-doris-connector-spark-3.5-25.0.0.jar` 依赖。
-spark.yarn.jars=hdfs:///spark-jars/spark-doris-connector-spark-3.5-25.0.0.jar
+2. 在集群中添加 `spark-doris-connector-spark-3.5-25.0.1.jar` 依赖。
+spark.yarn.jars=hdfs:///spark-jars/spark-doris-connector-spark-3.5-25.0.1.jar
 
 ```
 
@@ -470,31 +470,34 @@ insert into your_catalog_name.your_doris_db.your_doris_table select * from your_
 
 ## Doris 和 Spark 列类型映射关系
 
-| Doris Type | Spark Type                       |
-|------------|----------------------------------|
-| NULL_TYPE  | DataTypes.NullType               |
-| BOOLEAN    | DataTypes.BooleanType            |
-| TINYINT    | DataTypes.ByteType               |
-| SMALLINT   | DataTypes.ShortType              |
-| INT        | DataTypes.IntegerType            |
-| BIGINT     | DataTypes.LongType               |
-| FLOAT      | DataTypes.FloatType              |
-| DOUBLE     | DataTypes.DoubleType             |
-| DATE       | DataTypes.DateType               |
-| DATETIME   | DataTypes.StringType<sup>1</sup> |
-| DECIMAL    | DecimalType                      |
-| CHAR       | DataTypes.StringType             |
-| LARGEINT   | DecimalType                      |
-| VARCHAR    | DataTypes.StringType             |
-| STRING     | DataTypes.StringType             |
-| JSON       | DataTypes.StringType             |
-| VARIANT    | DataTypes.StringType             |
-| TIME       | DataTypes.DoubleType             |
-| HLL        | Unsupported datatype             |
-| Bitmap     | Unsupported datatype             |
-
-* 注：Connector 中，将`DATETIME`映射为`String`。由于`Doris`底层存储引擎处理逻辑，直接使用时间类型时，覆盖的时间范围无法满足需求。所以使用 `String` 类型直接返回对应的时间可读文本。
+| Doris Type | Spark Type              |
+|------------|-------------------------|
+| NULL_TYPE  | DataTypes.NullType      |
+| BOOLEAN    | DataTypes.BooleanType   |
+| TINYINT    | DataTypes.ByteType      |
+| SMALLINT   | DataTypes.ShortType     |
+| INT        | DataTypes.IntegerType   |
+| BIGINT     | DataTypes.LongType      |
+| FLOAT      | DataTypes.FloatType     |
+| DOUBLE     | DataTypes.DoubleType    |
+| DATE       | DataTypes.DateType      |
+| DATETIME   | DataTypes.TimestampType |
+| DECIMAL    | DecimalType             |
+| CHAR       | DataTypes.StringType    |
+| LARGEINT   | DecimalType             |
+| VARCHAR    | DataTypes.StringType    |
+| STRING     | DataTypes.StringType    |
+| JSON       | DataTypes.StringType    |
+| VARIANT    | DataTypes.StringType    |
+| TIME       | DataTypes.DoubleType    |
+| HLL        | DataTypes.StringType    |
+| Bitmap     | DataTypes.StringType    |
+
+:::tip
 
+从 24.0.0 版本开始，Bitmap 类型读取返回类型为字符串，默认返回字符串值 Read unsupported。
+
+:::
 
 ## 常见问题
 1. **如何写入 Bitmap 类型？**

diff --git a/...N/docusaurus-plugin-content-docs/version-2.1/ecosystem/spark-doris-connector.md b/...N/docusaurus-plugin-content-docs/version-2.1/ecosystem/spark-doris-connector.md
@@ -38,7 +38,7 @@ Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据
 
 | Connector | Spark               | Doris       | Java | Scala      |
 |-----------|---------------------|-------------|------|------------|
-| 25.0.0    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
+| 25.0.1    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
 | 25.0.0    | 3.5 - 3.1, 2.4      | 1.0 +       | 8    | 2.12, 2.11 |
 | 1.3.2     | 3.4 - 3.1, 2.4, 2.3 | 1.0 - 2.1.6 | 8    | 2.12, 2.11 |
 | 1.3.1     | 3.4 - 3.1, 2.4, 2.3 | 1.0 - 2.1.0 | 8    | 2.12, 2.11 |
@@ -54,7 +54,7 @@ Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据
 <dependency>
     <groupId>org.apache.doris</groupId>
     <artifactId>spark-doris-connector-spark-3.5</artifactId>
-    <version>25.0.0</version>
+    <version>25.0.1</version>
 </dependency>
 ```
 
@@ -77,28 +77,28 @@ Spark Doris Connector 可以支持通过 Spark 读取 Doris 中存储的数据
 
 编译时，可直接运行 `sh build.sh`，具体可参考这里。
 
-编译成功后，会在 `dist` 目录生成目标 jar 包，如：spark-doris-connector-spark-3.5-25.0.0.jar。 将此文件复制到 `Spark` 的 `ClassPath` 中即可使用 `Spark-Doris-Connector`。 例如，`Local` 模式运行的 `Spark`，将此文件放入 `jars/` 文件夹下。`Yarn`集群模式运行的`Spark`，则将此文件放入预部署包中。
+编译成功后，会在 `dist` 目录生成目标 jar 包，如：spark-doris-connector-spark-3.5-25.0.1.jar。 将此文件复制到 `Spark` 的 `ClassPath` 中即可使用 `Spark-Doris-Connector`。 例如，`Local` 模式运行的 `Spark`，将此文件放入 `jars/` 文件夹下。`Yarn`集群模式运行的`Spark`，则将此文件放入预部署包中。
 也可以
 
 
 2. 在源码目录下执行：
    `sh build.sh`
    根据提示输入你需要的 Scala 与 Spark 版本进行编译。
 
-编译成功后，会在 `dist` 目录生成目标 jar 包，如：`spark-doris-connector-spark-3.5-25.0.0.jar`。
+编译成功后，会在 `dist` 目录生成目标 jar 包，如：`spark-doris-connector-spark-3.5-25.0.1.jar`。
 将此文件复制到 `Spark` 的 `ClassPath` 中即可使用 `Spark-Doris-Connector`。
 
 例如，`Local` 模式运行的 `Spark`，将此文件放入 `jars/` 文件夹下。`Yarn`集群模式运行的`Spark`，则将此文件放入预部署包中。
 
-例如将 `spark-doris-connector-spark-3.5-25.0.0.jar` 上传到 hdfs 并在 `spark.yarn.jars` 参数上添加 hdfs 上的 Jar包路径
+例如将 `spark-doris-connector-spark-3.5-25.0.1.jar` 上传到 hdfs 并在 `spark.yarn.jars` 参数上添加 hdfs 上的 Jar包路径
 ```shell
-1. 上传 `spark-doris-connector-spark-3.5-25.0.0.jar` 到 hdfs。
+1. 上传 `spark-doris-connector-spark-3.5-25.0.1.jar` 到 hdfs。
 
 hdfs dfs -mkdir /spark-jars/
-hdfs dfs -put /your_local_path/spark-doris-connector-spark-3.5-25.0.0.jar /spark-jars/
+hdfs dfs -put /your_local_path/spark-doris-connector-spark-3.5-25.0.1.jar /spark-jars/
 
-2. 在集群中添加 `spark-doris-connector-spark-3.5-25.0.0.jar` 依赖。
-spark.yarn.jars=hdfs:///spark-jars/spark-doris-connector-spark-3.5-25.0.0.jar
+2. 在集群中添加 `spark-doris-connector-spark-3.5-25.0.1.jar` 依赖。
+spark.yarn.jars=hdfs:///spark-jars/spark-doris-connector-spark-3.5-25.0.1.jar
 
 ```
 
@@ -470,31 +470,34 @@ insert into your_catalog_name.your_doris_db.your_doris_table select * from your_
 
 ## Doris 和 Spark 列类型映射关系
 
-| Doris Type | Spark Type                       |
-|------------|----------------------------------|
-| NULL_TYPE  | DataTypes.NullType               |
-| BOOLEAN    | DataTypes.BooleanType            |
-| TINYINT    | DataTypes.ByteType               |
-| SMALLINT   | DataTypes.ShortType              |
-| INT        | DataTypes.IntegerType            |
-| BIGINT     | DataTypes.LongType               |
-| FLOAT      | DataTypes.FloatType              |
-| DOUBLE     | DataTypes.DoubleType             |
-| DATE       | DataTypes.DateType               |
-| DATETIME   | DataTypes.StringType<sup>1</sup> |
-| DECIMAL    | DecimalType                      |
-| CHAR       | DataTypes.StringType             |
-| LARGEINT   | DecimalType                      |
-| VARCHAR    | DataTypes.StringType             |
-| STRING     | DataTypes.StringType             |
-| JSON       | DataTypes.StringType             |
-| VARIANT    | DataTypes.StringType             |
-| TIME       | DataTypes.DoubleType             |
-| HLL        | Unsupported datatype             |
-| Bitmap     | Unsupported datatype             |
-
-* 注：Connector 中，将`DATETIME`映射为`String`。由于`Doris`底层存储引擎处理逻辑，直接使用时间类型时，覆盖的时间范围无法满足需求。所以使用 `String` 类型直接返回对应的时间可读文本。
+| Doris Type | Spark Type              |
+|------------|-------------------------|
+| NULL_TYPE  | DataTypes.NullType      |
+| BOOLEAN    | DataTypes.BooleanType   |
+| TINYINT    | DataTypes.ByteType      |
+| SMALLINT   | DataTypes.ShortType     |
+| INT        | DataTypes.IntegerType   |
+| BIGINT     | DataTypes.LongType      |
+| FLOAT      | DataTypes.FloatType     |
+| DOUBLE     | DataTypes.DoubleType    |
+| DATE       | DataTypes.DateType      |
+| DATETIME   | DataTypes.TimestampType |
+| DECIMAL    | DecimalType             |
+| CHAR       | DataTypes.StringType    |
+| LARGEINT   | DecimalType             |
+| VARCHAR    | DataTypes.StringType    |
+| STRING     | DataTypes.StringType    |
+| JSON       | DataTypes.StringType    |
+| VARIANT    | DataTypes.StringType    |
+| TIME       | DataTypes.DoubleType    |
+| HLL        | DataTypes.StringType    |
+| Bitmap     | DataTypes.StringType    |
+
+:::tip
+
+从 24.0.0 版本开始，Bitmap 类型读取返回类型为字符串，默认返回字符串值 Read unsupported。
 
+:::
 
 ## 常见问题
 1. **如何写入 Bitmap 类型？**
@@ -589,4 +592,5 @@ insert into your_catalog_name.your_doris_db.your_doris_table select * from your_
     // your own options
     .mode(SaveMode.Append)
     .save()
-   ```
+   ```
+