为了减少用户在现有数据架构中集成 RisingWave 的麻烦,我们尽可能地支持所有主流的数据格式、工具和系统。
然而,由于资源有限短时间无法实现这个目标。本文为大家整理了 RisingWave 目前对于所有主流数据格式、工具和系统的支持状态。
RisingWave 可以将数据 Sink 到 Kafka,所以其能够间接将数据 Sink 到任何可从 Kafka 进行数据摄取的系统。本文所有表格 Sink 状态一栏:
- “可用”表示该系统已有直接的 Sink 连接器。
- “正在研究”表示尚无直接的 Sink 连接器,但如果该系统能够从 Kafka 进行数据摄取,仍然可以使用。
1. 消息代理或流服务
| 代理或流服务 | Source | Sink |
|---|
| Apache Kafka | 可用 | 可用 |
| Amazon MSK | 可用 | |
| Apache Pulsar | 可用 | 可用 |
| Confluent Cloud | 可用 | |
| DataStax Astra Streaming | 可用 | 正在研究 |
| EMQX | 可用 | 可用 |
| Google Pub/Sub | 可用 | 可用 |
| HiveMQ | 可用 | 可用 |
| Kinesis Data Streams | 可用 | 可用 |
| RabbitMQ | 正在研究 | 正在研究 |
| Redpanda | 可用 | 可用 |
| StreamNative Cloud | 可用 | 正在研究 |
| NATS / NATS JetStream | 可用 | 可用 |
2. ETL/ELT 和数据集成
| 系统 | 可用性 |
|---|
| Airbyte | 正在研究 |
| Census | 正在研究 |
| dbt | 可用 |
| Fivetran | 正在研究 |
| Hightouch | 正在研究 |
| Vector | 可用 |
| migrate | 可用 |
3. 查询引擎
| 系统 | 可用性 |
|---|
| Apache Spark | 正在研究 |
| AWS Athena | 正在研究 |
| Presto | 可用。 |
| Trino | 可用。 |
| GraphQL | 可用。 |
4. 数据库
4.1 PostgreSQL
| 系统 | Source | Sink |
|---|
| Postgres | 可用 | 可用 |
| AWS RDS (Postgres) | 可用 | 可用 |
| AWS Aurora (Postgres) | 进行中 | 正在研究 |
| Citus Data | 可用 | 正在研究 |
| Neon | 可用 | 正在研究 |
4.2 MySQL
| 系统 | Source | Sink |
|---|
| MySQL | 可用 | 可用 |
| AWS RDS (MySQL) | 可用 | 可用 |
| AWS Aurora (MySQL) | 进行中 | 正在研究 |
4.3 其他数据库
| 系统 | Source | Sink |
|---|
| Amazon DynamoDB | 进行中 | 可用 |
| Apache Druid | 无计划 | 正在研究 |
| Apache Pinot | 无计划 | Pinot 支持从 Kafka、Pulsar 和 Kinesis 摄取数据。 |
| AWS Redshift | 无计划 | 正在研究 |
| ClickHouse | 无计划 | 可用 |
| CockroachDB | 正在研究 | 可用 |
| DataStax Astra DB & Cassandra & ScyllaDB | 正在研究 | 可用 |
| Db2 | 正在研究 | 正在研究 |
| Elasticsearch | 无计划 | 可用 |
| Greenplum | 无计划 | 正在研究 |
| Google BigQuery | 无计划 | 可用 |
| MongoDB | 可用 | 正在研究 |
| Oracle Database | 正在研究 | 正在研究 |
| OpenSearch | 无计划 | 可用 |
| Redis | 正在研究 | 可用 |
| Snowflake | 无计划 | 可用 |
| SQL Server | 可用 | 可用 |
| StarRocks | 无计划 | 可用 |
| TiDB | 可用 | 可用 |
5. 数据湖
| 系统 | 可用性 |
|---|
| Delta Lake | 可用 |
| Apache Hudi | 正在研究 |
| Apache Iceberg | 可用 |
6. BI 和数据分析平台
| 系统 | 可用性 |
|---|
| Apache Superset | 可用 |
| Beekeeper Studio | 可用 |
| Bytebase | 可用 |
| Cube.js | 可用 |
| DBeaver | 可用 |
| Grafana | 可用 |
| Jupyter Notebook | 可用 |
| Looker | 可用 |
| Metabase | 可用 |
| Redash | 可用 |
| DataGrip | 正在研究 |
| PgAdmin | 正在研究 |
| Hex | 可用。对于此集成,您可以直接使用 Hex 的 PostgreSQL 数据连接。 |
7. 其他系统
| 系统 | 可用性 |
|---|
| Alluxio | 正在研究 |
| Datadog | 正在研究 |
| Google Cloud Storage (GCS) | 作为 Source 可用 |
| Hasura | 正在研究 |
| Liquibase | 正在研究 |
| Supabase | 可用 |
8. 总结
以上就是 RisingWave 截止 1.10 版本对所有主流的数据格式、工具和系统的支持情况概览,更加详细的支持和操作信息请参考官方文档。
如果某个连接器或集成对您至关重要但尚未被支持,请在本推文下留言通知我们,或者点击文档集成页面相应单元格中的点赞图标,我们将根据系统的请求数量来安排开发顺序。 如果您希望在连接器或集成可用时收到通知,您可以点击小铃铛图标并输入您的电子邮件地址。