Mysql
 sql >> Teknologi Basis Data >  >> RDS >> Mysql

Kafka connect setup untuk mengirim catatan dari Aurora menggunakan AWS MSK

Tidak. Anda dapat mengaktifkan skema di catatan json. Sumber JDBC dapat membuatnya untuk Anda berdasarkan informasi tabel

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Jika Anda ingin menggunakan Schema Registry, Anda harus menggunakan kafkastore.bootstrap.servers .dengan alamat Kafka, bukan Zookeeper. Jadi hapus kafkastore.connection.url

Harap baca dokumen untuk penjelasan semua properti

Tidak masalah. Topik skema dibuat saat Registry pertama kali dimulai

Ya (mengabaikan ruang tumpukan JVM yang tersedia). Sekali lagi, ini dirinci dalam dokumentasi Kafka Connect.

Menggunakan mode mandiri, pertama-tama Anda melewati konfigurasi pekerja koneksi, lalu hingga properti konektor N dalam satu perintah

Menggunakan mode terdistribusi, Anda menggunakan Kafka Connect REST API

https://docs.confluent.io/current/connect/managing/configuring .html

Pertama-tama, itu untuk Sqlite, bukan Mysql/Postgres. Anda tidak perlu menggunakan file quickstart, mereka hanya ada untuk referensi

Sekali lagi, semua properti didokumentasikan dengan baik

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Berikut informasi selengkapnya tentang cara men-debug

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Seperti yang dinyatakan sebelumnya, saya pribadi menyarankan menggunakan Debezium/CDC jika memungkinkan

Konektor Debezium untuk RDS Aurora



  1. Database
  2.   
  3. Mysql
  4.   
  5. Oracle
  6.   
  7. Sqlserver
  8.   
  9. PostgreSQL
  10.   
  11. Access
  12.   
  13. SQLite
  14.   
  15. MariaDB
  1. SQL:NOT IN alternatif untuk memilih baris berdasarkan nilai baris *berbeda*?

  2. Permintaan untuk PHP/MySql DAN/ATAU untuk pencarian lanjutan

  3. Kueri ketika parameter tidak ada Django

  4. bagaimana cara mengambil gambar dari database mysql menggunakan java servlet dan menampilkannya dalam tag img HTML?

  5. Mencapai Failover &Failback MySQL di Google Cloud Platform (GCP)