Kafka para IoT: Streaming de alto rendimiento con clientes React y persistencia en CouchDB

Apache Kafka ofrece una plataforma de streaming tolerante a fallos y de alto rendimiento para la ingesta de telemetría desde dispositivos IoT, el procesamiento en tiempo real y la persistencia en bases de datos como CouchDB.
Esta especificación describe las características de rendimiento, el diseño arquitectónico e incluye un ejemplo de productor en React Native para el seguimiento de flotas.

---

Capacidades de rendimiento

• Throughput (rendimiento):
  • Un solo broker: ~200.000 mensajes/seg (~1 KB por mensaje).
  • Cluster de 5 brokers: escala linealmente hasta 1–2M mensajes/seg.
• Latencia: menos de 10 ms en despliegues LAN, menos de 50 ms entre regiones.
• Durabilidad: Factor de replicación 3 con acks=all asegura que no se pierdan datos.
• Retención: Los topics pueden configurarse por días o semanas, permitiendo relectura y reprocesamiento.

---

Componentes principales

1. Dispositivo IoT (Productor)
   Publica telemetría (ej. datos GPS) hacia Kafka.

2. Brokers Kafka (Backbone)
   Proveen transporte distribuido y duradero de mensajes.

3. Aplicación cliente React (Consumidor)
   Recibe actualizaciones a través de un puente WebSocket/REST para dashboards en tiempo real.

4. Sink CouchDB
   Almacena documentos JSON para consultas, replicación y uso offline-first.

---

Caso de uso: Seguimiento de flotas

• Escala: 5.000 vehículos × 1 actualización/seg → 300.000 mensajes/min.
• Flujo de trabajo:
  • Cada vehículo publica eventos fleet.position con ubicación y velocidad.
  • Kafka particiona los datos por vehicle_id para preservar el orden.
  • El dashboard React muestra el movimiento de la flota en tiempo real.
  • CouchDB almacena los registros para cumplimiento y análisis histórico.

---

Ejemplo de productor personalizado (React Native)

Una aplicación React Native puede actuar como productor Kafka (a través de una pasarela API).
Ejemplo simplificado para un evento fleet.position:

// fleetProducer.ts
import Geolocation, { GeoPosition } from "react-native-geolocation-service";

async function getPosition(): Promise<GeoPosition> {
  return new Promise((resolve, reject) => {
    Geolocation.getCurrentPosition(resolve, reject, {
      enableHighAccuracy: true,
      timeout: 10000,
    });
  });
}

export async function sendFleetPosition(device_id: string, token: string) {
  const pos = await getPosition();

  const event = {
    device_id,
    ts: new Date().toISOString(),
    use_case: "fleet.position",
    schema: "v1",
    payload: {
      lat: pos.coords.latitude,
      lon: pos.coords.longitude,
      speed_kmh: (pos.coords.speed ?? 0) * 3.6, // m/s → km/h
      heading_deg: pos.coords.heading ?? undefined,
      status: "delivering",
    },
  };

  await fetch("https://your-gateway.example.com/ingest", {
    method: "POST",
    headers: {
      "Content-Type": "application/json",
      "Authorization": `Bearer ${token}`,
    },
    body: JSON.stringify({ events: [event] }),
  });
}

Cómo funciona:

• La app móvil captura los datos GPS.
• Se encapsulan en un evento fleet.position.
• El evento se envía a una API de ingesta segura.
• La pasarela publica el evento en un topic de Kafka (fleet.updates.v1).
• Kafka garantiza el orden por vehículo (particionado por device_id).
• CouchDB consume los eventos para un almacenamiento duradero.

---

Beneficios

• Respuesta en tiempo real: menos de 50 ms desde el dispositivo al dashboard.
• Mensajería escalable: millones de mensajes por minuto en grandes flotas.
• Persistencia confiable: CouchDB proporciona almacenamiento JSON con replicación.
• Aplicaciones multiplataforma: React Native funciona en iOS y Android con un único código.

---

Topics de Kafka (ejemplo CLI)

# Posiciones de flota: 12 particiones para ~50k dispositivos a 1 msg/s (ajustar según la carga)
kafka-topics.sh --create --topic fleet.updates.v1 --partitions 12 --replication-factor 3 \
  --config cleanup.policy=delete --config retention.ms=604800000  # 7 días

kafka-topics.sh --create --topic coldchain.temp.v1 --partitions 6 --replication-factor 3 \
  --config retention.ms=259200000  # 3 días

kafka-topics.sh --create --topic driver.panic.v1 --partitions 3 --replication-factor 3 \
  --config retention.ms=1209600000 # 14 días

---

(Opcional) Kafka → CouchDB Sink

Para persistir automáticamente los eventos en CouchDB, se puede configurar un conector Kafka Connect. Ejemplo (pseudo-config):

{
  "name": "couchdb-sink",
  "config": {
    "connector.class": "com.github.couchdb.KafkaCouchDBSinkConnector",
    "tasks.max": "2",
    "topics": "fleet.updates.v1,coldchain.temp.v1,driver.panic.v1",
    "couchdb.url": "http://admin:password@couchdb:5984",
    "couchdb.db.mapping": "fleet.updates.v1:fleet_updates,coldchain.temp.v1:coldchain_temp,driver.panic.v1:driver_panic",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schemas.enable": "false",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter"
  }
}

Nota: No existe un conector CouchDB oficial en Kafka Connect. Opciones:

• Usar un conector CouchDB de la comunidad.
• O enviar los eventos a un topic compactado y usar Kafka Streams / ksqlDB / Flink para escribir en CouchDB vía su API HTTP.

---

Flujo arquitectónico

Dispositivo Vehículo (Productor)
   → Brokers Kafka (Backbone de streaming)
      → Dashboard React (Consumidor vía WebSocket/REST)
      → CouchDB (Almacenamiento y analítica duraderos)

Este patrón escala a decenas de miles de dispositivos IoT, soporta dashboards instantáneos y asegura persistencia de eventos a largo plazo.

---