A high-throughput, cloud-native market-data ingestion and distribution engine built with Python 3.11, FastAPI, and TimescaleDB. Handles real-time tick data, OHLCV aggregation, and serves pricing microservices via async REST and WebSocket endpoints.
Architecture
Ingestion layer: async producers consuming exchange feeds and vendor APIs
Storage: TimescaleDB for time-series, Redis for hot-path caching
API: FastAPI with SQLAlchemy async, Pydantic v2 validation
Deployment: Kubernetes, GitHub Actions CI/CD
Key Features
Sub-millisecond write latency at scale
Configurable retention and compression policies
Instrument normalisation across multiple data vendors
Eine hochdurchsatz-fähige, Cloud-native Marktdaten-Ingestion- und Verteilungs-Engine, gebaut mit Python 3.11, FastAPI und TimescaleDB. Verarbeitet Echtzeit-Tick-Daten, OHLCV-Aggregationen und bedient Pricing-Microservices über asynchrone REST- und WebSocket-Endpunkte.
Was gebaut wurde
Marktdaten-Engine
Asynchrone Producer, die Börsendaten und Anbieter-APIs konsumieren. Sub-Millisekunden-Schreiblatenz bei hoher Last, konfigurierbare Aufbewahrungs- und Komprimierungsrichtlinien.
Pricing-Microservices
FastAPI-basierte Microservices für Multi-Asset-Pricing — mit SQLAlchemy async und Pydantic v2 Validierung. Vollständiger Audit-Trail für regulatorisches Reporting.
Risikopipelines
Asynchrone Risikoberechnungspipelines mit Redis für Hot-Path-Caching und TimescaleDB für Zeitreihen-Persistenz.