跳至主要内容

MarketBridge:一個面向量化研究的 Rust 市場資料層

· 閱讀時間約 27 分鐘
w0x7ce
MySelf

发布于 2026-05-21 22:13:51(微信公众号导出记录)。

本文来自公众号后台的“导出文章内容”功能。博客正文由导出长图进行本地 OCR 转写,并保留原始排版图用于逐段核对。

原文链接:查看原文

OCR 转写有效文字约 15508 字;代码、流程图和版式以文末原始排版图为准。

正文(本地 OCR 转写)

original wex7ce EI V1ajero 2026年5月21日 22:14 日本 最近在持绩选代一個專系:MarketBridge。 https://github. com/okloorcl/MarketBridge README MarketBridge n , sentment data. Marketrdge nmalles pubilc data, caches reh state, mars stale records and expses ne stable AP sufcer dwnstremreearch system5. Curent vwersion: ve.4.3 中文文档 Jcwres NCT 它的定位很克制: MarketBridge是一個面向量化研究的資料服務,目標是把多個公開市场資料源整理成相 對统一的REST/WebSocket/本地資料湖介面。它只做資料,不做下單。 遗的“只做資料,很重要。 MarketBridge不是交易機器人,不是自勐交易框架,也不是策略平台。它不托管資金,不飘 行打單,不需要交易權限,也不承諾任何收益。 它更接近量化研究系统前面的一基碳設施:负賣接入公醒資料、棵化资料、继携最新快照、 提供即時或掌即時资料流、按塞存歷史资料,亚露資料源状患、基监控、品質資訊和AI /Agent 友好的上下文介面。 這篇文童想把它目前能做什座、怎磨用、不能做什座、還存在哪些遗界,债量客地鼓清楚。

一、為什磨先做资料唇

做量化研究时,大家很容易先时涂策略、模型、回测和行。 但真正開始勤手後,資料唇往往是第一批瓶颈。 不同交易所和資料源之同存在很多差异:

  • symbol 命名不一致

  • 现貨、永續、期貨、期權的資料结橘不一致

  • 訂單薄、成交、資金率、持逾量、强平等榴位告不相同

  • WebSocket 和 REST 的剧新方式不同

  • 有些来源不需要APIkey,有些来源需要

  • 有些資料是即時推送,有些資料只能定時输詢

  • 歷史资料有善通 OHLCV,也有 mark、index、premiumIndex、funding_rate 等特殊

candle

  • 資料可能延速、退期、缺失、重视或出现位异常

  • 下游研究系统需要回放和復算,但即時快取重後就富丢失

如果每一因研究本都自己虑理這些周随,专案很快會费成一堆耀继着的adapter。 因此,先做一個强立的资料層,把這些重工程集中虚理。後面的研究系统只需要面到相對统一 的介面,而不是直接面到频十個外部API。

二、MarketBridge目前是什磨

MarketBridge 目前是一個 Rust 實现的市场資料服務。 它主要做展件事:

1.设定樓中用不同公開資料源

?.執行各類 connector 探集资料

3.将資料送入内部 router 和event bus

1.维薄显新 snapshot

5.透過REST API 回傅目前快照

3.透過WebSocket 推送即時或掌即時资料

7.透過 SQLite 保存工作想kline 和本地翼料湖manifest

3.透退Parquet 按震存歷史 candle分區

3. 暴霉 catalog、health Prometheus metrics

3.露 universe、research features、agent context 等研究友好介面

目前版本的重黏是研究資料接入:「统一查詢介面:按需歷史資料保存和"AI/Agent 可消费的資料上下文:,不是交易執行。 它比较適合作為:

  • 量化研究的资料输入唇

  • 因子挖掘的資料上下文服務

  • 多資料源监控與除销工具

  • 内部研究平台的資料底座

  • 史candle和資料品置棱查的量本地資料湖

  • 後因子验證、AI分析流程、Agent工作流的前置服務

三、目前覆盖的資料型别

下面這张表接照目前專案程式碼能力整理。需要注意:不同資料源的公開能力不同,某些帽位只 有在交易所或第三方服精實際提供時才會有資料。 保存方式 资料型别 目前能力 典型用途 價格基率、 现货quo 统一b1d、ask、mid 類行情快照 記惊快照 跨交易所比 te 较 衍生品状 永quo perp bid/ask,部分束源包含 mar 慧、期現廊 記惊险快照 k、funding 等位 te 侨 深度、流動 L2 訂量 保存最新bids/asks 快照 性、蟹口圣 记德快照 薄 力 主勤買页方 最新快照+滚動 保存最新trade 事件,亚疆勐order 向、成交强 公用成交 flow 記慎视窗 度 悍成本、 保存公资会费率快照 記憶情快照 Funding 摄度靓察 uI uado 保存公限持意量快照 记憶体快照 收缩翻察 terest Liquida 去悍和凰 記像快照 保存公限强平事件 t1ons 隆状想翻察 回测、因子 SQLite 工作康, SQLite 储存 OHLCV; 支援 REST ba 针算、Un1v KL1nes 可按需窝Parque ckfilL 和即時聚合 erse 髓通 衍生品雁史 按需REST Binance / OKX 支援 mark、inde 研究、资金 特殊歷史 取,可窝 Parque x、 funding_rate: Binance 支握 p candles 資率regim remiumIndex t e 基玲quote cache 甘算 spot-perp 期現结横研 Bas1s basis 究 buy/sell qty、 notional, delta、 0rder F 短通期資金 滚助配愤错聚合 VTUe1 滚勤记憶程聚合 Low CVD、 大单徽、 aggressive ratio 流察 price-bin volume profile, bid/ ask amount, per-price delta、1 微结概研 Footpr1 滚勤配憶帽聚合 滚动配愉體聚合 mbalance, stacked imbalance, m nt 究 1n/max delta volume、 percent change, volati 即时計算+kl1n Univers lity、 spread、 cross-market、 mar e / quote / e 市場池赣通 市场池脑通 e Engin ket cap、age, listing、 delist-r xternal signa isk rolling returns, volume, reali Researc 因子前處 zed vol、z-score, correlation, h Featu 理、研究特 即時計算 basis/funding/0I/liquidity reg 微包 res 1me Derib1t / 0KX/ Byb1t / B1nanc 波动率和期 快取 Options 限结碘研究 e期键快照 CLOB book、midpoint、 spread、pr 预测市場和 快取+ REST wr Polymar 事件研究 ket ice history 等介面 Jadde DeF1 qu ote / p 硬上流封性 Jupiter、 Raydium, Uniswap、 Para 記偿快照 Swap、11nch,DexScreener 等 参考 0ol pr1 ce TradF1 宏regim referen DXY、VIX、US10Y 等 记憶快照 e filter ce 聚合行借 CoinGecko, CoinCap. CoinMarket 外部参考资 quote / exter /衍生指 Cap、 CoinGlass, Custon API nal signal Fear & Greed, CryptoPanic, San external sign 情绪資料 情鳍退滤器 t1ment, LunarCrush al 大颜韩帐和 Whale Alert、mempool.space、Et 键上资料 狮立 store 包监控 herscan watched addresses AI / Agen Agent C 量目前快照、保存manifest、可用 即時聚合 t工作流 ontext 能力和推离下一步呼叫 遗张表不是说每個交易所、每個市場、每图位都端是完整可用。更链地规,MarketBridge 提供统一的资料接入框架和介面表面;實魔可用資料取决龄段定、APIkey、公阙可達性、第三 方服释状態,以及封惠资料源是否公開提供旅榈位,

四、它和CCXT、Hummingbot、Freqtrade 的差翼

MarketBridge 和 CCXT、Hummingbot、Freqtrade 不是同一原工具。 CCXT更像通用交易所APISDK.它通合在程式直接呼叫交易所介面。使用CCXT時,鹰 用仍然需要自已虚理資料快取、即時流、一schema、服務化介面、健康检查、监控和歷史资 料落盟, Hummingbot更偏交易機器人和策略行框架,重點是速接交易所亚敦行做市、套利等蛋略。 Freqtrade更偏完盈策略研究和交易概器人框架,包含pairlist、回测、策略介面、部分 orderfLow/FreqAI特微工程能力。它對研究很有参考借值,但它的目福不是做立的资 料服释。 如是用更直接的一句話區分: CCXT是SDK,Freqtrade 是策略框架,MarketBridge 是可通行的资料股和本地 研究资料湖。 MarketBridge 的定位更窄,也更明:

  • 不模接CCXT

  • 不依赖 Hummingbot 執行

  • 不做下单

  • 不虑理资金

  • 不需要交易權限

  • 不做策略回测敦行器

  • 不做AI模型訓续框架

  • 重贴是公阅市場資料的探集、模弹化、快照、流式分發、按需歷史保存和研究特微輸出

它不是為了替代這些專,而是作為一個狮立的资料服務,為後缩研究系统提供更统一的资料入 口

五、目前架構概

MarketBridge 内部大致可以分成眉。

图核心模组的酸责如下: 模组 磁贵 敏勤管理各個资料源任務,滤理重速和backoff SourceRuntime 把 connector 生的 DataEvent 送入内部 channel SourceContext 把 source 資料分聚 event bus 和 aggregator EventRouter 维展通道和 snapshot store EventBus EventSnapshot 保存显新 quote、funding、OI、trade、order book 等快照 Store OrderFlowStor 基於trade事件维薄order flowbucket和footprint rol Ling buffer e KlineStore SQLite 鳞存 OHLCV,支援 REST backfill 和B即時 tick 聚合 按需寫 Parquet 分區,亚用 SQLite 保存 manifest 和品質元 DataLakeStore 資讯 提供 REST、history、storage、universe,research、agen api/routes/* t、WebSocket 等介面 可選地把事件离入 Redis Strean,亚提供deadletter redis_sink 601e1e3 catalog 暴露资料源、domain、instrument 和 API key 默態 按幂歷史资料湖的离入路径如下:

公XEVajero 這径的期键贴是:不用的資料不存;只有請求翻式带persist=true才會寫入本地瓷料湖。

六、個工程設計節

下面這些是目前程式碼理已提有封应實现的設計黏。這理偿量用潭確表述,不把它说成已經解决 所有問题。

1.慢WebSocket用户端不會直接阻塞生產者

MarketBridge使用tokio:brcadcast给不同消意者分登事件。每图WebSocket 速综 都有自己的receiver。 如果某自用户端消费太慢,它营出现Lagged,服務管纪缝warning,亚继绩處理後續讯 息。WebSocket send 也有超時控制,预设 3000ms,可以造巡段定修改。 這意味著慢用户端不题敲直接阻塞資料源探集任猜。但如果系统整锥容量不足,仍然需要根擦實 際吞吐调整行列、部署资漂和订開方式,

2.高频事件做了基硬解耦,但還不是完全零製

Eventbus中摘展市场事件使用ArcsDataEventa廣播,这可以减少按訂园者装大物件 的情况,尤其是訂单薄道频包含bids/asks的事件。 但目前實現或不是完全零硬聚。router 分验時仍然存在一次DataEventcLone, snapshotstore保存最新诗也clone 别愿物件。 更藏罐的职法是: 目前已經减少了按訂開者福裂,但打单随熟路径仍有進一步侵化空間。

3.Redis寫入失有重試和deadletter

Redis sink 是可逻功能。 敏用後,MarketBridge批次离入Redis Stream。如果寫人失胶,重试多次亚試重 速。多次失後,批次會官入 JSONL deadletter 案,预经路径是: data/redis_dead_letters . 1sonl 棉系入放在blocking task中執行,避免直接阻塞 tokio worker。 这不是说Redis离入永還不曾丢资料,而是说目前實现不曾在多次寒入失败後静默忽略:它鲁 留下 dead Letter 記,方便後續排查和捕。

4.Freshness/stale已覆蓝一部分標化瓷料

棵化quote 使用DataEnvelope,其中包含:

  • ts_source

  • ts rereived

  • latency_ns

  • stale

期權快取和Polymarket 快取也有stale 标記。 不遇,目前 funding、open interest、trade、liquidation、order book 等 REST 快照仍然主要回傅raw snapshot 结,包含ts_ns,還没有全部统一成带完整Freshne 5s的 envelope, 所以這理的弹殖設法是: quote、options、prediction book 已經有比较明的 freshness / stale 機 制;其他market snapshot 後續荒要统一.

5.APIkey缺失會暴露到catalog

對需墨 API key 的来源,例如 CoinMarketCap、CoinGlass、FRED、CryptoPanic、 Santinent、LunarCrush、Whale Alert、Etherscan 等,MarketBridge 鲁在 catalog 中標记状感。 如果某個来源已經敏用,但key没有設定,富期示: enabled_missing_api_key 這對谨继和除错很重墨,因為它可以显分“来源故用:和来源敏用了但缺key1。

6.不同domain可以獨立訂

WebSocket/v1/strean 支援技 domain ,例如:

  • market_quote

buipurny· open_interest trade

  • liquidation

  • order_book

  • external_signal

  • prediction_book

如果只訂明單一事件domain,程式走对度 domain channel:如果訂多個domain, 盲走混合事件流亚做通淘。 這旗消費者可以只拿自己雨心的资料,而不是接收所有事件後再自己遇湿。

7.歷史资料是按需储存,不预設全量寫盤

目前宽现中,/vi/history/candles和/vl/market/klines都支援persist=true。 只有额式较定persist=true時,回傅的資料才盲寫人本地 Parquet 資料湖。 這様做的原因是:

  • 不需要的资料不占碰镰

  • 可以先只储存BTCUSDT、ETHUSDT、SOLUSDT 等重贴標的

  • 可以按研究任释储存 mark/ index/premiunIndex/ funding_rate candle

  • 可以透透manifest查看娜些资料已经存在

  • 可以透透deleteendpoint到除不需要的分區

目前本地Lake结标大致是: data/lake/ /spueugeuop donain=candles/ exchange=binance/ market=perp/ 5yr bol=BTCUSDT/ interval=1n/ /xusad4 a1pue3 candle_type=mark/ day-2026-85-21/ /12-58-9z0z=Aep part-*, parquet SQLite manifest 記疑:

  • rowS

  • bytes

  • file path

  • first / last timestamp

  • latest watermark

  • gap count

  • duplicate count

  • coverage ratio

  • latency p5e / p95

  • stale count

8.AgentAPI是资料的,不是交易代理

目前程式码新增了雨個Agent友好介面:

  • GET /vl/agent/cepabilities

它們的目棵是AI/Agent 不需要自已拼很多endpoint,就能捶得:

  • 目前quote/ funding/ OI快照

  • 可用能力列表

  • 推震下一步呼叫

  • 可選 storage manifest

  • 明的 data-only 界

这個Agentmode不是自動交易模式,不會握有下单權限,也不會输出策路保證。

七、對外介面

常用REST 介面包括: 介面 就明 Systen GET /health 健康榜查 GET /v1/catalog/sources Catalog 資料源和 APIKey 获 GET /v1/catalog/source-roadin Catalog connector 蛋盖和来源路線圈 ap domain/source 记蜂數和新鲜 Catalog GET /v1/catalog/health 度 GET /v1/catalog/domains Catalog 已支援的資料domain Catalog 目前可見 instrument GET /v1/catalog/instruments quote 快照 GET /v1/market/quotes Market Market GET /v1/market/order -books 訂單薄快照 显新公關成交 Market GET /v1/market/trades GET /v1/market/funding Market funding 快照 Market 0I快照 GET /v1/market/open-interest GET /v1/market/L1qu1dations Market 11quidat1on 快照 SQLite kline:可按需腐 Parq GET /v1/market/kl1nes Market uet Market GET /v1/market/basis stseq duad-ods 0rderflo GET /v1/market/order-flow 單視窗 order flow GET /v1/market/order-flow/w1 0rderflo 多視窗order flow/ CVD ndows W 0rderflo GET /v1/market/footprint footprint profile 特殊原史cande,支援按需Par History GET /v1/history/candles quet Storage 本地Lake manifest GET /v1/storage/manifest DELETE /v1/storage/partit1on Storage 剔除本地lake分區 5 Universe GET /v1/un1verse/top-volume 成交量筛遵 GET /v1/universe/percent-cha 涨跌帽静溢 Un1verse nge Universe GET /v1/universe/volatility GET /v1/universe/spread-filt spread 都選 Universe er GET /v1/universe/cross-marke spot/perp 和跨市场可用性 Universe t GET /v1/universe/market-cap 市值排序 Universe Universe GET /v1/universe/age-filter 上市年岭薛選 GET /v1/universe/new-listing Universe 新上市候道 5 Universe delist risk 觀察 GET /v1/universe/delist-risk GET /v1/research/features 研究特微包 Research GET /v1/research/market-reg1 Research 市堤regime 快照 ou AI / Agent 友好上下文 GET /v1/agent/context Agent GET /v1/agent/capabilities AI/ Agent 可用能力 Agent GET /v1/opt1ons/cha1ns 期捷 Opt1ons Predicti GET /v1/pred1ct1on/books Polynarket book on GET /v1/external/s1gnals 聚合、宏觀、情储等外部信號 External ueq -uo GET /v1/onchain/transfers 大额键上轉幅 Metrics GET /metrics Prometheus metrics 事案狸仍然保留了一些莓版相客介面,例如/snapshot、/funding、/Spread、/optian 5/*、/polymarket/等,方便早期图本耀绩使用;折的研究系统建優先使用/v1/。 即時流介面: WS /v1/strean 示例: npx wscat -c "us://127.o.a.1:8080/vl/stream?donains-market_quote,trade,

八、一個最小使用流程

原始碼執行: cd MarketBridge MARKETBRIDGE_coNFIG= /config - yanl cargo run

或使用编後的二进位楼: MARKETBRIDGE_coNFIG= /config yanl /market -bridge 检查服務: Curl -s http: //127.0.0.1:808/health 1 1q TERMINAL [base)x7cegTienjuiceMecBook-Pro AACC curl s http/127,e,8.1:88e/health 1 jq ok": true base) uebx7cegTienjuidetlacBookPro AACC a 查看资料源状据: curl -s "http://127.0.e.1:8080/vl/catalog/sources* | 1q

th": src/connectors/cex,

查看行侨: curl -s "http:/127.0.0.1:8080/v1/market/quotes?synbols=BTcusDT* | jq se) vx7cngTierjuideMacBeskro ACC curl s http://127,e,8l1:aeea/vl/arket/quetes?symbols=TUSoT 1 _quote, reshness":( rypto",

d“BTC-USDT-PERP*

查看汀单薄: curl -s "http://127.0. e. 1:8080/v1/market/order-books?symbols=BTcUsDT&na

qtye::.7139.9,

查看funding: curl -s "http://127.0.0.1:8080/v1/market/funding?symbols=BTcUsDT* I 1q

s: 1779379288669, 177937211828 : ssll,

查看order flow: "http://127.0.B.1:8089/v1/market/order-flow7symbol=8TcusDT5wind

查看footprint: curl -s "http://127.B.B.1:Hg8a/v1/market/faatprint7exchange=hinance5nar

按幂拉取亚存 Binance mark price candle: curl -s "http://127.0.0.1:8080/v1/history/candles?exchange=binanceasymb

按拉取亚存 Binance premiumIndex candle:

按幂拉取或铺存OKXfunding_rate 愿史: curl -s "http://127.0.0.1:8080/v1/history/candles?exchange=okx&synbol=B'

查看本地 Lakemanifest: pqu/sgs1pues=utuoe1setueu/afeso1s/ta/0se8:1'a'a zt//:d11u. 5- 1ns

剩除不需要的本地分區: curl -x DELETE *http://127.0.0.1:808e/v1/storage/partitions?donain=cand

查看Agent 上下文: curl -s "http://127.6.B.1:8a89/v1/agent/context7synbols=BTcusDT,ETHUSDT.

这些介面回傅的是研究原材料和瓷料特微,不是交易建罐。

九、它可以如何辅助量化研究

MarketBridge不判暨買實方向,也不验證策略有效性 它提供的是更容易被研究系统消費的资料。基於运些资料,可以进一步造和验调因子。

1.Basis 因子

基龄 spot quote 和 perp quote,可以計算現貨和永之周的 bas1s. 这知因子可以用於截察:

  • 期現结横

  • 资金费率璟境

  • 跨交易所圾價差具

  • 捍市場是否過熟

需要注意的是,basis本身不是策略。它退需要结合手續費、滑點、資金貢率、持愈通期和围 酸约束验。

2.Funding/OI/Mark/Index歷史研究

新增的/v1/history/candles可以按需拉取:

  • spot

  • futures / perp

  • mark

  • 1ndex

  • prem1umIndex

  • funding_rate

这些资料封衍生品研究很重要。例如:

  • mark 奥index 的偏雕

  • premiunIndex 的時司序列曼化

  • funding_rate 的 regime 切换

  • funding+0I 的组合状想

  • 便格下跌但0I不降反升時的加横标行為

这些史candle 可以透過persist=true寫入本地 Parquet,後續给回测、特微工程或 notebook 取

3.0rder Flow和Footprint 因子

基铃trade事件,可以聚合主勤買賣暨力。 目前order flow支援:

  • buy qty / sell qty

  • buy notional / sell notional

  • buy trade count / sell trade count

[euotou e1ap / Aqb eap *

  • CVD

  • large trade count

0ie1 11as / Anq assau66e . Footprint 進一步提供:

  • 每根bucket 的raw trade 可選输出

  • pr1ce-bin volume prof1le

  • bid/ ask amount

  • bid / ask notional

  • per-price delta

  • imbalance

  • stacked bid / ask imbalance

  • min / max delta

  • total trades

这些指标可以用於翻察短退期成交蛋力,但是否有预涮力,需要在不同市场、不同時同视黑上

4.盤口整力和流勤性因子

基铃L2 order book,可以翻察b1d/ ask depth 的翼化。 这知资料可能用龄:

  • 流動性状照鞭察

  • 流动性状思凝察

  • 短期葡整成本估計

  • 做市研究

  • 签口不平衡研究

  • liquidity score 裸造

但訂单薄资料噪聲很高,也容易受撤單、延逐和交易所握合概制影響,不能直接等同於真實贡賣 意图。

5.UniverseEngine:先筛市場池,再做研究

Freqtrade 的 PairList 給了一個很好的敏号:研究前先定教universe。 MarketBridge 目前提供:

  • top volume

  • percent change

  • volatility

  • spread filter

  • cross-market availability

  • market cap

  • age filter

  • new listings

  • delist risk

遗些介面可以助研究系统先回答:

  • 哪些標的成交量足购?

  • 哪些福的最近波动较大?

  • 那些福的spread 太寶,不滤合短通期研究?

  • 曙些標的同時有 spot 和 perp?

  • 哪些概的愿史上出现遇,但目前quote缺失或通期?

遍裸需要特别锐明雨點:market-cap依莉CoinGecko、CoinMarketCap或其他 kline存在、但目前quote缺失或遥期,推遵出的資料属提示。

6.ResearchFeatureAPI:資料眉输出研究特微包

MarketBridge 不做 AI模型凯辣,但可以输出研究特微包:

  • multi-timefrane OHLCV features

  • rolling returns

  • rolling volume

  • real1zed volatility

  • z-score

  • benchmark correlation

  • correlated asset features

  • funding / 0I regime

  • liquidity score

  • exchange disagreement

  • market regime snapshot

遗据下游研究系统可以把更多稿力放在因子稳證,而不是重视寫資料预虑理遥朝。 这些feature 和reg1me Label只是資料特微與研究标,不是買賣信號,也不代表任伺 策略有效。

7.0ptions波動率研究

期權可以為波勤率研究提供資料基。 例如:

  • 不同expiry 的波動率结机

  • 不同 strike 的偏斜

  • 期權OI分值

  • 市场封未来波助的定侵化

目前MarketBridge更帽資料探集和快取;,不是完整的期耀定價平台。

8.Polymarket和事件研究

Polymarket的CLOB资料可以作為预测市場資訊源。 这频資料可能用於事件翻動研究,例如察某些市场機率是否领先新闻携散。 但预测市場本身也有流勤性、差、参與者偏差等問题,需要蓬镇使用。

9.宏、情和上過器

DXY、VIX、US1oY、Fear &Greed、新情络、大翻链上帐等,更遍合作為reg1me filter 或上下文数。 它們不一定直接生交易信號,但可以助研究系统理解市增退境,

十、Agent 友好的資料入口

现在很多研究流程會接入LLM或Agent。这性容易出现一個問题:Agent不知道愿該先查娜 些介面,也不知道資料服稿的遗界。 MarketBridge 新增了雨個介面: GET /v1/agent/context /v1/agent/capabilities告新 Agent:

  • 有哪些資料能力

  • 每佰能力對鹿睡endpoint

  • 道合做什座

  • 理些操作是read-only

/v1/agent/context會国体一国凑上下文:

  • 目前quotes

  • funding

ps uo .

  • 可 storage manifest

  • 推藏下一步endpoint

  • 明硅 data-onty contract

這知介面不是為了Agent下覃,而是為了镇Agent更容易理解目前資料状感,少走增 路

一個典型呼叫:

curl -s "http://127.0.e.1:8080/v1/agent/context?synbols=BTcUsDT,ETHUsDT,

十一、作為下游研究系統的资料入口

MarketBridge更通合放在研究系统前面,作為資料入口,而不是直接承擅因子睡證或策略决 策。

一個比较自然的分工是:

MarketBridge負青資料接入和整理:

  • 即時行情

  • 成交

  • funding

  • 11qu1dat1on

  • 史 candles

  • mark / index/ premiumIndex / funding_rate candles

  • 期權

  • 预测市場

  • DeFi

  • 情缝

  • 疑上

  • universe 韩選

  • research feature package

  • 本地 Parquet 資科湖

下游研究系统负青研究和验證:

  • 因子定羲

  • 因子分類

  • 因子验银

  • 栈本外副试

  • 黄略歸因

  • 風险评估

  • 交易成本和滑點建模

  • 訓辣资料集概造

  • paper trading

  • 小资金责验验益

也就是就,MarketBridge 提供資料输入;因子是否有效、是否定、是否值得进一步研究, 需要由下游研究流程自行验源。

十二、目前遗界與可能問题

為了避免误解,这里把目前界腐清楚。 MarketBridge 目前不是:

  • 交易機器人

  • 下覃系统

  • 托管資金系统

  • 自動套利系统

  • 完整回测软行器

  • AI训框架

  • 低延遍交易所共址行情系统

  • 保盈利的蛋略系统

MarketBridge目前更接近:

  • 公開資料探集服務

  • 多資料源標维化

  • 即時快照和流式介面

  • 按需雁史candle資料湖

  • 資料品質 manifest

  • 研究資料入口

  • 因子研究的前置資料平面

  • AI/Agent友好的只词市增上下文服務

目前仍然存在一些需要须虑理的同题: L.資料完整性取决龄外部来源外部API、交易所WebSocket、第三方資料股都可能限 频、變更格式或短暂不可用。

2.不是所有资料城都已完全 envelope 化 Quote、options、prediction book 的

freshness / stale 结橘比较明锥: funding、0I、trade、Liquidation、order book 等raw snapshot 後續遗密要速一步统一.

3.特殊睡史candle遇不是全交易所覆蓝目前/v1/histary/candles重黏支援

Binance 和 OKX Binance 支援 premiumIndex,OKX 没有同名定 public candle endpoint,因此 0KX 目前支援 mark、index,funding_rate,

1.public trades 退没有金量Parquet 落璧Orderflow/ footprint 目前依赖

livetrade 事件和勤记憶體視窗。對龄可回放、可復算的长期footprint,需要後 public trades 的按需 Parquet 储存。

5.高频訂单仍有優化空麗目前已使用doma1n broadcast和ArcDataEvcntx减少

按订者德,但router 和 snapshot store 仍有必要 clone.

5.資料品遇可以續增强 Parquet manifest 已露有 gap、duplicate、coverage、

latency、stale、watermark,但更细的昊常值機测、source disagreement、自勤 修復和回補遗可以耀續做。

7.研究有效性不由瓷料保整NarketBridge提供资科,不負责證明某個因子或策路有效。

所有策略都需要狮立回测、槎本外验盈和凰险部估。 任何基於它橘造的策略,在进入真置交易前仍然需要:

  • 史回测

  • 槎本外继證

  • 交易成本建模

  • 滑贴建模

  • 延近群估

  • 资金容量辞估

  • paper trading

  • 小资金實验验

十三、下一步計劃

後德可以细續改进费因方向:

1.撞摘展更多原生資料connector

?.將更多raw market snapshot 統一成 envelope 结

3.支援 public trades 的按需 Parquet 落盈、回放和 footprint 德算

1.增加資料潮retention policy,例如保留7 / 38/ 90 天

5.携展更多交易所的mark/index/funding/premiun 類雁史资料

. 加强 catalog health、 freshness 和 source disagreement 计

7.提供更方便的 Parquet 错取示例和 notebook/ research SDK

3.完善Polymarket 和包地址分析

3.保持data-only 界,不引入下单和交易霍限

这些都還需要持读工程驰證,不能只停留在文件程。 總結 MarketBridge是一個為量化研究場景構建的Rust市場資料層。 它目前比较明確的用途是:

  • 只做公開資料,不做下單

将多调市场资科退整理成统一介面

  • 將多個市場資料源整理成統一介面

  • 提供 REST、WebSocket、catalog、health 和 metrics

  • 支援quote、訂單簿、成交、funding、OI、liquidation、kline、特殊歷史

candle、basis、order flow、footprint、options、Polymarket、DeFi、宏觀、 情、上等多類資料

  • 提供按需Parquet本地資料湖,而不是预設無腦全量落盤

  • 提供universe、researchfeatures、agent context 等研究友好介面

  • 可以作為研究系統、内部資料平台或AI分析流程的資料底座

如果用一句話概括: MarketBridge想解决的是量化研究前面的資料工程問題:把分散、巽構、難維護的公開 市場資料,整理成更統一、更容易消費、更容易监控、更容易按需存的資料介面。 它遗在持續迭代中,仍可能存在不足。 如果你也在做量化研究、市場資料工程、事件研究,或只是對這類data-only工具有興趣, 歡迎試用、提isSue、指出問題,或者分享哪些資料源和介面設計最值得優先改進。 真實使用中的回會非常重要,因為這類基設施只有放到具體研究流程裡,才知道哪些地方真 的有用,哪些地方還需要重新設計。 https://github.com/okloorcl/MarketBridge

原始排版图

原始导出图超过单张 WebP 的尺寸上限,以下图片按从上到下的顺序连续保存。 MarketBridge:一個面向量化研究的 Rust 市場資料層:微信公众号导出原始排版图(第 1 段,共 2 段) MarketBridge:一個面向量化研究的 Rust 市場資料層:微信公众号导出原始排版图(第 2 段,共 2 段)