Shardy: Сеть Вычислений

Техническое описание

Shardy — децентрализованная сеть физической инфраструктуры, превращающая разнородные устройства браузеров и потребительские GPU в массово-параллельную вычислительную сеть. Платформа сочетает низколатентный оркестратор на Bun и SQLite с libp2p gossip-мешем, предобработкой в Rust→WASM и вычислительными конвейерами WebGPU, реализованными через TypeGPU для типобезопасных схем памяти и высокой пропускной способности.

Контрольная плоскость реализует устойчивость к византийским отказам через консенсус на основе избыточности, динамическую переназначаемость и очередь ошибок (DLQ). Задачи передаются метаданным JSON-фреймом и бинарной нагрузкой; воркеры подтверждают приём, предобрабатывают в WASM, выполняют WGSL-шейдеры на GPU и генерируют криптографическое доказательство Groth16 через SnarkJS. Оркестратор верифицирует доказательства, проверяет кворум и распространяет подтверждённые дайджесты по P2P-сети.

Ключевые архитектурные компоненты:

• Dispatcher (Bun): управление жизненным циклом задач, соблюдение REDUNDANCY_FACTOR, экспоненциальный бэкофф для повторных попыток, DLQ и телеметрия прогресса.
• P2P-каркас (libp2p): GossipSub для рассылки верифицированных состояний, Kademlia DHT + mDNS для discovery, Noise-handshake и Yamux/Mplex для мультиплексирования, с fallback на прямые стримы.
• WASM-рантайм (Rust → WASM): детерминированная нарезка бинарных данных, управление памятью alloc_bytes/dealloc_bytes, EMA-сглаживание для нормализации численных результатов между GPU и JS-fallback.
• WebGPU-пайплайн: типобезопасные WGSL через TypeGPU, динамическое выделение GPUBuffer, zero-copy передача через SharedArrayBuffer и OPFS для временного хранения больших данных.

Безопасность и корректность Shardy базируются на интеграции ZK-SNARK. Воркеры локально собирают доказательства Groth16 с компактной схемой Circom, связывающей taskId, seed, outputLen и resultDigest в систему ограничений. Оркестратор хранит manifest версий проверяющих для ротации ключей без простоя, а защита от повтора доказательств в схеме SQLite предотвращает двойные отправки.

Инженерные вызовы включали поддержание детерминизма между разными GPU, снижение количества копий памяти в браузере и обеспечение discovery в ограниченных сетях. Решения: EMA-сглаживание для числовой стабильности, zero-copy пути с SharedArrayBuffer и OPFS для буферизации IO- тяжёлых задач, а также гибридный discovery на базе mDNS и Kademlia. Итог — permissionless, экономичная вычислительная сеть с криптографической верифицируемостью и практической производительностью для многих задач.