260603 仮想通貨のデータ基盤を作ってみる

こんにちは、C級?D級botterのささそです。
いままでは場当たり的にbotを開発していて、この仮説行ける?→ログ取り→判定
といったようなのを続けていたのですが、Swapに鞘があるかどうかを確認するにも毎回もととなるCEX(またはperpdex)の価格をbotごとに取得する仕組みを作ったりと、なかなかめんどくさいことをして時間を浪費していました。

解決策はないかと神botterたちの記事が集まっているアドベントカレンダを覗いたところ
https://qiita.com/advent-calendar/2025/botter
bot開発のテンプレートを作るといいよという記事を見つけました。

イメージとしてはこんな感じ
データをぶち込んでぶち込んで、そこから仮説を立てるというのが自分の理解



ということで、今回の題材は「データ基盤」です。

設計

まずは、作るものの完成形を考えます。
はじめから色々入れようとするとデータ保持の運用が大変になる気がするので、簡単なものから作ってみます。

最終的な完成物
・基本となる価格をパッととれるようにする
・特定のデータを取得しやすい形で保持したい(取引所を指定してデータがほしいとか)
・あんまり昔のデータはいらない(エッジが死んでいる可能性があるため)

そうしたら、それを叶えるために必要な要素を抽出

・基本となる価格をパッととれるようにする
→大手取引所の価格をためておく
→Hyperliquidのperpとspotのデータを参考にしてみる

・特定のデータを取得しやすい形で保持したい
→txt,Json,DBデータ保持の仕方は様々存在
→LLMもあるので何でも良いが、データ量が多くなる可能性があるので、LLMに食わせるとしても絞り込めた方がよい
→DBを採用

・昔のデータは切り捨てる
→DBであれば、DELETE文を流すだけでOK

ということでひとまず
HyperliquidのデータをDBに落とし込むというところを目指します。
また、データを落とし込む仕様については、1分単位でDBに書き込むでもよいのですが、
解析時に使うだけなので、夜中に1日分を一気に流し込む形にします。

作成

作成部分はAIに任せたら、技術音痴でも良いものが作れます(うれしいね)

必要なのは
DB
テーブル設計
APIでデータを抜く&テーブルにインサートするbot
不要データ削除bot
といったところでしょうか。

Codexくんにはいつもお世話になっています。

一つ想定外だったところはHyperliquidの1分足が1440本(1日)が保管されていないのか
分割しても1000本くらいしか取れないところ
12時間ごとに取得することで1日のデータを取得するようにしました。

動作

動作時間が来たあとにDBを覗いてみると、どうやら取れてはいるっぽい

DBの全データを抜き出してグラフにしてみます。

いい感じ~
実際のハイリキ価格と照らし合わせてみてもだいたいあってるので、値も正確そうですね。
ちょっとずれてるのは縦横比があってないからよ!たぶん

まとめ

これで基礎はできたので、ボンボンデータをぶちこめばOKですね
続けて運用してみたいとおもいます。

コメント

タイトルとURLをコピーしました