今日のポイント
- Kimi K3.1 Pro — モデルの発表に加え、一次情報による確認が済んでいない提供資料では、Moonshot AI が Hugging Face の moonshotai アカウントで Kimi K3.1 Pro の重みを公開したと報告されています。
- trnrtの推論最適化 — RunAnywhere のオープンソース推論エンジン trnrt は、単一の AWS trn2.48xlarge 上で GLM-5.3-Flash MoE を動かし、OpenAI 互換 API を提供します。
- ループTransformer — 投稿者は Nsight Compute で Huginn 型のループ型 Transformer を解析し、連続する反復で本当にキャッシュを再利用できるかを調べました。
咸話咸説のデイリーAIシチュー、Robin がお届けします。
今日はモデルの新たな能力から始めて、マシンの内部へもう一歩踏み込みます。重みが公開されたあと、どう動かすのか。そして、処理時間はどこに消えているのでしょうか。
Hunyuan Hy4
参照した日報の日付と本号の日付の関係は未確認です。公開時刻、タイムゾーン、収集時刻の裏付けも不足しているため、これをもとに出来事の発生日を確定することはしません。以下は、一次情報による確認が済んでいない AIHOT 日報の内容を紹介するものです。Tencent Hunyuan は Hy4 の正式版を公開し、事前学習と事後学習の規模を拡大するとともに、視覚理解とコンピューター操作を初めて追加したとされています。開発者にとっての意味は、モデルが扱う範囲がテキストから画像や画面上の操作へ広がったことにあります。入力欄に書かれた文章だけを相手にするわけではなくなるのです。出典：AIHOT 日報
この項目のリリース情報と評価結果は、一次情報による確認が済んでいません。日報では、GameDev と GameLogic の評価結果がそれぞれ 19.1%、9.8% 向上したとされています。バージョンの区別も必要です。総パラメーター数 770B、アクティブパラメーター数 49B、コンテキスト長 1M という数値は、先に 8 月 28 日に公開された Hy4 preview のものであり、そのまま正式版の新仕様として扱うことはできません。
同じ日報では、OpenAI が Images 2.6 を発表したことも紹介されています。出典：OpenAI 公式発表 公式発表によると、生成速度は 50% 向上し、低品質の Flare 設定では最短 6 秒で生成でき、この画像機能は ChatGPT と Codex の全プランで利用できるとのことです。画面操作から画像生成まで、これらの発表は開発者が呼び出せる機能の幅を広げるものです。ただし、「最短 6 秒」は特定の品質設定での値であり、あらゆる画像タスクの待ち時間に当てはめることはできません。出典：AIHOT 日報
Kimi K3.1 Proの重み
モデルの発表に加え、一次情報による確認が済んでいない提供資料では、Moonshot AI が Hugging Face の moonshotai アカウントで Kimi K3.1 Pro の重みを公開したと報告されています。以下の重み公開と Pro 版に関する記述も、一次情報による確認は済んでいません。同資料によると、開発者や企業はモデルをダウンロードしてテストし、ローカル環境への導入を検討できるようになります。重み公開の実用的な意味は、自分の手でモデルを確かめる入口が一つ増えることにあります。出典：Hugging Face
資料では、K3.1 シリーズ初の重みを公開したネイティブマルチモーダルのエージェントモデルとされており、Kimi K3 をもとに、数百の下流領域を対象とする大規模な共同強化学習による事後学習を行ったと説明されています。また、現時点で最も高性能な 3T 級モデルだという公式の主張も紹介されています。この性能評価は、あくまで公式側の主張です。資料には完全なモデルカードがなく、商用利用や再配布の条件も明示されていません。そのため、ここでは重みが公開され、テストできるという範囲にとどめ、導入についての保証を付け加えることはしません。
trnrtの推論最適化
重みが手に入ったら、次はどうすればより効率よく動かせるかです。以下は提供された開発記録の紹介であり、出典の日付をもとに出来事の発生日を確定するものではありません。RunAnywhere のオープンソース推論エンジン trnrt は、単一の AWS trn2.48xlarge 上で GLM-5.3-Flash MoE を動かし、OpenAI 互換 API を提供します。このモデルは総パラメーター数 3,200 億、各ステップのアクティブパラメーター数 180 億で、100 万トークンのコンテキストに対応しています。出典：r/MachineLearning
この開発記録で興味深いのは、推論時間の内訳まで調べている点です。初期実装のバッチサイズ 1 の KDA 線形アテンション半レイヤーでは、再帰計算そのものが占める時間はわずか 2% で、mHC の事前射影が 36%、XLA の接続処理が 33% を占めていました。疎なモデルでは各ステップで計算するエキスパートは少数ですが、細かな呼び出し、レイアウト変換、メモリーとの往復、チップ間通信が、依然として時間を消費し得ます。
チームは各半レイヤーを NKI メガカーネルとして書き直し、疎アテンションのレイヤー全体も融合しました。同じレイアウトで、バッチサイズ 8 の 1 ステップ当たりのデコード時間は、10 月 17 日のビルドの 32.2 ミリ秒から、11 月 1 日には 24.2 ミリ秒へ短縮されています。データ移動やカーネル境界をまたぐ回数を減らすことも、最適化の有効な着眼点だと分かります。ただし、この数値は当該 Trainium2 実装内での改善を示すものです。資料には同一トレースを用いた GPU との比較はなく、疎アテンションのプリフィルにも一部近似的な選択が残り、タスク単位での評価はまだありません。出典：r/MachineLearning
ループ型Transformer
データ移動という観点では、NVIDIA B200 上での実測もあります。投稿者は Nsight Compute で Huginn 型のループ型 Transformer を解析し、連続する反復で本当にキャッシュを再利用できるかを調べました。ループ構造は重みを共有しながら実効的な深さを増やせますが、重みを共有するだけで、毎回チップ上のメモリーからデータを取得できるようになるわけではありません。出典：r/MachineLearning
実験で見えた境界は明確でした。8 回の行列乗算で 72 MiB の重みを共有すると、同じ重みを 8 セット保持する場合より 24% 高速になり、HBM の読み出しはほぼ発生しませんでした。しかし、重みが 288 MiB に増えて L2 の容量を超えると、性能差は消えました。ランダムな重みを使う教材用の Huginn Core 実装でも、8 回反復したときの所要時間と HBM 読み出し量は、いずれも 1 回の場合のおよそ 8 倍でした。
このテストは、混同しやすい二つの問題を切り分けています。モデルのパラメーターを少ないコピーで保持することと、実行時にパラメーターを転送する回数を減らすことは別です。帯域の節約につながるかどうかは、ワーキングセットの大きさ、キャッシュ容量、カーネルのスケジューリングに左右されます。アーキテクチャ上の再利用を、最終的にはチップ上の再利用につなげる必要があります。
MaixStation
チップの内部からデスクトップへ視点を戻すと、Sipeed がローカル AI 推論と開発向けの小型 Linux AI ワークステーション、MaixStation の詳しい仕様を公開しました。Axera AX8860P を採用し、16 コアの Arm CPU と FP4 で公称 256 TOPS の NPU を統合、最大 128GB の LPDDR5X メモリーを搭載します。出典：r/LocalLLaMA
ここまでの推論最適化の話と併せて見ると、273GB/s のメモリー帯域、10G SFP+ ネットワーク、PCIe 5.0 による拡張も注目すべき仕様です。ローカル開発では、演算能力、メモリー、インターフェースの組み合わせがモデル実行のハードウェア条件を決めます。TOPS の数値だけでは十分ではありません。ここでの FP4 は 4 ビット浮動小数点形式であり、公称演算回数をそのまま特定モデルのスループットや精度に換算することはできません。
Sipeed は、AX8860 SDK のオープンソース化とコードのアップストリームへの取り込みを進めているとしています。提供された記事によると、公表された目標価格は約 3,999 ドルで、2026 年末のクラウドファンディング開始を予定しています。目標価格もクラウドファンディングの予定も、最終的な販売価格や発売日を確定するものではありません。現時点で分かるのは本体の仕様とソフトウェア整備の方向性であり、資料にベンチマークはありません。出典：r/LocalLLaMA
今日の話題をつなぐと、モデルの能力、公開された重み、推論カーネル、ローカルハードウェアが、発表から実行までの一本の流れになります。上で紹介した未確認の資料によれば、Hy4 は入力と操作の能力を広げ、Kimi は重みをダウンロードする入口を提供します。一方、trnrt と B200 のテストは、メモリーや実行の細部へ目を向けさせます。MaixStation のようなローカル機器まで来ると、問いは具体的になります。モデルには何ができるのか、重みはどう使えるのか、データはどう動くのか。そして、そのマシンでは実際にどのように動かせるのでしょうか。
🎧 本エピソードはポッドキャストでも配信中：デイリーAIシチュー · 2026-11-04 を聴く。