やっていることは、たった 3 つです。
メール、点検メモ、カメラの映像、マイクの音声。判断のもとになるものを 1 回だけ読み込みます。
「どの部署か」「緊急か」「深刻度は 3 段階でどれか」。答えの形をこちらで決めます。
状況によって選べるものを変えられます。確認中なら「はい／いいえ」だけ、のように。
選択肢ごとに確率が返ります。高ければ自動で進め、低ければ人に回す。
どれにも当てはまらないときは「該当なし」に倒れます。
すべて手元で測った数字です。根拠のログと再現手順は公開しています。
数千の地点名から 1 つを選び、実行するまで。人が言い終えてから待たせません。
同じ文章に 8 つ質問したとき。左が openvons、右が文章を生成させた場合。
大きなモデルのゼロショットを上回りながら、使うメモリは 34 分の 1、速さは 36 倍。
電話中の「はい、お世話になっております」を、機器への指示と取り違えなかった割合。
音声は合成音声、画像は公開データセットでの評価です。実環境での精度は別途の検証が要ります。 詳細 → 評価ドキュメント
その場で試せます。声のデモはマイクを使います (スマホでも動きます)。
問い合わせメールを貼ると、担当部署・緊急度・返金希望の有無などを一度に確率で返します。生成方式との速さ比べも、その場で実測できます。
試す →全国 8,987 駅から声で選びます。「新宿から東京まで」で乗換込みの経路も。同じ読みの駅が並んでも取り違えません。
試す →国土交通省が公開する河川ライブカメラ 195 地点。地点名を言うと映像が出て、「ひとつ下流」で川を下れます。
試す →カメラの映像から、年齢層や向き、荷物の有無を確率で。自信のない判定は「要確認」と正直に言います。
試す →15 秒〜1 分の動画に、喧嘩・万引き・高所作業のハーネス未着用・倒れている人・火や煙などがあるかを、窓ごとの確率で判定。カメラを向ければロボットの進路 (左 / 右 / 直進 / 停止) もリアルタイムに。
試す →数千台のカメラから 1 台を声で選び、「もっと右」「引いて」で動かします。危ない操作だけ「〜でよろしいですか」と確認します。
試す →認識も判断も端末内で完結します。音声も映像もこの端末から出ません。初回だけモデルを取得し、以後は通信なしで声の判断が動きます。
arm64 版 39MB / 提供元不明のアプリの許可が要ります。iOS 版は準備中です。
監視、点検、運転席。電話をしながらでも、声で目的のものを呼び出して動かせます。関係ない会話は無視します。
担当部署、緊急度、感情、必要な一次回答。まとめて判断して、確信の高いものだけ自動で流します。
撮ったその場で、決めた項目に答えさせます。小さなモデルで足りるので、端末や現場の機器にも載ります。
選択肢の集合を業務側で管理できるので、システムの状態に合わせて「今できること」だけを受け付けられます。
これまでの成果と、新しく分かったこと。
動画を窓に切って「喧嘩が起きているか」「ハーネスを着けていないか」など 10 項目を 3 択 (はい / いいえ / 判別できない) で答えさせる。窓の符号化は 1 回、質問を足しても 25 ms。12 秒の動画を 1.4 秒で判定、ライブは 1 フレーム 50 ms でロボットの進路判断まで。 試す ↗
次に出そうな数語の候補を並べ、モデルの内部状態で 1 つ選び、まとめて検算する。ツール呼び出しで予測モデルなしに 3.2〜4.8 倍、出力は 1 文字も変わらない。4-bit 量子化のモデルでも成立。流行りの先読み手法が 16k の長い文脈で逆効果になることも判明。 記事を読む →
認識も判断も端末内で完結する Android アプリを公開 (音声も映像も端末から出ない)。ブラウザ内推論 (WebGPU / WASM) も通し、蒸留した小型モデル (147M) で声の判断が 2 秒。年齢・性別の判定も端末の学習済みヘッドに。 APK ↗
文章の仕分け (8 問 40 ms)、駅名で動く路線図 (8,987 駅)、河川ライブカメラ 195 地点を声で、写真から属性、声で機器を操作。Apache-2.0、TypeSafe Jev 互換 API 付き。 デモへ
コードは Apache-2.0 で公開しています。対象物の登録、状態遷移の設計、社内環境への導入、実際の音声での精度検証などはご相談ください。