評価・ソース
AI HACKATHON 2026 TOKYO · ファイナリスト · 56チーム
アプリ側で検査できる構造を渡す
写真を、項目やレコードを表す仕様に変換します。アプリはその構造を検査し、画面を組み立てます。
工程を選んで、流れをたどれます。仕組みの図解で、抽出処理の実行ではありません。
仕組みと検証条件を読む
モデルが出力するのは、アプリをJSONで記述したAppSpecです。項目の型、明細の列、最初のレコードとその明細行を定義し、固定したReactのレンダラーが描画します。この境界は初期実装から存在していました。最初から採ったアーキテクチャ上の選択です。
アプリ側では、生成が完了した出力に対し、許可されたキーや値の型を検査します。アプリ名が空、項目が空配列といった、画面が成立しない状態も拒否します。受信途中のオブジェクトは本来未完成なので、検査は最後に行います。ただし、構造が正しくても内容の確認は必要です。スキーマは「数値である」ことを検査できても、「紙から正しい数値を読めた」ことまでは判定できません。
変更にも、同じ境界を設ける
生成後のテキスト指示も、SpecDiffという操作の型を通します。項目の追加、名称変更、数値の上限・下限、承認ステップの追加など、対応する操作をモデルが選び、決定論的なリデューサーが既存のspecへ適用します。拒否した変更では元のspecを返します。操作によって画面がどう変わるかは、アプリ側が決めています。
読み取りの不確かさには別の経路があります。ライブ実装は、モデルの申告信頼度が閾値を下回る最初の項目を探し、含めるかどうかを尋ねます。これは人が確認するための接点であり、信頼度の数値を較正できている証拠ではありません。項目と画像上の位置を結ぶsourceBoxもありますが、ライブ写真上の座標精度は定量評価していません。
値が正しくても、書類の情報が揃っているとは限らない
値の一致数と、書類全体の判定を一緒に見ます。読み取った値が正しくても、必要な情報が揃っているとは限りません。
| 保存された指標 | v1 | v2 |
|---|---|---|
| 採点基準を満たした書類 | 38 / 50 | 48 / 50 |
| 部分正解 / 失敗 | 11 / 1 | 2 / 0 |
| 正しいと採点された値 | 704 / 707 | 1,516 / 1,518 |
| 捏造と判定された値 | 0 | 0 |
仕組みと検証条件を読む
最初の評価では、抽出された707値のうち704値が正しいと採点されました。一方、50書類のうち成功判定は38件。11件は部分正解で、1件はライブ解析からデモに切り替わったため失敗として数えられています。値の一致率が高くても、書類を十分に読み取れているとは限りません。出力されなかった情報は、出力された値だけの照合では拾えないからです。
この差が表れたのが、繰り返し並ぶ明細でした。初期の表現は平坦な項目の集合が中心で、評価記録には2行目以降の取りこぼしが残っています。次の版では、明細の列定義と行の配列を追加しました。同時に出力上限と小数点の読み取り指示も変更しています。したがって、結果の差をデータ構造の変更だけの効果とは言えません。
2回の結果を、同じ表で読む
同じ50書類に対する2回の評価記録を比べます。保存された採点結果で、抽出を新たに実行した試験ではありません。
各ケースの保存判定と、値の一致
| ケース | v1 | v2 | v1の値 | v2の値 |
|---|---|---|---|---|
| K01 | 部分正解 | 通過 | 17 / 17 | 36 / 36 |
| K02 | 通過 | 通過 | 9 / 9 | 33 / 33 |
| K03 | 部分正解 | 通過 | 11 / 11 | 48 / 48 |
| K04 | 通過 | 通過 | 10 / 10 | 13 / 13 |
| K05 | 部分正解 | 通過 | 9 / 9 | 20 / 20 |
| K06 | 部分正解 | 通過 | 14 / 14 | 35 / 35 |
| K07 | 通過 | 通過 | 13 / 13 | 15 / 15 |
| K08 | 部分正解 | 通過 | 19 / 19 | 112 / 112 |
| K09 | 通過 | 通過 | 4 / 4 | 4 / 4 |
| K10 | 部分正解 | 通過 | 16 / 16 | 124 / 124 |
| K11 | 通過 | 通過 | 24 / 24 | 51 / 51 |
| K12 | 通過 | 通過 | 26 / 26 | 68 / 69 |
| K13 | 通過 | 通過 | 21 / 21 | 59 / 59 |
| K14 | 通過 | 通過 | 23 / 23 | 35 / 35 |
| K15 | 通過 | 通過 | 22 / 22 | 41 / 41 |
| K16 | 部分正解 | 通過 | 23 / 24 | 65 / 65 |
| K17 | 通過 | 通過 | 21 / 21 | 56 / 56 |
| K18 | 通過 | 通過 | 26 / 26 | 35 / 35 |
| K19 | 通過 | 部分正解 | 23 / 23 | 41 / 41 |
| K20 | 通過 | 通過 | 22 / 22 | 26 / 26 |
| K21 | 通過 | 通過 | 14 / 14 | 16 / 16 |
| K22 | 通過 | 通過 | 13 / 13 | 15 / 15 |
| K23 | 通過 | 通過 | 14 / 14 | 18 / 18 |
| K24 | 通過 | 通過 | 14 / 14 | 16 / 16 |
| K25 | 通過 | 通過 | 14 / 14 | 16 / 16 |
| K26 | 通過 | 通過 | 10 / 10 | 33 / 33 |
| K27 | 通過 | 通過 | 14 / 14 | 20 / 20 |
| K28 | 通過 | 通過 | 13 / 13 | 15 / 15 |
| K29 | 通過 | 通過 | 15 / 15 | 20 / 20 |
| K30 | 通過 | 通過 | 15 / 15 | 20 / 20 |
| K31 | 通過 | 通過 | 9 / 9 | 13 / 13 |
| K32 | 通過 | 通過 | 9 / 9 | 10 / 10 |
| K33 | 通過 | 通過 | 9 / 9 | 13 / 13 |
| K34 | 通過 | 通過 | 9 / 9 | 13 / 13 |
| K35 | 通過 | 通過 | 9 / 9 | 14 / 14 |
| K36 | 通過 | 通過 | 9 / 9 | 11 / 11 |
| K37 | 部分正解 | 部分正解 | 8 / 9 | 10 / 11 |
| K38 | 通過 | 通過 | 9 / 9 | 12 / 12 |
| K39 | 通過 | 通過 | 9 / 9 | 10 / 10 |
| K40 | 部分正解 | 通過 | 8 / 9 | 12 / 12 |
| K41 | 部分正解 | 通過 | 5 / 5 | 60 / 60 |
| K42 | 通過 | 通過 | 14 / 14 | 44 / 44 |
| K43 | 失敗 | 通過 | 未評価 | 17 / 17 |
| K44 | 通過 | 通過 | 15 / 15 | 22 / 22 |
| K45 | 通過 | 通過 | 18 / 18 | 35 / 35 |
| K46 | 通過 | 通過 | 未評価 | 未評価 |
| K47 | 通過 | 通過 | 20 / 20 | 22 / 22 |
| K48 | 部分正解 | 通過 | 16 / 16 | 36 / 36 |
| K49 | 通過 | 通過 | 21 / 21 | 22 / 22 |
| K50 | 通過 | 通過 | 18 / 18 | 34 / 34 |
仕組みと検証条件を読む
保存されたv2の判定は、採点基準を通過した書類が48件、部分正解が2件、失敗が0件です。値の一致は1,518値中1,516値、明細行は期待196行・抽出196行と記録されています。同じケースを対応させると、部分正解10件と失敗1件が成功に変わった一方、成功から部分正解へ下がったケースも1件ありました。この退行も比較の一部です。
「通過」は、保存された採点基準上の判定です。すべての細部が正しいという意味ではありません。K12は69値中68値の一致で通過しています。逆にK19は、評価した41値がすべて一致していても、欠落情報を含めた書類全体の判定では部分正解です。この違いを直接読めるよう、ケース表には両方の列を残しています。
この記録が確かめられる範囲
どちらの回でも、LLM採点器が捏造と記録した値は0件でした。合算の2,225値は、同じ50書類に対する2回の評価です。独立した試験の件数ではなく、検出0件も「値を捏造しない」という一般的な保証ではありません。採点器と人の判定の一致率は測定していません。
評価日は2026年7月6日、モデル提供元への直接経路と記録されています。この表は、残っている判定ファイルを再集計して作りました。元画像は手元になく、採点モデルの識別子も保存されていません。公開した数値から合計は計算し直せますが、原本の再採点や同じセットでの再実行はできません。モデルや接続経路を変えた環境に、この成績をそのまま持ち越すこともできません。
KAMIWAZAは、範囲を定めたプロトタイプです。承認ステップは設計として表示するもので、承認・差戻しは実行しません。生成データも再読込では保持されません。紙からアプリを起こす仕組みの実演と、継続して業務を預かる製品の間には、この実装差があります。
根拠と確認方法
確認方法と範囲
v1の707値、v2の1,518値のうち、LLMが捏造と判定した値は0件でした。この50書類での結果であり、合格判定は全項目の正解を意味しません。
56チーム中、ファイナリスト。

