きぶんナビの読み物(検証)
言葉の一致は29店、AIは35店。お店の「気分」を48店で答え合わせした
AIの判定を自分の仕事やアプリに入れる前に、自分で確かめた記録です。
先に結論
2026年9月26日、気分からお店を探すアプリ「きぶんナビ」を作った本人(以下、制作者)が、実在のお店48店の「気分」を、言葉の一致と判定AI「JEV」の2つのやり方で判定させ、自分で答え合わせをしました。採点できた41店のうち、気分が合っていたのは、言葉の一致で29店、JEVで35店でした。
さらに同じ41店で、2つを混ぜる割合を試算したところ、「言葉の一致3割・JEV7割」で36店となり、いまのアプリはこの割合を使っています。
41店のうち、気分が合っていた店
答え合わせ:制作者1人(2026年9月26日)。割合は41店に対するものです。
作った人のひとこと
まずは JEV を何かに使ってみたかった、というのがいちばんの理由です。
言葉の一致だけで選んでいたときは、似たお店ばかり出てしまっていました。JEV はお店の情報を読んだうえで、判定だけを返してくれます。
ふつうの AI に聞くより速いのも、試したかった点です。
実際に比べてみたら JEV のほうが気分に合っていたので、アプリに入れました。
「お店の気分」とは
きぶんナビでは、お店を8つの気分(下の8つ)で見ます。同じ「バー」でも、静かな日に合う店と、にぎやかな日に合う店があります。このちがいを、お店の情報からどこまで読み取れるかを確かめました。
気分の考え方そのものは、こちらの読み物にまとめています。

試したのは、2つのやり方と混ぜ方押して読み比べる
言葉の一致と JEV の判定を出したあとで、2つを一定の割合で混ぜたらどうなるかを、同じデータで計算し直しました(JEV にはもう一度聞いていません)。

言葉の一致
お店の紹介文・ジャンル・設備(個室、飲み放題など)に出てくる言葉から、8つの気分それぞれの点数を出します。途中で「しっぽり」の点の付け方を手直ししたものも試しましたが、結果は同じでした。
- 「どの言葉が入っているか」しか見ません。
- バーをほぼ一律に「しっぽり」にするクセがありました。
JEV(TypeSafe 社の判定AI)
お店の名前・ジャンル・紹介文・予算・設備を JEV に渡し、8つの気分それぞれに合うかを判定してもらいます。候補20店をまとめて判定しても、0.76秒で答えを返しました。
- 文章のニュアンスまで読んでいそうです。
- 弱点:量の多い店を「がっつり」にしやすい。
混ぜ方:言葉の一致 3割・JEV 7割(試算)
混ぜる割合を、言葉の一致0割(JEV だけ)から10割(言葉の一致だけ)まで変えて試算しました。正解が最も多かったのは、言葉の一致2割と3割のとき(どちらも36店)です。極端な割合を避けるため、半々に近い3割を選びました。
左が言葉の一致、右が JEV。この割合を、いまのアプリが使っています。
答え合わせのやり方
48店のうち、言葉の一致・その手直し版・JEV の3つの判定と、試験の前に付けておいた「一番合う気分」の目安が、すべて同じだった22店は、その目安を正解としました。目安は、お店の名前・ジャンル・紹介文・予算・設備を見て、JEV とは別の AI が付けた案です。
1つでもちがった26店は、制作者が正解を決めました。そのうち7店は「8つの気分のどれにも当てはまりにくい」と制作者が判断したため、採点から外しています。残った19店と22店を合わせた41店が採点の対象です。

48店を判定実在のお店。2つのやり方で判定
「どれでもない」7店を除く制作者が「8つのどれにも当てはまりにくい」と判断
41店を採点分かれた19店(制作者が正解を決めた)+そろった22店(試験前の目安が正解)
結果:29店、35店、36店
41店のうち、正解は次のとおりでした。混ぜる割合は、言葉の一致0割(JEV だけ)から10割(言葉の一致だけ)まで変えて試算しました。正解が最も多かったのは、言葉の一致2割と3割のとき(どちらも36店)です。極端な割合を避けるため、そのうち半々に近い3割を選びました。なお JEV は、候補20店をまとめて判定しても0.76秒で答えを返しました。
| やり方 | 41店のうち正解 | 正解の割合(母数41店) |
|---|---|---|
| 言葉の一致 | 29店 | 71% |
| 言葉の一致(手直し版) | 29店 | 71% |
| JEV | 35店 | 85% |
| 混ぜ方:言葉の一致3割・JEV7割(試算) | 36店 | 88% |
なぜ差が出たのか
外れ方を見ると、言葉の一致には決まったクセがありました。言葉の一致は「どの言葉が入っているか」しか見ないため、同じジャンル・同じ言葉の店をひとまとめにしやすいと考えられます。制作者は「JEV は文章で判定していそう。組み合わせると良い」と見立てていました。
バーをほぼ一律に「しっぽり」にする
比べたバー8店のうち、言葉の一致(手直し版も)は7店を「しっぽり」と判定しました。立ち飲みのような、にぎやかな店まで含まれます。JEV が「しっぽり」としたのは8店中4店でした。

「しっぽり」の式を手直ししても、ほぼ変わらない
手直し版で外れた店は、手直し前とほぼ同じでした。言葉を足したり点を調整したりするだけでは、このクセは消えませんでした。
カフェやイタリアンを「ごほうび」に寄せがち
「冒険」が合う店を「ワイワイ」と判定するなど、「冒険」まわりの取りちがえもありました。
JEV にも弱点がありました
JEV が外した6店のうち3店は、量の多い店(エスニック・鉄板・ダイニングバー)を「冒険」や「ワイワイ」ではなく「がっつり」と判定していました。量や満腹感を表す言葉に強く反応しているようです。
言葉の一致と混ぜたほうが少し良くなったのは、それぞれのクセを打ち消し合った面があるのかもしれません。ただし、ここは今回のデータだけでは確かめきれていません。
いまのアプリでの使い方
この結果をもとに、きぶんナビでは次のように判定しています。
お店の情報紹介文・ジャンル・設備
言葉の一致 3割 + JEV 7割8つの気分ごとに点数化
気分の点数 + 近さ・予算など1回に最大10件を選ぶ
- お店の気分の点数は「言葉の一致3割・JEV 7割」で合わせて出す
- JEV に聞くのは、1回の検索で6店まで(気分から探す画面では気分に合いそうな上位6店、場所から気分を見る画面では近い順に6店)
- それ以外の店や、JEV が時間内に答えなかった店は、言葉の一致だけで判定する
- 同じ店の判定は3日間とっておき、毎回は聞き直さない
この気分の点数を中心に、近さ・予算・最近出したかどうかも加えて、1回に最大10件を選んでいます。
この試験の限界
- 答え合わせをしたのは制作者1人です。人によって「この店はしっぽりかワイワイか」の感じ方はちがいます。
- 48店・採点41店の小さな試験です。どの街・どのお店でも同じ割合で当たるという意味ではありません。
- 判定と目安がそろった22店は、制作者が1店ずつ答えを決め直したのではなく、試験の前に付けた目安を正解にしています。目安を付けたのは制作者ではなく、JEV とは別のAI です。
- 「3割・7割で36店」は、同じ41店のデータで割合を変えて計算した試算です。別のお店で改めて試したものではありません。
- どの気分にも当てはまりにくい店が48店中7店ありました。8つの気分だけでは表しきれない店もあります。
- アプリでの判定は目安です。量の多い店が「がっつり」寄りになる傾向も残っています。
TypeSafe 社から依頼・報酬は受けていません(通常の登録で使っています)。
お店の情報は、ホットペッパー グルメの API から取得しました。この記事の数字は、きぶんナビを作った本人が独自に集計したもので、リクルートが出した数字や評価ではありません。
よくある質問
AI だけで判定したほうが良いのでは?
今回の41店では、JEV だけ(35店)より、言葉の一致を3割混ぜたとき(36店、試算)のほうがわずかに多く当たりました。差は1店なので、はっきり上回るとは言えません。ただ、JEV に聞くのは1回の検索で6店までにしているため、残りの店を判定する言葉の一致も欠かせません。
「ひとこと入力」(なんか疲れた、など)も JEV が読み取っているのですか?
いいえ。ひとこと入力を読み取るのは別の AI(OpenAI のモデル)です。こちらは別に例文50件で確かめ、AI は50件すべて、言葉の一致は46件で気分を当てました。
判定がずれていると感じたら?
判定は目安です。気分を押し直すと選び直されますし、「もう一度えらぶ」で顔ぶれが変わります。「この店の気分はちがう」と思ったら、感想フォームで教えてください。お店の詳しい情報は、お店のページで確かめてください。
AI がお店の気分をどう読んだか、試してみてください。
きぶんナビで、今日の気分を選んでみてください。登録なしで使えます。