着目する説明変数を【仮説の立案】として決めた上での、推測結果を最適化する方法は、すでに述べた。
複数の仮説を立てると、複数の推論結果が得られるので、何らかの形で総合判断が必要になる。
推論結果の統合には、2つの考え方ができる。
1. 最も良い推論結果を採用する
2. 推論結果を加重平均する
1つ目の方法には欠点がある。
判定が僅差だった場合、負けた方の推論結果が完全に無視されてしまう。
2つ目の方法にも欠点がある。
似たような推論結果が多い方が重視されてしまう。
苺の例「小さいから、酸っぱい」「RGB色から、甘い」「CMYK色から、甘い」「HSV色から、甘い」
この例だと、実質的には同じような推論で、色が過剰に重視されてしまう。
2つ目の方法の欠点の解決法の1つは、均等に仮説を立てる。
2つ目の方法の欠点の解決法のもう1つは、重複度合いに応じて加重平均する。
しかし、何を持って、「均等」「重複」とするかは、決めるのが難しい。
1つ目の方法の欠点の解決法としては、採用されなかった仮説は無視しても問題ない状況にすること。
採用されなかった仮説の有用な情報が、採用された仮説に含まれていればよい。
つまり、全ての推論を統合すればよい。
推論の統合には、2つの方法が考えられる。
1. 全ての推論結果を統合する
2. 全ての仮説を組み合わせた仮説を立案する
1つ目には、結果だけを見て、統合できるかという課題がある。
2つ目には、新しい仮説が出るたびに、再計算するのかという課題がある。
説明変数は無数にあるため、初めから全ての説明変数に着目した仮説は立てられない。
どちらの方法にせよ、どんな仮説でも統合された方が優位にならなければならない。
ある仮説の推論結果は「情報」である。
どんな情報であっても、ないよりはあった方がましである。
「情報」を見て見ぬふりをした方が良い結果になるプログラムは、間違っている。
例として、苺の甘さを推測する場合を考える。
「品種が同じもの」、「産地が同じもの」、「色が近いもの」、「大きさが近いもの」と、似たものに絞り込むほど、良い推論ができそうである。
しかし、予測対象と近いものだけを選ぼうとした結果、0個になってしまったら、厳しく絞り込み過ぎである。
1個まで絞り込まれた場合、予測対象はその1個と同じと推測することは可能だが、バリアンスが不安である。
より少なく絞り込むほど、バイアスは減るが、バリアンスは増えてしまう。
そこで、1個まで絞り込んだ結果と、2個まで絞り込んだ場合の合成を考える。
データを1個に絞り込んだ場合：「unknown」=1/(1+1)=1/2。「データ1」=1/(1+1)=1/2
データを2個に絞り込んだ場合：「unknown」=1/(2+1)=1/3。「データ1」=1/(2+1)=1/3。「データ2」=1/(2+1)=1/3
データをm個に絞り込んだ場合：「unknown」=1/(m+1)。「データm」=1/(m+1)
データ1個の場合の「unknown」に、データ2個の結果を割り当ててみよう。
ただし、そのまま代入してはいけない。
そのまま代入すると、「データ1」=2/3、「データ2」=1/6、「unknown」=1/6 になる。
これは、「データ1」が「unknown」の2倍、すなわち2個存在することになってしまう。
また、「unknown」=1/6なので、データの個数が合計5個あることになってしまう。
制約条件：n個のデータから任意のm個を選んだとき、m個の合計比率は m/(m+1) 以内でなければばらない。
「データ1」=1/2、「データ2」=1/6、「unknown」=1/3 なら、制約条件を満たす。
1個の場合と2個の場合の「unknown」の差が、「データ2」になる。
m-1個の場合とm個の場合の「unknown」の差が、「データm」になる。
「データm」=1/(m+1)-1/{(m-1)+1}=1/(m^2+m)
これは、データ1の方がデータ2より品質が良いとした場合である。
データ1、データ2の品質が同じなら、「データ1」=1/3、「データ2」=1/3、「unknown」=1/3 である。
絞り込みというのは、切り捨てていくことではなく、全データに順位をつけることといえる。
ある特徴量を基準にグループを分けて、グループ間での順位をつける。
次に、別の特徴量でさらにグループ分けして、同様のことをする。
この考えだと、すべてのデータが推論結果に加わることになる。
どんなにデータが沢山あっても、さらにデータが増えれば、推論の確証性が増す。
ただし、ここまでの「unknown」は推測対象に起因するものである。
バイアス起因の「unknown」も考える必要がある。
バイアス起因の「unknown」比が大きいデータなら、採用しない方が、全体の「unknown」は減る。
なので、バイアス起因の「unknown」が小さいもの順に採用していけばよい。
これ以上、採用すると「unknown」が増えるところで、打ち切ればよい。
上記の制約条件を満たす範囲で、バイアス起因の「unknown」が出来るだけ小さくなるように、比率を決めればよい。
ただし、バイアス起因の「unknown」が同じデータは、比率も同じであるべきである。
1つの推論につき、全ての標本の「unknown」と「重み」が結果として得られる。
その重みのファジィ集合が推論結果の確率分布になり、集合の「unknown」が求められる。
上記のものが複数ある状態で、どう統合するか考える。
平均値を取るようにすると、苺の色の例のように、コピーされたような説明変数を重視してしまう。
最大値または最小値を取る形で、統合が必要である。
標本それぞれについて、「unknown」は最小値を保持する。
初めに、予測対象起因「unknown」だけをファジィ集合に入れる。
「unknown」が高いものから順に、ファジィ集合へ追加する。
集合の確率分布の「unknown」が下がらなくなったら追加を打ち切る。