こんにちは燦です。
2次試験の採点サービスってありますよね？
再現答案を提出したら予備校独自の採点をしてくれるやつね。公式の得点を開示してくれる今はそんなことやる意味あるの？
受験生同士で、わーきゃー言って楽しめます！
それだけ！？
で、予備校の採点は当たるもんなの？
当たるときもあれば、悪い得点だったけど合格した！とか、良い評価を貰ってたのに落ちた…。とかは今でもけっこう聞きますね。
相変わらず謎多き2次試験じゃね。
というわけで、データがある程度集まったので今回はそのあたりを分析してみました！題して「予備校採点サービスの精度ランキング～！」
なんか怒られそうな企画じゃな。
このブログの採点君™もエントリーしています！一応個別名称は伏せさせてもらいます。注釈をよく読んでご理解の上確認ください。
■この記事はこんな人にオススメ
★予備校採点の精度を知りたい人
★予備校や自己採点との比較を知りたい人
★2次試験の得点ランダム性を把握したい人
★2次試験への取り組み対応を深めたい人
◆注釈
・X（Twitter）で予備校採点結果と公式得点の双方を挙げられている59名のデータを元に計算しています
・再現答案はあくまで再現であり実際の答案ではありません。実際の答案とは記憶違いやお化粧等で乖離している場合があります。
・大手予備校はデータ数が多いですが、個人塾はデータ数が少ないので分析の精度は低めです。
・このランキングでは予備校選びの参照にはあまりならないと考えています。（理由は本文中に記載）
・予備校の得点については恣意的に低めに付けていることも考えられます。（見込顧客は不合格者に絞られる為）
・予備校採点を卑下する意図はなく、2次試験得点の事実の認識が目的です。
・採点サービス自体はおススメできます。（お祭り参加感覚でも良い）
1．採点サービスのメリット・デメリット
採点サービスとは、2次筆記試験終了後に自身が書いた回答を思い出しながら答案を作成し、それを予備校に提出することで、事例Ⅰ～Ⅳ毎に採点結果や評価を出してくれるサービスです。
また多くの人の答案が集まりますので絶対的な得点だけではなく、自身が全体のどのあたりに相対的に位置しているのかを把握することができます。
もちろん合否を保証してくれるものではありません。
無償サービスが多いですが、有償サービス（LECで2,200円程度）だと色々と添削やコメントなどもしてくれる様です。
受験生にとっては他にこんなメリットがあります！
■受験生のメリット
・試験の余韻をみんなで楽しめる
・公式の得点よりも1~2か月前に点数を出してくれる
・合否前の心構えが少し出来る
・再現答案を作っておくことが出来る（後の分析に活かせる）
・今後の予備校選びの参考に出来る
予備校側にとってのメリットは？
むしろそちら側にメリットがあります！
■予備校側のメリット
・来年度の再試験者（見込顧客）との接点を持てる
・多くの再現答案と実際の得点を比較分析することが出来る
・得点をバシッと予測することで予備校の信頼性を上げられる
毎年、何百枚も再現答案と実際点数を分析してたらかなりのノウハウも溜まりそうじゃね。
一方、デメリットは？
■デメリット
・再現答案を作るのが面倒
・実際の得点も後日送付しないといけない場合がある
・自身の解答が引用されるケースがある
・期待させられたのに不合格で余計にがっかり…
※そこまでデメリットというデメリットはないです。
2．得点差異ランキング
予想した得点と実際の得点の差異をそのまま計上します。例えば以下のような場合は
実際の得点より高く予想していればスコアはプラスになり、実際の得点よりも低く予想していればスコアはマイナスになります。上の例でいくと個人塾Bは、この人の再現答案に対して実際の点数よりも合計で12点高く予想していたということになります。つまりスコアは低ければ低いほど差異が小さいということになります。
この合計スコアのデータ（それぞれ20～55データ程度）を全て足し合わせて、データn数で割って平均にしたものが最終スコアとなります。
得点差異ランキング1位は！？
ドンッ！
適当君™(MIN-26.5 MAX-15.7)
個人塾系が上位にランクインしています。採点君™も悪くないですね。
予備校系はマイナス値が多いな。
そうですね。全体としてマイナス目ですが、特に予備校はマイナスが多い傾向です。実際の得点より低く予想していることがわかります。
じゃあ予備校採点予想より実際の得点は多少は上がるとみてもいいわけじゃね。
そういう期待も出来なくはなさそうですね。では事例別にみていきましょう。
個人塾系が上位にきて、本人感覚点数も悪くないですね。
事例Ⅰの得点差異が少なく、また事例Ⅰ→Ⅱ→Ⅲ→Ⅳにいくほどマイナスの値が大きくなっています。つまり事例Ⅳは予備校採点よりも実際の点数が上ブレする可能性に特に期待できそうです。
予備校評価ABCDについて
予備校は62点、59点といった得点ではなく、A評価、B評価と示す場合もあります。その場合はこちらの独断ですが、以下のような数字にあてはめさせてもらいました。
A評価：65点
B評価：55点
C評価：45点
D評価：35点
適当君™とは？
適当君™ってなに？
適当君™は、再現答案も合格不合格も何一つ考慮せずにマジで適当に採点しました。次のような確率で得点を出力してくれるランダム数値で予想してみました。合格率が20％程度になるような以下の確率と得点を配置しました。
これを50回シミュレーションした平均値が適当君™の予想採点となります。※取得データ数＝11,800事例の平均値です。
※R05年度の実際得点の確率を考慮した方でもシミュレーションしましたが、以下の理由により使用しませんでした。
・元データがR05年度だけではない
・シミュレーション結果は大して変わらない
・結果を見てから情報をインプットするのは予想の原理に反する
※またシミュレーションから240点以上(足切も考慮)の獲得率と実際の合格率がどうしても一致しないことから、配点調整をして合格率を意図的に操作しているのはほぼ確定的かと思います。
3．得点誤差ランキング
先ほどの得点差異スコアの場合、例えば以下のような場合は
予備校Aの方がスコアがよくなります。
だけどこれは不公平ですよね。予備校Aの予想はプラスとマイナスが相殺して合計スコアは良いですが、明らかに予備校Bの方が精度が高いといえます。
ですので絶対値で比較するのが、得点誤差です。
得点誤差（絶対値の差異）で比較すると上のスコアは以下のようになります。
予備校Bの方が優位になりました。
この誤差方式が、精度という面では正確なランキングになります！
得点誤差ランキング1位は！？
ドンッ！
差異ｽｺｱ
適当君™(MIN41.7 MAX48.2)
差異スコアと比べて順位が変わりました。本人感覚の得点予想が一番精度が良いですね！
とはいえ、平均30点くらいは誤差があるんだな。1事例当たりだと8点ほどの誤差か。
論点別に整理した自己採点の採点君™よりも感覚的な得点の方が精度が高いんですね（泣）
感覚的な得点を出すのも、模範解答や全体との一致性やある程度の習熟が必要なので2次試験の勉強中は採点君™も使えると思います。差異スコアは5点と近かったので…。
事例別にも見てみましょう。
得点のバラつきが大きかった事例Ⅰの誤差精度（109）が悪いのはわかりますが、答えがはっきりしている事例Ⅳの誤差精度（90）もそんなに良いとはいえませんね。
事例Ⅳは差異スコアでマイナスが大きかったので協会側の加点調整の影響と、単純に実際の得点分布の影響を受けていそうです。得点のバラつき（標準偏差）が大きくなるほど予想は困難になります。
予備校Bを救済せよ！
予備校Bが全然あかんやん。
予備校Bが意図的に低い点を付けているのは確定的です。最後にそれも含めて確認してみましょう。
例えば以下のようなスコア比較の場合、
差異スコアでは予備校Aが優位で
誤差スコアではどちらも同等となります。
しかし予備校Bが意図的に低い点数を付けているのだとすれば、ちぐはぐな得点予想の予備校Aよりも実は採点精度は高いということになります。
これを考慮するには、差異スコアの分散を計算してやればOKです。
得点の予想のバラつきが少ないという意味では予備校Bに軍配が上がります。
というわけで予備校Bの名誉の為、分散データでのランキングを見てみましょう！
なんと適当君™に勝つことができました！やったぜ！
どっちにしろ微妙やん。。
4．適当君™覚醒モードと固定君™57.5が参戦！
予備校の予想採点はさすがに適当君™よりおおよそ優れていることがわかりましたが、ちょっと待ってください。Ｘ（Twitter）で収集したデータは高得点が多いという特徴があります。
実際この59データの合格率は59％（35/59）となっています。これを実際の合格率に近づけるために不合格者データを満遍なく128増加し全データをn=187としました。（35/187)で合格率18.7％
API列まで手計算したことある？（疲） 
データ母数がn=187の全体想定だと、適当君™採点の本領を発揮することが出来ます。これが適当君™覚醒モードです。例のごとく50回シミュレーションの平均値を計算しました。
さらにもう1つ、固定君™を参戦させました。固定君™は全ての事例に57.5点をひたすら付けるだけの適当君よりもさらに適当な奴です。(合計が230点になるのでおおよそ全体平均点です）
得点差異ランキング
適当君™(MIN-8.5 MAX-3.7)
ぐぐっと上位に入ってきました！ただし得点差異はあまり意味のない指標です。（マイナス傾向で予想しているという事実分析と、分散ランキングに必要なデータとなります）
得点誤差ランキング
適当君™(MIN39.0 MAX43.5)
適当君™覚醒モードは母数修正前と比べてスコアは改善しました（44.6→40.8）が順位は変動せず。固定君™はまだ上位に位置しています。
得点分散ランキング
※適当君と固定君はデータを拡張した分、分散スコアは悪化しました。
最後に得点誤差スコアと得点分散スコア（の平方根）を合算して最終総合ランキングを出します。
ドンッ！
ふーむ。採点君™より上はほぼ団子状態じゃね。
そうですね。最後に考察してみましょう。
5．結果の考察
結局、本人の得点予想が総合ランキング1位となりました。「自分が思ってた得点と全然違う」という感想も多い2次試験ですが、それでいても自分が思っていた得点が一番実際の得点に近いのです。
ただし、本人の得点予想はおそらく「本当に自分が期待している点数」よりはやや低めに申告している可能性は高いです。自己評価より実際の得点が低いことがSNS上で後に判明することは心理的に抵抗があるからです。
従って本当に自分が思っている得点というよりは、SNS上で申告できる得点が本人の得点予想であることに注意です。
今回の分析の結果から考えられることを以下にまとめてみました。
❶スコアがどれも40以上でまとまっているので、一言でいうと"得点予想は誰にとっても同様に難しい"ということがいえます。
❷予備校の採点にしても超適当な固定君™と誤差レベルは"さほど変わらない"というのが実情です。
❸適当君™覚醒モードよりランキングが低いものは“あてにならない”といっていいでしょう。
❹固定君™より精度の高い上位3者の特徴として"主観的な評価"が共通事項として考えられます。これは例えばノーベル賞の選定、超高難度論文の査定、人事評価といった"数字化の難しい"の適正評価方法と類似する部分があります。数字化の難しいものを数値化、定量化することでかえって評価精度が落ちることが知られています。
❺逆に予備校や採点君™の精度ランクが落ちてしまうのは、"数字で測れないものを定量化"した影響だと考えられます。予備校には主観的な感覚で得点を決めるのではなく独自の模範解答に沿った得点基準があると思われます。その究極系が採点君™です。その仮説においてはおそらく「ふぞろい採点（キーワード単語採点）」も得点差異はよいかもしれませんが得点誤差はあまり精度は高くないだろうと推測することが出来ます。ちなみに私は受験勉強当時、得点のランダム性から感覚的にふぞろい採点自体はあまり意味がないと考え一切やってませんでした。（100点解答との一致性や論点漏れだけを確認。ふぞろいの教材自体は非常に有用なものであることは一応補足しておきます）
❻得点を高精度で推定するには、文章全体の構成をみて"習熟した人間が主観"で「割とよく書けてるけどちょっと惜しいところもあるから58点くらいかな？」とか「多面的に漏れなく書けててすごいわかりやすい文章だから72点くらいかな？」といった判定が一番精度が高くなると思います。（当年度の試験の難易度や周りの出来具合も考慮すればより精度が高まります）
❼予想者における得点精度と指導力にはそれほど相関はないと思います。見ての通り総合ランキングはどれも団子状態であり、固定君™や適当君™との差もそれほどありません。この結果を持って個人塾がよくて予備校がダメだという結論は考えられません。採点精度を上げる事よりも予備校が積み上げた解答メソッドには数値化できない合格への道標があることでしょう。
❽重要なことは“定性的、主観的に、よく書けている”解答です。キーワードや論点ももちろん重要ですが、他の解答とくらべて異端なことを書かないことはもちろんのこと、“論点をはずさず（多面的に）、根拠や因果が明確で、誰がみてもわかりやすい文章”が目指すべき解答だということです。
【結論】 事例Ⅳを攻略すれば問題ありません。
結論そればっかりで草
▼そんな事例Ⅳ攻略はこちらから
▼事例Ⅳ問題集のストア
中小企業診断士講座『スタディング』のキャンペーン情報や無料お試し 
中小企業診断士講座『ゼミナール』1次2次フル講座51,200円～
※キャンペーン割引
※3年延長無料
※質問無制限無料
※2次添削指導
※合格祝金3万円
※不合格者2万円返金
すごいね…
↓Twitterでも発信してます🖋
