知识源于沉淀 托福自动评分系统Speech Rater的固有问题就是上梁不正下梁歪！
首先我们来看看ETS官方公布的托福口语自动评分系统与人工评分的相关性为0.81。
说实话，单纯把这样一个系数放在面前，我们毫无感觉。这个系数是高是低，我们根本没法比。但其实我们有一个很重要的参照系，就是托福作文自动评分系统，e-Rater。
其实考过托福的无花果都知道一件事，就是托福口语和作文作为托福的主观题，其实是可以申请复议的，就是如果你认为考官的分数有问题，确定真实分数不是太高就是太低，那么你可以申请复议。
当你申请复议时，ETS会重新安排资深考官对你的口语或作文成绩进行评分。当然，他不会知道你的原始分数，会独立给你打分。如果复议后这个分数波动很大，说明他们分数的一致性比较低。如果复议后，这个分数有一点波动，说明他们的分数比较一致。
从来没有老师做过复议成功率的统计，托福作文复议成功率是提10%分，降10%分，不变80%。而托福口语复议的成功率是提20%分，降20%分，不变60%分。
这意味着托福口语和自身分数的稳定性实际上没有托福作文稳定。不同的考官或者自己的考官可能和新手考官的分数不一样。但是托福作文成绩的稳定性还是比较好的。即使经过复议，在大多数情况下，复议后的分数实际上与原分数是一致的。
这就意味着整个托福口语自动评分系统，演讲评分员，他们评分的基础，也就是ETS口语评分标准的稳定性，相对于托福作文来说，本身并不好。当然，这并不是说托福是口语，而是一个非常差的评分系统。其实从托福和雅思这两大世界语言考试来看，托福的口语和作文成绩的稳定性其实远胜于雅思。
雅思的口语和作文是因为评分稳定性低，人为因素影响大。评分高低与考官自身素质密切相关。中国大陆所有的雅思考场组织的都比较好，考官的素质也比较高，比较稳定。但是东南亚很多考官和很多海外考场组织不好，考官水平参差不齐。所以国内很多考生去海外考雅思，就是为了钻这个空考试的空子，其他国家的考官会给更高的分数。而且，就连国内的雅思考官也经常私下讨论，对于同样的案例，大家给出的分数都不一样。也就是在组织相对较好的中国，雅思口语和作文成绩的稳定性其实不如托福口语和作文成绩。
所以，这里我们说托福的稳定性不好，但是和托福作文成绩相比还不够好，但是比雅思口语和作文成绩要高。接下来，让我们回到托福口语成绩上来。
这里很清楚，托福口语成绩的稳定性不如托福作文成绩。那么，要知道托福作文经过e-Rater自动评分后，仍然保留了人工评分，即机器e-Rater和人工同时评分。如果两者分数相同或相近，则给出分数。如果机器和人工评分不一致或者差距较大，会交给更有经验的评分员进行评分。
换句话说，在评分体系更加稳定的托福作文中，人工评分实际上参与了每一个细节，最终决定权也在人工手中。
那么，托福口语成绩的稳定性不如托福作文成绩，这意味着托福口语自动评分系统实际上会带来更大的不确定性。如果直接用托福口语自动评分系统语音评分器评分，人为的不稳定，加上机器评分的不稳定，可能会使偏差非常大，复议成功率可能会提高40%，降低40%，保持20%不变。
每个托福考生都交了1900元的考试费，所以大家的委托很重要，每个成绩的公平性也很重要。如果出现这么大的偏差，ETS评分的公平性就没了。所以真正使用起来，托福口语自动评分系统，演讲评分员，10年内不可能拥有主要决策权。要知道托福作文自动评分系统，在2009年无老师爆发后，直到10年后仍然需要人打分。那么，托福口语自动评分系统，在未来的10年里，其实只是人工评分的陪衬或背景，并不能算是主角。
而且，我们还要考虑一个非常重要的测试场景的问题。托福作文评分相对容易和公平，因为考官看到的是一个又一个字母组成的作文，不会有其他影响因素。但是，有很多因素可能会影响托福口语。比如托福考场楼上装修会带来很大的噪音。比如有人在托福考场大声唱歌，也会带来很大的噪音。比如托福考生不小心把话筒放在嘴里，声音捕捉就会很差。这就是为什么，托福考试应该在进行之前进行试听，如果他们没有很好地适应，考试就无法进行。但是即使是在试听之后，很多托福考生还是会不经意的降低自己的音量。
没有老师说，装修的噪音，考场的噪音，麦克风不小心放错了位置，这些其实都可能是人工考官勉强接受的。但是对于托福口语自动评分系统这种计算机系统来说，很多噪音和声音变小了，其实是他们无法接受的。它会让整个系统完全瘫痪。因此，从实用的角度来看，托福口语自动评分系统Speech Rater将受到极大的挑战。
所以这套托福口语自动评分系统——Speech Rater，在展示ETS自身科技实力方面是非常有价值的。但从实际出发，每位考生1900元的考试费必须得到尊重。以0.81与人工评分的相关度，有可能1000个考生都有问题，100个上下考生都有问题。哪个候选人愿意自己有问题？而且中国有6000个托福考试名额，每次都可能有600名托福考生出现问题。你认为NEEA会接受托福热线被打爆吗？
所以，在未来10年内，这种托福口语自动评分系统——演讲评分员，很可能会在短时间内进入评分系统。但是，在10年内，托福口语成绩的最终决定实际上将是人工做出的，而不是这个系统。
这套托福口语自动评分系统已经引入中国。你玩无花果没问题，但是对成绩太认真就是你的错了。
托福备考的最大秘诀:掌握精髓，得分更快！
你需要的是没有老师的托福！
严格管理，
课堂巩固提高，课堂实践，周末模考。
直到晚上21点，我会答疑解惑，提高托福成绩！
没有老师的封闭托福班会让你考前成为恶霸！
一起
赖冲粉
扫一扫，马上报名。
