这些答案是基于我个人从论文和官方实现中对 Bert 的理解，希望对您有所帮助：

What do they mean by "maximum scoring span is used as the prediction"?

如您所知，在 SQuAD 中，输入序列分为两部分：问题和文档（如果可能，我们会从中提取答案）。

有时输入长度超过max_seq_length参数，在这种情况下，文档会根据需要被截断为尽可能多的部分，我们最终会为同一个问题/文档提供多个输入。提到该问题在所有结果输入中都被复制（有关详细信息，请参见line_350）。

因此，在这种情况下，为了确定所有生成输入之间的预测跨度，我们使用最大得分， 即 (max_start + max_end) / 2 = ( max(Softmax(S*Ti)) + max(Softmax(E*Ti)) ) / 2与同一问题相关的所有输入。

"The training objective is the loglikelihood of the correct start and end positions"

损失是 start_position 损失start_loss和 end_postition 损失的平均值end_loss。每个损失都以相同的方式计算：在将 Softmax 应用于最终输出（即S*Ti或E*Ti）之后，我们使用真正的开始/结束位置来计算损失（参见下面的代码）。

来自Bert_repo中的 run_squad.py：

 def compute_loss(logits, positions):
        one_hot_positions = tf.one_hot(positions, depth=seq_length, dtype=tf.float32)
        log_probs = tf.nn.log_softmax(logits, axis=-1)
        loss = -tf.reduce_mean(tf.reduce_sum(one_hot_positions * log_probs, axis=-1))
        return loss

 start_positions = features["start_positions"]
 end_positions = features["end_positions"]

 start_loss = compute_loss(start_logits, start_positions)
 end_loss = compute_loss(end_logits, end_positions)

 total_loss = (start_loss + end_loss) / 2.0