如何 Review

Review 内容时，如果有问题需要作者修改，可以通过 GitHub 提供的 Review 功能进行批注。

1. 打开 Pull Requests 合并请求；
2. 点击 Files changed 一栏查看提交内容。

如下图所示，首先可以通过 + 来选择你需要批注的段落，然后填写批注内容，最后点击 Start a review 即可。

当你批注完所有内容之后，点击界面右上角的 Review changes → Request changes 即可将 Review 结果反馈给原作者。

如果内容不需要任何修改，即可选择 Approve 批准合并。

以下情况，你可以直接驳回 PR 要求作者修改，避免浪费时间：

1. PR 提交包含多个 lab/challenge，我们规定，一个 PR 中有且仅能包含 1 个 lab/challenge 的新增/修改；
2. PR 存在冲突，需要作者先解决冲突。
3. 同一个作者在新的 PR 中，出现之前反复批注过的问题（≥ 2 次）；
4. PR 中出现非常明显的重大问题，导致整个 lab/challenge 不具备仔细 Review 的价值。

以上情况，可以直接批注后，要求作者大修。

如果 PR 不存在【直接驳回修改】的问题，那么接下来，你需要仔细完成 Review。

1. 开启测试环境，确保内容可以在环境中正常运行，特别需要注意：
   • lab/challenge 选择了合适的环境，参考 Backend 配置
   • verify.sh 检测脚本，不会直接 PASS，能够正常检测出错误；
   • 内容格式在线上环境渲染无问题。
2. 需确保 markdown 格式正确。
3. 需确保 index.json 配置正确，参考 index.json，特别需要注意：
   • skills 绑定合理，且无明显遗漏。【特别重要】
   • verify 脚本是否合理，是否存在检测过于粗糙，不够细致，或者不够严谨的情况。【特别重要】
   • description 不会太长或太短；
   • difficulty 难度选择正确，time 时间估算合理；
4. 如果是 challenge，需要检查 solution 答案/解决思路是否完备，此项为 LabEx Pro 付费特性。
5. 确保以用户视角去 Review 内容，从用户的角度去感受内容的连贯性，是否有不明晰的地方。
6. 授人以渔，作者出现纰漏的地方，最好是添加上 LabEx 手册/规定/文档的链接，方便作者自行学习。如果作者们反复出现问题的地方，可以考虑在 LabEx 手册中添加相关内容。
7. Review 完成，添加 Review Label 标记当前 PR 的评级。

Review PR 后，需要将 PR 进行评级，添加我们定义的 Review Label，分类的目的是为了对作者的功能能力进行评价。

目前，我们设定了 3 种 Review Label，分别是：

• Major Repair (大修):
  1. 单个 lab/challenge 存在结构性问题，用户无法正常学习；
  2. 单个 lab/challenge 存在知识性错误（代码/内容），向用户传达了违反事实的方法和理论；
  3. 单个 lab/challenge 存在检测脚本问题，用户可以直接通过或者无法通过；
  4. 单个 lab/challenge 累计需要修改的地方超过 10 处。
• Minor Repair (小修):
  1. 除大修之前的其他情形。
• No Repair (无需修改):
  1. 不需要修改，可以直接 merge。

Review Label 将会反馈到 作者能力模型：

1. No Repair 和 Minor Repair 意味着 LabEx 投入的审核精力较少，作者能力较强且省心，自然更容易升级。
2. 累计较多的 Major Repair 意味着 LabEx 投入到该作者内容的审核精力较多，作者更难升级，甚至会被淘汰。