"""Offline compilation of reviewed Russian native-language presentations.""" import copy import hashlib import json import pathlib import re BASE = pathlib.Path(__file__).resolve().parent DEST = BASE.parents[1] / 'apps/api/internal/store/coursebank/variants' BANK = DEST.parent / 'en-US/a1-v2' def checked_sources(): data = (BASE / 'variant_review.json').read_bytes() review = json.loads(data) assert review['reviewed'] and review['entry_count'] == 840 for name, digest in review['sources'].items(): assert hashlib.sha256((BASE / name).read_bytes()).hexdigest() == digest, f'Variant review is stale: {name}' return json.loads((BASE / 'variant_sources.json').read_text()), data def dictionary(name): rows = [line.split('|') for line in (BASE / 'russian' / f'{name}.tsv').read_text().splitlines() if line] assert all(len(row) == 2 and all(row) for row in rows), name result = dict(rows) assert len(result) == len(rows), f'Duplicate source in {name}' return result def compile_variants(): source, review = checked_sources() translations = {name: dictionary(name) for name in ('vocabulary', 'grammar', 'questions', 'writing', 'open')} entries = [] for path in sorted(BANK.glob('*.json')): if path.name == 'manifest.json': continue module = path.name.split('.')[0] for base in json.loads(path.read_text()): task = copy.deepcopy(base['task']) skill, kind = task['skill'], task['kind'] variant_id = base['id'] + '_ru_v1' key = task['answer_key'] instruction = '' stimulus = None if skill == 'grammar': instruction = 'Дополните предложение.' stimulus = dict(role='target', language='en-US', text=task['prompt'].removeprefix('Ergänze: ')) key['explanation'] = translations['grammar'][key['explanation']] elif skill == 'vocabulary': word, example = re.fullmatch(r'Was bedeutet „(.*?)“ in „(.*?)“\?', task['prompt']).groups() instruction = f'Что означает «{word}» в этом предложении?' stimulus = dict(role='target', language='en-US', text=example) for option in task['options']: label = option['label'] option['label'] = 'до' if label == 'vor' and word in ('before', 'after') else translations['vocabulary'][label] key['reference_answer'] = next(o['label'] for o in task['options'] if o['id'] == key['correct_option_id']) key['explanation'] = f'В этом предложении «{word}» означает «{key["reference_answer"]}».' elif skill in ('reading', 'listening'): instruction = translations['questions'][task['prompt']] key['explanation'] = ('В тексте указан ответ: ' if skill == 'reading' else 'В аудиозаписи указан ответ: ') + key['reference_answer'] + '.' elif kind == 'short_text': instruction = 'Напишите это предложение по-английски.' stimulus = dict(role='source', language='ru-RU', text=translations['writing'][task['prompt'].removeprefix('Schreibe diesen Satz auf Englisch: ')]) elif kind == 'repeat_sentence': instruction = 'Повторите английское предложение вслух.' else: visible = task['prompt'].removeprefix('Antworte auf Englisch. ').split(' Du darfst eigene oder erfundene Angaben verwenden.')[0] instruction = 'Ответьте по-английски. ' + translations['open'][visible] + ' Можно использовать реальные или вымышленные сведения. ' instruction += 'Произнесите два или три коротких предложения, не дольше 30 секунд.' if kind == 'free_speech' else 'Напишите два или три коротких предложения.' if kind == 'choice': key['rubric'] = ['Выберите единственный ответ, соответствующий предложению, значению слова или приведённому тексту.'] else: key['rubric'] = [instruction, 'Оценивайте только явно указанные требования и конкретные языковые ошибки с учётом уровня A1. Неясности задания не считайте ошибками учащегося.', 'Допустимы другие правильные формулировки. Образец ответа не является обязательной формулировкой.'] if kind in ('free_text', 'free_speech'): key['rubric'].append('Собственные или вымышленные имена, места, числа и личные сведения допустимы. Данные из образца не обязательны.') key['explanation'] = 'Образец — один из возможных ответов. Допустимы другие понятные формулировки уровня A1, выполняющие явно указанные требования.' if skill == 'speaking': key['rubric'].append('Содержание и английскую речь оценивайте отдельно от произношения Azure. Без реальных измерений не утверждайте наличие ошибок произношения или беглости.') key['explanation'] += ' Произношение оценивается отдельно и только по реальным измерениям.' key['reference_answer_language'] = 'ru-RU' if skill == 'vocabulary' else 'en-US' for option in task.get('options', []): option['role'] = 'meaning' if skill == 'vocabulary' else 'target' option['language'] = 'ru-RU' if skill == 'vocabulary' else 'en-US' task.update(instruction_language='ru-RU', variant_id=variant_id, canonical_task_id=base['id'], content_revision=source['revision'], instruction=instruction, prompt=instruction) if stimulus: task['stimulus'] = stimulus task['prompt'] += ' ' + stimulus['text'] title, description = source['modules'][module] entries.append(dict(id=variant_id, revision=source['revision'], base_entry_id=base['id'], canonical_task_id=base['id'], instruction_language='ru-RU', module_title=title, module_description=description, equivalence='translation', reviewed=True, task=task)) return entries, review def build(): entries, review = compile_variants() DEST.mkdir(parents=True, exist_ok=True) files = {} for module in sorted({e['task']['module_id'] for e in entries}): name = module + '.ru-RU.v1.json' data = (json.dumps([e for e in entries if e['task']['module_id'] == module], ensure_ascii=False, indent=2) + '\n').encode() (DEST / name).write_bytes(data) files[name] = hashlib.sha256(data).hexdigest() for path in DEST.glob('*.json'): if path.name != 'manifest.json' and path.name not in files: path.unlink() manifest = dict(total=len(entries), editorial_review_sha256=hashlib.sha256(review).hexdigest(), files=files) (DEST / 'manifest.json').write_text(json.dumps(manifest, indent=2) + '\n') print(f'Wrote {len(entries)} Russian native-language variants across seven modules.') def audit(): expected, review = compile_variants() manifest = json.loads((DEST / 'manifest.json').read_text()) assert manifest['total'] == len(expected) == 840 assert manifest['editorial_review_sha256'] == hashlib.sha256(review).hexdigest() actual = [] for name, digest in manifest['files'].items(): data = (DEST / name).read_bytes() assert hashlib.sha256(data).hexdigest() == digest actual += json.loads(data) assert sorted(actual, key=lambda e: e['id']) == sorted(expected, key=lambda e: e['id']) assert len({e['id'] for e in actual}) == 840 base = {e['id']: e for p in BANK.glob('*.json') if p.name != 'manifest.json' for e in json.loads(p.read_text())} for entry in actual: task, original = entry['task'], base[entry['base_entry_id']]['task'] assert entry['canonical_task_id'] == entry['base_entry_id'] and entry['equivalence'] == 'translation' assert task['instruction_language'] == 'ru-RU' and task['target_language'] == 'en-US' for field in ('audio_text', 'passage', 'reference_text'): assert task.get(field) == original.get(field), (entry['id'], field) if task['kind'] == 'choice': assert task['answer_key']['correct_option_id'] == original['answer_key']['correct_option_id'] assert [o['id'] for o in task['options']] == [o['id'] for o in original['options']] assert len({o['label'].casefold() for o in task['options']}) == 3, entry['id'] if task['skill'] != 'vocabulary': assert [o['label'] for o in task['options']] == [o['label'] for o in original['options']] else: assert task['answer_key']['reference_answer'] == original['answer_key']['reference_answer'] if task['skill'] == 'listening': assert not task.get('stimulus'), 'Private recording exposed as stimulus' if task['kind'] == 'short_text': assert task['stimulus']['role'] == 'source' and task['stimulus']['language'] == 'ru-RU' for module in {e['task']['module_id'] for e in actual}: for skill in ('grammar', 'vocabulary', 'reading', 'listening', 'writing', 'speaking'): assert sum(e['task']['module_id'] == module and e['task']['skill'] == skill for e in actual) == 20 print('PASS: 840 Russian translations; seven modules, six skills; unchanged canonical identities, keys and English media; private listening transcripts protected.') if __name__ == '__main__': build() audit()