package services import ( "context" "errors" "strings" "speech-learning-api/internal/domain" ) type qualityCase struct { answer string correct bool expected string } func qualityCases(suite string) (domain.AdaptiveTask, []qualityCase, error) { task := domain.AdaptiveTask{SchemaVersion: 2, ModuleID: "a1_family_v1", TargetLanguage: "en-US", CourseVersion: domain.CourseVersion, CEFRLevel: "A1", Skill: "grammar", Kind: "free_text", Prompt: "Beschreibe ein Familienmitglied mit einem vollständigen englischen Satz. Nutze have got, he oder she und eines der Wörter mother, father, sister, brother.", AnswerKey: &domain.TaskKey{Rubric: []string{"Ein vollständiger englischer Satz mit he oder she.", "Korrekte Form von have got.", "Mindestens eines der Wörter mother, father, sister, brother.", "Der Satz ist verständlich und grammatikalisch korrekt."}, Explanation: "He und she stehen mit has got."}} if suite == "grammar" { return task, []qualityCase{{"He has got a sister.", true, "100 Punkte, correct, keine issues"}, {"He have got a sister.", false, "Verbfehler erkennen; keine volle Punktzahl"}}, nil } if suite != "writing" { return task, nil, errors.New("Unbekannte Qualitätsprüfung") } task.ModuleID = "a1_introductions_v1" task.Skill = "writing" task.Prompt = "Stelle dich auf Englisch vor. Nenne einen Namen und eine Angabe über deinen Wohnort oder ein Hobby. Eigene oder erfundene Angaben sind erlaubt. Schreibe zwei oder drei kurze Sätze." task.AnswerKey = &domain.TaskKey{ReferenceAnswer: "My name is Anna. I like music.", Rubric: []string{"Ein Name und eine weitere Angabe über Wohnort oder Hobby werden genannt.", "Zwei oder drei kurze, verständliche englische Sätze.", "Eigene Namen und Angaben sind erlaubt; keine Werte der Beispielantwort verlangen.", "Konkrete sprachliche Fehler verhältnismäßig bewerten; keine weiteren Kontextanforderungen."}, Explanation: "Die Angaben sind frei wählbar."} return task, []qualityCase{ {"My name is Jack Hill. I live in a city. My hobby is swimming.", true, "100 Punkte, correct, keine issues; drei Sätze erfüllen den Umfang; city ist korrekt kleingeschrieben"}, {"my name is Jack Hill. I live in city. My hobby is shwiming.", false, "Teilpunkte; fehlenden Artikel mit a city und Rechtschreibung mit swimming korrigieren; My am Satzanfang darf zusätzlich genannt werden; city nicht zu City ändern, keinen zusätzlichen Kontext fordern und nicht fälschlich zwei Sätze behaupten"}, }, nil } // These checks apply only to known English quality fixtures, never to grading // learner answers. They are conservative regression indicators, not a proof of // general model quality or a grammar-rule engine in the production course. func qualityPassed(suite string, test qualityCase, e domain.CourseEvaluation) bool { if test.correct { return e.Score == 100 && e.Verdict == "correct" && len(e.Issues) == 0 } if !(e.Score < 100 && e.Verdict != "correct" && len(e.Issues) > 0) { return false } if suite != "writing" { return true } text := e.Feedback + " " + strings.Join(e.Issues, " ") lower := strings.ToLower(text) return e.Score > 0 && e.Verdict == "partial" && (strings.Contains(lower, "a city") || strings.Contains(lower, "the city")) && strings.Contains(lower, "swimming") && !strings.Contains(text, "City") && !strings.Contains(lower, "zwei sätze") && !strings.Contains(lower, "2 sätze") } func (a *AIService) QualitySuite(ctx context.Context, suite string) ([]AIQualityResult, error) { if suite == "" { suite = "grammar" } task, tests, err := qualityCases(suite) if err != nil { return nil, err } results := []AIQualityResult{} for _, test := range tests { result := AIQualityResult{TaskPrompt: task.Prompt, Answer: test.answer, Expected: test.expected} var evaluation domain.CourseEvaluation err := a.Call(ctx, "evaluate_course_attempt", courseEvaluationInput(task, domain.AdaptiveAttempt{Answer: test.answer}, "en-US", "de-DE"), &evaluation) if err != nil { result.Error = a.AdminError(err) } else { result.Output = &evaluation result.Passed = qualityPassed(suite, test, evaluation) } results = append(results, result) } return results, nil }