Adaptiven A1-Kurs und statistisches Aussprachetraining integrieren
Direkte DeepSeek- und Mistral-Anbindung mit versionierten Aktionsprofilen, Budgetreservierung, Tokenabrechnung und administrativen Qualitätsprüfungen ersetzen die Flowise-Abhängigkeit im regulären Betrieb. 840 geprüfte A1-Aufgaben mit geschützter Testauswertung und konkreten offenen Arbeitsaufträgen ergänzen den Kurs. Inhalts- und Sprachbewertung bleiben von Azure-Aussprachewerten getrennt; historische Aufgaben und Antworten bleiben erhalten. Echte Wort- und Phonemmessungen werden mit Herkunft, Aktualität und Nachweisdichte gebündelt. Go bestimmt Trainingsziele und Wiederholungen, das Modell formuliert dazu passende Nachsprechübungen. Profilansicht und Auswahlgründe werden angezeigt. Validierung: Go-Race-Tests mit lokaler PostgreSQL-Integration, go vet, Web-Build, Audit aller 840 Aufgaben und drei Browser-Smokes mit lokalen Modell-/Speech-Fixtures bestanden. Keine Produktionsänderungen oder Live-Aufrufe.
This commit is contained in:
@@ -0,0 +1,74 @@
|
||||
package services
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"strings"
|
||||
|
||||
"speech-learning-api/internal/domain"
|
||||
)
|
||||
|
||||
type qualityCase struct {
|
||||
answer string
|
||||
correct bool
|
||||
expected string
|
||||
}
|
||||
|
||||
func qualityCases(suite string) (domain.AdaptiveTask, []qualityCase, error) {
|
||||
task := domain.AdaptiveTask{SchemaVersion: 2, ModuleID: "a1_family_v1", TargetLanguage: "en-US", CourseVersion: domain.CourseVersion, CEFRLevel: "A1", Skill: "grammar", Kind: "free_text", Prompt: "Beschreibe ein Familienmitglied mit einem vollständigen englischen Satz. Nutze have got, he oder she und eines der Wörter mother, father, sister, brother.", AnswerKey: &domain.TaskKey{Rubric: []string{"Ein vollständiger englischer Satz mit he oder she.", "Korrekte Form von have got.", "Mindestens eines der Wörter mother, father, sister, brother.", "Der Satz ist verständlich und grammatikalisch korrekt."}, Explanation: "He und she stehen mit has got."}}
|
||||
if suite == "grammar" {
|
||||
return task, []qualityCase{{"He has got a sister.", true, "100 Punkte, correct, keine issues"}, {"He have got a sister.", false, "Verbfehler erkennen; keine volle Punktzahl"}}, nil
|
||||
}
|
||||
if suite != "writing" {
|
||||
return task, nil, errors.New("Unbekannte Qualitätsprüfung")
|
||||
}
|
||||
task.ModuleID = "a1_introductions_v1"
|
||||
task.Skill = "writing"
|
||||
task.Prompt = "Stelle dich auf Englisch vor. Nenne einen Namen und eine Angabe über deinen Wohnort oder ein Hobby. Eigene oder erfundene Angaben sind erlaubt. Schreibe zwei oder drei kurze Sätze."
|
||||
task.AnswerKey = &domain.TaskKey{ReferenceAnswer: "My name is Anna. I like music.", Rubric: []string{"Ein Name und eine weitere Angabe über Wohnort oder Hobby werden genannt.", "Zwei oder drei kurze, verständliche englische Sätze.", "Eigene Namen und Angaben sind erlaubt; keine Werte der Beispielantwort verlangen.", "Konkrete sprachliche Fehler verhältnismäßig bewerten; keine weiteren Kontextanforderungen."}, Explanation: "Die Angaben sind frei wählbar."}
|
||||
return task, []qualityCase{
|
||||
{"My name is Jack Hill. I live in a city. My hobby is swimming.", true, "100 Punkte, correct, keine issues; drei Sätze erfüllen den Umfang; city ist korrekt kleingeschrieben"},
|
||||
{"my name is Jack Hill. I live in city. My hobby is shwiming.", false, "Teilpunkte; fehlenden Artikel mit a city und Rechtschreibung mit swimming korrigieren; My am Satzanfang darf zusätzlich genannt werden; city nicht zu City ändern, keinen zusätzlichen Kontext fordern und nicht fälschlich zwei Sätze behaupten"},
|
||||
}, nil
|
||||
}
|
||||
|
||||
// These checks apply only to known English quality fixtures, never to grading
|
||||
// learner answers. They are conservative regression indicators, not a proof of
|
||||
// general model quality or a grammar-rule engine in the production course.
|
||||
func qualityPassed(suite string, test qualityCase, e domain.CourseEvaluation) bool {
|
||||
if test.correct {
|
||||
return e.Score == 100 && e.Verdict == "correct" && len(e.Issues) == 0
|
||||
}
|
||||
if !(e.Score < 100 && e.Verdict != "correct" && len(e.Issues) > 0) {
|
||||
return false
|
||||
}
|
||||
if suite != "writing" {
|
||||
return true
|
||||
}
|
||||
text := e.Feedback + " " + strings.Join(e.Issues, " ")
|
||||
lower := strings.ToLower(text)
|
||||
return e.Score > 0 && e.Verdict == "partial" && (strings.Contains(lower, "a city") || strings.Contains(lower, "the city")) && strings.Contains(lower, "swimming") && !strings.Contains(text, "City") && !strings.Contains(lower, "zwei sätze") && !strings.Contains(lower, "2 sätze")
|
||||
}
|
||||
func (a *AIService) QualitySuite(ctx context.Context, suite string) ([]AIQualityResult, error) {
|
||||
if suite == "" {
|
||||
suite = "grammar"
|
||||
}
|
||||
task, tests, err := qualityCases(suite)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
results := []AIQualityResult{}
|
||||
for _, test := range tests {
|
||||
result := AIQualityResult{TaskPrompt: task.Prompt, Answer: test.answer, Expected: test.expected}
|
||||
var evaluation domain.CourseEvaluation
|
||||
err := a.Call(ctx, "evaluate_course_attempt", courseEvaluationInput(task, domain.AdaptiveAttempt{Answer: test.answer}, "en-US", "de-DE"), &evaluation)
|
||||
if err != nil {
|
||||
result.Error = a.AdminError(err)
|
||||
} else {
|
||||
result.Output = &evaluation
|
||||
result.Passed = qualityPassed(suite, test, evaluation)
|
||||
}
|
||||
results = append(results, result)
|
||||
}
|
||||
return results, nil
|
||||
}
|
||||
Reference in New Issue
Block a user