Direkte DeepSeek- und Mistral-Anbindung mit versionierten Aktionsprofilen, Budgetreservierung, Tokenabrechnung und administrativen Qualitätsprüfungen ersetzen die Flowise-Abhängigkeit im regulären Betrieb. 840 geprüfte A1-Aufgaben mit geschützter Testauswertung und konkreten offenen Arbeitsaufträgen ergänzen den Kurs. Inhalts- und Sprachbewertung bleiben von Azure-Aussprachewerten getrennt; historische Aufgaben und Antworten bleiben erhalten. Echte Wort- und Phonemmessungen werden mit Herkunft, Aktualität und Nachweisdichte gebündelt. Go bestimmt Trainingsziele und Wiederholungen, das Modell formuliert dazu passende Nachsprechübungen. Profilansicht und Auswahlgründe werden angezeigt. Validierung: Go-Race-Tests mit lokaler PostgreSQL-Integration, go vet, Web-Build, Audit aller 840 Aufgaben und drei Browser-Smokes mit lokalen Modell-/Speech-Fixtures bestanden. Keine Produktionsänderungen oder Live-Aufrufe.
75 lines
4.1 KiB
Go
75 lines
4.1 KiB
Go
package services
|
|
|
|
import (
|
|
"context"
|
|
"errors"
|
|
"strings"
|
|
|
|
"speech-learning-api/internal/domain"
|
|
)
|
|
|
|
type qualityCase struct {
|
|
answer string
|
|
correct bool
|
|
expected string
|
|
}
|
|
|
|
func qualityCases(suite string) (domain.AdaptiveTask, []qualityCase, error) {
|
|
task := domain.AdaptiveTask{SchemaVersion: 2, ModuleID: "a1_family_v1", TargetLanguage: "en-US", CourseVersion: domain.CourseVersion, CEFRLevel: "A1", Skill: "grammar", Kind: "free_text", Prompt: "Beschreibe ein Familienmitglied mit einem vollständigen englischen Satz. Nutze have got, he oder she und eines der Wörter mother, father, sister, brother.", AnswerKey: &domain.TaskKey{Rubric: []string{"Ein vollständiger englischer Satz mit he oder she.", "Korrekte Form von have got.", "Mindestens eines der Wörter mother, father, sister, brother.", "Der Satz ist verständlich und grammatikalisch korrekt."}, Explanation: "He und she stehen mit has got."}}
|
|
if suite == "grammar" {
|
|
return task, []qualityCase{{"He has got a sister.", true, "100 Punkte, correct, keine issues"}, {"He have got a sister.", false, "Verbfehler erkennen; keine volle Punktzahl"}}, nil
|
|
}
|
|
if suite != "writing" {
|
|
return task, nil, errors.New("Unbekannte Qualitätsprüfung")
|
|
}
|
|
task.ModuleID = "a1_introductions_v1"
|
|
task.Skill = "writing"
|
|
task.Prompt = "Stelle dich auf Englisch vor. Nenne einen Namen und eine Angabe über deinen Wohnort oder ein Hobby. Eigene oder erfundene Angaben sind erlaubt. Schreibe zwei oder drei kurze Sätze."
|
|
task.AnswerKey = &domain.TaskKey{ReferenceAnswer: "My name is Anna. I like music.", Rubric: []string{"Ein Name und eine weitere Angabe über Wohnort oder Hobby werden genannt.", "Zwei oder drei kurze, verständliche englische Sätze.", "Eigene Namen und Angaben sind erlaubt; keine Werte der Beispielantwort verlangen.", "Konkrete sprachliche Fehler verhältnismäßig bewerten; keine weiteren Kontextanforderungen."}, Explanation: "Die Angaben sind frei wählbar."}
|
|
return task, []qualityCase{
|
|
{"My name is Jack Hill. I live in a city. My hobby is swimming.", true, "100 Punkte, correct, keine issues; drei Sätze erfüllen den Umfang; city ist korrekt kleingeschrieben"},
|
|
{"my name is Jack Hill. I live in city. My hobby is shwiming.", false, "Teilpunkte; fehlenden Artikel mit a city und Rechtschreibung mit swimming korrigieren; My am Satzanfang darf zusätzlich genannt werden; city nicht zu City ändern, keinen zusätzlichen Kontext fordern und nicht fälschlich zwei Sätze behaupten"},
|
|
}, nil
|
|
}
|
|
|
|
// These checks apply only to known English quality fixtures, never to grading
|
|
// learner answers. They are conservative regression indicators, not a proof of
|
|
// general model quality or a grammar-rule engine in the production course.
|
|
func qualityPassed(suite string, test qualityCase, e domain.CourseEvaluation) bool {
|
|
if test.correct {
|
|
return e.Score == 100 && e.Verdict == "correct" && len(e.Issues) == 0
|
|
}
|
|
if !(e.Score < 100 && e.Verdict != "correct" && len(e.Issues) > 0) {
|
|
return false
|
|
}
|
|
if suite != "writing" {
|
|
return true
|
|
}
|
|
text := e.Feedback + " " + strings.Join(e.Issues, " ")
|
|
lower := strings.ToLower(text)
|
|
return e.Score > 0 && e.Verdict == "partial" && (strings.Contains(lower, "a city") || strings.Contains(lower, "the city")) && strings.Contains(lower, "swimming") && !strings.Contains(text, "City") && !strings.Contains(lower, "zwei sätze") && !strings.Contains(lower, "2 sätze")
|
|
}
|
|
func (a *AIService) QualitySuite(ctx context.Context, suite string) ([]AIQualityResult, error) {
|
|
if suite == "" {
|
|
suite = "grammar"
|
|
}
|
|
task, tests, err := qualityCases(suite)
|
|
if err != nil {
|
|
return nil, err
|
|
}
|
|
results := []AIQualityResult{}
|
|
for _, test := range tests {
|
|
result := AIQualityResult{TaskPrompt: task.Prompt, Answer: test.answer, Expected: test.expected}
|
|
var evaluation domain.CourseEvaluation
|
|
err := a.Call(ctx, "evaluate_course_attempt", courseEvaluationInput(task, domain.AdaptiveAttempt{Answer: test.answer}, "en-US", "de-DE"), &evaluation)
|
|
if err != nil {
|
|
result.Error = a.AdminError(err)
|
|
} else {
|
|
result.Output = &evaluation
|
|
result.Passed = qualityPassed(suite, test, evaluation)
|
|
}
|
|
results = append(results, result)
|
|
}
|
|
return results, nil
|
|
}
|