Direkte DeepSeek- und Mistral-Anbindung mit versionierten Aktionsprofilen, Budgetreservierung, Tokenabrechnung und administrativen Qualitätsprüfungen ersetzen die Flowise-Abhängigkeit im regulären Betrieb. 840 geprüfte A1-Aufgaben mit geschützter Testauswertung und konkreten offenen Arbeitsaufträgen ergänzen den Kurs. Inhalts- und Sprachbewertung bleiben von Azure-Aussprachewerten getrennt; historische Aufgaben und Antworten bleiben erhalten. Echte Wort- und Phonemmessungen werden mit Herkunft, Aktualität und Nachweisdichte gebündelt. Go bestimmt Trainingsziele und Wiederholungen, das Modell formuliert dazu passende Nachsprechübungen. Profilansicht und Auswahlgründe werden angezeigt. Validierung: Go-Race-Tests mit lokaler PostgreSQL-Integration, go vet, Web-Build, Audit aller 840 Aufgaben und drei Browser-Smokes mit lokalen Modell-/Speech-Fixtures bestanden. Keine Produktionsänderungen oder Live-Aufrufe.
97 lines
3.4 KiB
Go
97 lines
3.4 KiB
Go
package services
|
|
|
|
import (
|
|
"context"
|
|
"encoding/json"
|
|
"net/http"
|
|
"net/http/httptest"
|
|
"speech-learning-api/internal/domain"
|
|
"testing"
|
|
)
|
|
|
|
func TestWritingQualityRejectsReportedFalseFeedback(t *testing.T) {
|
|
_, cases, err := qualityCases("writing")
|
|
if err != nil || len(cases) != 2 {
|
|
t.Fatal(err, cases)
|
|
}
|
|
bad := domain.CourseEvaluation{Score: 80, Verdict: "partial", Feedback: "city muss City heißen. Die Antwort hat zwei Sätze.", Issues: []string{"city zu City ändern", "shwiming zu swimming ändern"}}
|
|
if qualityPassed("writing", cases[1], bad) {
|
|
t.Fatal("reported false grading passed")
|
|
}
|
|
good := domain.CourseEvaluation{Score: 80, Verdict: "partial", Feedback: "Inhalt und Umfang erfüllt. My am Satzanfang schreiben.", Issues: []string{"I live in a city. statt I live in city.", "swimming statt shwiming."}}
|
|
if !qualityPassed("writing", cases[1], good) {
|
|
t.Fatal("correct feedback rejected")
|
|
}
|
|
good.Issues[0] = "I live in the city. statt I live in city."
|
|
if !qualityPassed("writing", cases[1], good) {
|
|
t.Fatal("valid alternative article rejected")
|
|
}
|
|
good.Issues = []string{"swimming statt shwiming."}
|
|
if qualityPassed("writing", cases[1], good) {
|
|
t.Fatal("missing article not checked")
|
|
}
|
|
correct := domain.CourseEvaluation{Score: 100, Verdict: "correct", Feedback: "Alle Anforderungen erfüllt.", Issues: []string{}}
|
|
if !qualityPassed("writing", cases[0], correct) {
|
|
t.Fatal("positive control rejected")
|
|
}
|
|
correct.Score = 80
|
|
correct.Verdict = "partial"
|
|
correct.Issues = []string{"Zusätzlicher Kontext fehlt"}
|
|
if qualityPassed("writing", cases[0], correct) {
|
|
t.Fatal("invented errors passed positive control")
|
|
}
|
|
}
|
|
func TestWritingQualityPostgresUsesTwoRecordedCalls(t *testing.T) {
|
|
a, _, user := setupAI(t)
|
|
ctx := context.Background()
|
|
if _, err := a.Repo.SaveProfile(ctx, user, aiTestProfile("evaluate_course_attempt")); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
if err := a.Repo.SaveBudget(ctx, user, 1000000, 0); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
calls := 0
|
|
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
|
calls++
|
|
var body struct {
|
|
Messages []struct {
|
|
Content string `json:"content"`
|
|
} `json:"messages"`
|
|
}
|
|
json.NewDecoder(r.Body).Decode(&body)
|
|
var input struct {
|
|
Input struct {
|
|
Answer string `json:"answer"`
|
|
Task domain.AdaptiveTask `json:"task"`
|
|
} `json:"input"`
|
|
}
|
|
json.Unmarshal([]byte(body.Messages[1].Content), &input)
|
|
if input.Input.Task.Skill != "writing" || input.Input.Task.Kind != "free_text" {
|
|
t.Error("wrong fixture task")
|
|
}
|
|
out := domain.CourseEvaluation{Score: 100, Verdict: "correct", Feedback: "Richtig", Issues: []string{}}
|
|
if input.Input.Answer[0] == 'm' {
|
|
out = domain.CourseEvaluation{Score: 80, Verdict: "partial", Feedback: "Inhalt erfüllt.", Issues: []string{"My am Satzanfang.", "a city statt city.", "swimming statt shwiming."}}
|
|
}
|
|
json.NewEncoder(w).Encode(aiCompletion(out, true))
|
|
}))
|
|
defer server.Close()
|
|
a.URLs["mistral"] = server.URL
|
|
work, _, err := a.Begin(ctx, user, "writing-quality", true)
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
for i := 0; i < 2; i++ {
|
|
results, err := a.QualitySuite(work, "writing")
|
|
if err != nil || len(results) != 2 || !results[0].Passed || !results[1].Passed {
|
|
t.Fatal("writing suite", err, results)
|
|
}
|
|
}
|
|
if calls != 2 {
|
|
t.Fatal("replay billed additional completions", calls)
|
|
}
|
|
if _, err = a.QualitySuite(work, "unknown"); err == nil {
|
|
t.Fatal("unknown suite accepted")
|
|
}
|
|
}
|