Parlez aux modèles de langage avec AIMODEL(), NEWAIMODEL() et AIPARSER()

Total.js 5 · total5@0.0.19 aillmintegrations Exécutée avec Total.js 5

total5 ne fournit aucune connexion à un fournisseur. Il vous donne trois éléments qui fonctionnent ensemble :

NEWAIMODEL('name', config, driver) enregistre le pilote d'un ou plusieurs modèles ('a,b' enregistre le même pilote pour deux noms). Le pilote est function(ai, done) : ai.payload contient model, messages, tools, prompt et think, ai.config est la configuration et ai.options.stream est la fonction que l'appelant a passée à stream() (ou undefined). Répondez avec done(error, response).
AIMODEL('name') démarre une requête pour un modèle enregistré et renvoie un builder. system(text), user(text) et assistant(text) ajoutent un message, prompt(text), tool(definition) et think() remplissent le reste du payload, et configure({ ... }) ajoute à ai.config pour cet appel seulement. Terminez avec callback(fn), await promise($) ou stream(fn) ; le pilote s'exécute après le tour courant, vous pouvez donc d'abord tout enchaîner.
AIPARSER(provider) renvoie un parseur pour la réponse en flux d'un fournisseur (le source de total5 connaît openai, claude/anthropic, gemini/google, ollama et openai_responses, et lit tout autre nom comme un format générique ; seul openai est exécuté plus bas). write(chunk) reçoit des morceaux du flux (il garde les lignes incomplètes jusqu'au morceau suivant), end() le termine, et les deux renvoient { content, thinking, tools, reasoning }. parser.on('content', fn) est appelé avec chaque partie du texte à mesure qu'elle arrive.

Un modèle qui n'a pas été enregistré répond avec l'erreur AI model not found.. L'exemple enregistre un conducteur local qui retourne une réponse des messages fournis.

definitions/ai.js

NEWAIMODEL('echo', { prefix: 'Echo' }, function(ai, done) {

	const last = ai.payload.messages.filter(n => n.role === 'user').pop();
	const text = ai.config.prefix + ': ' + (last ? last.content : '');

	// A real driver would send ai.payload to the provider and send the pieces to ai.options.stream
	if (ai.options.stream) {
		for (const word of text.split(' '))
			ai.options.stream(word + ' ');
	}

	done(null, { content: text, roles: ai.payload.messages.map(n => n.role), tools: ai.payload.tools.length, think: !!ai.payload.think });
});

controllers/ai.js

exports.install = function() {
	ROUTE('POST /ask/', ask);
	ROUTE('GET /ask-config/', askconfig);
	ROUTE('GET /ask-stream/', askstream);
	ROUTE('GET /ask-missing/', missing);
	ROUTE('GET /parse/', parse);
};

async function ask($) {
	const response = await AIMODEL('echo').system('You are brief.').user($.body.question).tool({ name: 'weather' }).think().promise($);
	$.json(response);
}

function askconfig($) {
	AIMODEL('echo').user('hello').configure({ prefix: 'Custom' }).callback($.callback());
}

function askstream($) {
	const parts = [];
	AIMODEL('echo').user('one two three').stream(part => parts.push(part)).callback(function(err, response) {
		$.json({ parts: parts, content: response.content });
	});
}

function missing($) {
	AIMODEL('nobody').user('hi').callback($.callback());
}

function parse($) {
	const parser = AIPARSER('openai');
	const events = [];
	parser.on('content', e => events.push(e.delta));

	// the second piece starts in the middle of a line
	parser.write('data: {"choices":[{"delta":{"content":"Hel"}}]}\n\ndata: {"choices":[{"delta":{"con');
	parser.write('tent":"lo"}}]}\n\ndata: [DONE]\n');
	const output = parser.end();

	$.json({ output: output, events: events });
}