quickest-silver•2y ago
Extreme token usage.
My pretty simple chatbot is using WAY too many tokens. Is it normal to get a 2700 token usage for this convo (it's in spanish but just so you guys have an idea of how long it is):
Is this normal?
¡Genial! Te voy a ayudar con tu mealplan.
Antes de nada, ¿me puedes decir cual es tu nombre?
Willy
No Match -
¿Me podrias proporcionar también tu mejor email para que te pueda mandar tu mealplan personalizado? Willyrex@gmail.com Capture_email_ikbhohgm - 100.00% ¡Gracias! Ok, antes de que pueda crearte un mealplan para ti, necesito hacerte unas preguntas. Empecemos... Selecciona tu género Hombre ¿Cual es tu peso? Porfavor introduce tu peso en kilogramos Por ejemplo: 70 80 Capture_peso_dponfnkl 100.00% ¿Cuantos años tienes? 23 Capture_edad_dnajngab 100.00% ¿Cuales son tus metas actuales? ¿Te gustaria ganar o perder peso? Perder peso No Match ¿Cuanto ejercico haces a diario? ¿Suave, Moderado, Intenso, Nada? Moderado No Match ¿Tienes alergia a algún alimento? No ¿Cuantos días a la semana quieres comer Knoweats? 3 Capture_dias_klbdkbgl 100.00% ¿Y cuantas veces al dia quieres comer nuestra comida? 2 Capture_veces_ngofbfam 100.00% Día 1: Comida 1: Guiso de alcachofa y heura (225g), Tarta de queso casera (150g) Comida 2: Arroz con espárragos y setas (210g), Tofu en salsa agridulce con verduras y arroz (225g) Total: 1,950 calorías, 90g de proteína, 240g de carbohidratos, 60g de grasas Día 2: Comida 1: Pollo al curry con arroz (225g), Crema de lenteja roja estilo Thai (210g) Comida 2: Pavo en salsa diavola (225g), Lasaña de pollo (225g) Total: 1,950 calorías, 90g de proteína, 240g de carbohidratos, 60g de grasas Día 3: Comida 1: Pollo a la griega (225g), Arroz con leche de coco y pistacho (150g) Comida 2: Gyozas de gambas con puré boniato y salsa teriyaki (190g), Brownie de chocolate y frambuesa (150g) Total: 1,950 calorías, 90g de proteína, 240g de carbohidratos, 60g de grasas
¿Me podrias proporcionar también tu mejor email para que te pueda mandar tu mealplan personalizado? Willyrex@gmail.com Capture_email_ikbhohgm - 100.00% ¡Gracias! Ok, antes de que pueda crearte un mealplan para ti, necesito hacerte unas preguntas. Empecemos... Selecciona tu género Hombre ¿Cual es tu peso? Porfavor introduce tu peso en kilogramos Por ejemplo: 70 80 Capture_peso_dponfnkl 100.00% ¿Cuantos años tienes? 23 Capture_edad_dnajngab 100.00% ¿Cuales son tus metas actuales? ¿Te gustaria ganar o perder peso? Perder peso No Match ¿Cuanto ejercico haces a diario? ¿Suave, Moderado, Intenso, Nada? Moderado No Match ¿Tienes alergia a algún alimento? No ¿Cuantos días a la semana quieres comer Knoweats? 3 Capture_dias_klbdkbgl 100.00% ¿Y cuantas veces al dia quieres comer nuestra comida? 2 Capture_veces_ngofbfam 100.00% Día 1: Comida 1: Guiso de alcachofa y heura (225g), Tarta de queso casera (150g) Comida 2: Arroz con espárragos y setas (210g), Tofu en salsa agridulce con verduras y arroz (225g) Total: 1,950 calorías, 90g de proteína, 240g de carbohidratos, 60g de grasas Día 2: Comida 1: Pollo al curry con arroz (225g), Crema de lenteja roja estilo Thai (210g) Comida 2: Pavo en salsa diavola (225g), Lasaña de pollo (225g) Total: 1,950 calorías, 90g de proteína, 240g de carbohidratos, 60g de grasas Día 3: Comida 1: Pollo a la griega (225g), Arroz con leche de coco y pistacho (150g) Comida 2: Gyozas de gambas con puré boniato y salsa teriyaki (190g), Brownie de chocolate y frambuesa (150g) Total: 1,950 calorías, 90g de proteína, 240g de carbohidratos, 60g de grasas
1 Reply
The token usage you're experiencing seems to be on the higher side, but it's not entirely unusual. Tokens are used by both the input (what is being sent to the AI model) and output (what is being received from the AI model).
In Voiceflow, different AI models have different costs, represented by multipliers. More accurate models use more tokens. For example, using GPT-4 will use 25x more Voiceflow AI tokens than GPT-3.5 for the same question.
Here's a rough estimate of how many tokens different features use in Voiceflow:
- Knowledge Base: A question and answer will use anywhere from 800-1500 tokens depending on the size of the question and answer.
- Response AI Step (With Memory): A question and answer when using the Response AI step with Memory will use anywhere from 150-2000 tokens. Voiceflow saves the last 3 conversation turns and passes those to your AI model to provide context for your answer.
- Response AI Step (Without Memory): A question and answer when using the Response AI step without memory will use roughly 150-300 tokens.
Remember, the 'token' slider on the AI steps only controls the output message. Depending on your design, there may be a large amount of information that is sent to the AI model as a part of your prompt.
If you're using a more complex AI model or have a large amount of information being sent to the AI model, this could explain the high token usage.
For more information, you can refer to the Open AI Token Documentation and Anthropic Token Documentation.