ну а вы посмотрите сколько стоит использование API. и удивитесь
2024-07-09 16:26:25
Я как раз знаю, сколько стоит использование API, я использую. Для описанного сценария — несравнимо дешевле, чем поднимать своё.
2024-07-09 16:27:54
свой инстанс в каком-нибудь хецнере будет стоить до 100 баксов в мес + косты за пару месяцев обучения модели (это если не взять уже готовую). по использованию апи я как-то считал, правда слегка для другого кейса (но похожего), у меня получалось в районе 500 в мес. вы не учитываете, что обрабатывается новостей в несколько раз больше, чем в итоге попадает на выдачу
2024-07-09 16:30:44
Если процессить в пакетном режиме — это стоит 2.5 доллара за миллион входящих токенов и 7.5 долларов за миллион исходящих. И это с самой дорогой на текущий момент моделью. Если брать 3.5 (которая для таких задач будет всё равно в тысячи раз умнее, чем своя обученная хрен знает на чём) — то ровно в десять раз дешевле — 25 центов за миллион входящих и 75 центов за миллион исходящих. Какие нахрен 500 в месяц, о чём вы?
И это без учёта того, что не нужно вообще никаких ресурсов тратить на поддержку, обслуживание, обучение.
2024-07-09 17:03:48
как здесь надо двигать ползунок, чтобы получить 7.5 долларов за миллион?
2024-07-09 16:37:49
и причем пакетный режим к обсуждаемому кейсу?
2024-07-09 16:39:44
подождать месяц - и разом как все новости выгрузить?)
2024-07-09 16:40:07
Вообще не надо двигать, он по дефолту стоит в этом значении. Первая строка — 100 токенов за запрос, 10 000 запросов, цена — 7.5 долларов. Это и есть 7.5 за миллион.
А вообще не надо двигать ползунки, нужно просто смотреть на ценник: https://openai.com/api/pricing/.
Пакетный режим выдаёт результат за 24 часа. Если это не подходит и нужен риал тайм — будет всего в два раза дороже, что тоже с запасом вписывается в мой базовый тезис.
здесь должен был быть медиа файл, но наш сервер не резиновый: MessageMediaPhoto
здесь должен был быть медиа файл, но наш сервер не резиновый: MessageMediaPhoto
2024-07-09 18:20:22
там еще есть кол-во слов
2024-07-09 16:44:55
Вы уже поняли, что я прав, и просто выдаёте наблюдения? 🙂
2024-07-09 16:48:06
нет, если честно, не до конца понял. во-первых, не чатоgpt единым, во вторых, надо почитать внимательно ту ссылку, которую вы скинули. Но если они убрали ограничение на кол-во слов, то вы правы
2024-07-09 16:49:37
здесь должен был быть медиа файл, но наш сервер не резиновый: MessageMediaUnsupported
2024-07-09 18:23:00
ок. давайте я попробую подсчитать для этого кейса (лень конечно, но вдруг родится истина)
2024-07-09 16:55:37
да, я на порядок обсчитался. был неправ. у меня для этого кейса получилось в районе 60 баксов в мес (не 600 как посчитал изначально). Справедливости ради для этого же кейса можно использовать тот же Huggingface, где хостинг будет 0 и модель бесплатно. и 0 меньше 60. Но 60 баксами можно пренебречь, согласен
2024-07-09 17:06:57
Умишка у локальных моделей на порядок меньше, только если узкоспециальную использовать
2024-07-09 17:07:52
вот
2024-07-09 16:59:42
А обучить?
2024-07-09 17:00:07
здесь должен был быть медиа файл, но наш сервер не резиновый: MessageMediaUnsupported
2024-07-09 17:01:39
Мурзик мыслит как Мурзик как всегда
2024-07-09 17:03:00
а мне мыслить как шарик?
2024-07-09 17:03:31
Не экспертить там где не очень разбираешься )
2024-07-09 17:04:04
я не эксперчу, я грязной работой не занимаюсь. Сказал интегрировать - интегрируют.
2024-07-09 17:04:24
Плохо считали )
2024-07-09 17:02:40