Большие языковые модели (LLM), такие как ChatGPT, BERT, LLaMA и PaLM, — это новейшие инновации в области искусственного интеллекта. Они могут создавать уникальный контент и имитировать человеческие ответы. Правда, иногда они могут содержать ошибки, что снижает доверие к ним.
Inference-Time Intervention (ITI)
Группа исследователей из Гарвардского университета предложила новый подход, называемый Inference-Time Intervention (ITI), для повышения правдивости языковых моделей. Этот метод изменяет активации моделей в процессе вывода, используя определенные инструкции и фокусируясь на небольшом числе ключевых элементов. ITI был протестирован на модели LLaMA, и результаты показали значительное повышение правдивости ответов.
Такой подход является важным шагом в развитии искусственного интеллекта и может быть использован в различных областях, где требуется точность и правдивость ответов.
Метод ITI выделяется из списка других методов, таких как RLHF, по той причине, что для его применения не требуется модификации предварительно обученных моделей и больших вычислительных ресурсов. Этот метод доказал свою эффективность и не требует участия аннотаторов. Более того, ITI — менее инвазивный метод, который можно использовать во время вывода без сложной процедуры обучения.
Исследователи высоко оценили применение ITI, как способ повышения правдивости модели LLaMA на тесте TruthfulQA. Регулировка силы вмешательства позволила достичь гибкого компромисса между полезностью и правдивостью. Кроме того, преимущества ITI заключаются в низкой инвазивности, низких вычислительных затратах и эффективности использования данных.
ITI — это простой и понятный метод, который может быть использован без особых усилий. Он позволяет не только повысить правдивость модели, но и значительно снизить затраты на обучение.
