总结-GoogleIOExtended2023线下沙龙总结
- 这一次的讲座准备了很多丰富有趣的内容,跟NLP、LLM都有许多的关系,十分值得学习
关于ML
一般的ML过程
- 数据收集与预处理
- 模型架构设计与训练
- 模型部署
- 监控与持续优化
- 其中,谷歌坚持这一切都在ResponsibleAI的框架下运行
Google在ML方面的支持
kaggle:数据收集与处理
- 数据增强:数据来之不易,可以利用AI来增加样本量
- 现成数据
- keras-cv:物体检测与识别 支持nlp
- jax:科研 写paper 模型转化
- re-tensorflow:tensorflow似乎经过了优化,并没有那么难上手了
- tensorflow-js webgpu:部署模型
关于LLM:
Google发布了新版的PaLM,对外开放了以下几种API
- chat(对话模式,重视上下文)
- text(单轮对话)
- embedding(nlp 词向量化)
提示词工程(递进发展)
- Prompting
In-Context Learning:通过少数几个例子,让模型在不更新参数的前提下解决任务
- Chain of thought
- 数据生成
- soft-tuning reverse-prompt
- safe-and-responsible:模型边界(bias)
- fine-tune:微调以快速应用训练好的模型用于解决实际任务、更好地解决实际任务
- 多样性覆盖是解决bias的一种办法(数据生成)
prompt
- user-prompt
- initial-prompt
借助measure-harms(输入与输出两面检测)来改进模型的安全性
LLM下的NLP:
NLP的主要任务:
整理(分类,抽取特征、块)
- 分类(通用)
- 序列标注:分词 时间抽取 实体识别
生成自然语言
- 翻译
- 语音识别(也算,自然语言不仅仅包括文本形式)
- 创造
- 数据标注决定于输入与输出(任务要求与原始数据)
- 从前:预训练模型+微调
语言模型可以模仿(包括思维模式:假推理?什么是推理)
- 指令学习
- 人在回路:高质量标注以微调
- 从前:encoder(解析)与decoder(生成)结构的模型,而ChatGPT是纯decoder的模型
抽象问题也是很重要的,由场景而来
- 写prompt现在是在gpt系中代替了抽象问题的方法
- autoGPT的运作方式值得参考(模型掌握得比人多,比人细)(买一台电脑)(削弱掉人的规划作用)
谷歌云:
- anycast取代dns分流
- 谷歌云翻译api
- 谷歌地图api
- vertexai帮助构建LLM构建
- embbedingapi,matching
- codey
- imagen
- cloud spanner
- cloud bigtable
- big query(warehouse)
- google analystics(数据收集,标记)