关于Apple的第一个思考

关于Apple的第一个思考： Apple AFM论文中，一直关注的就是LoRA来恢复低量化精度的准确性。这个idea在5月份就有了，再往前一推，23年10月就有了LoftQ，对LLM的LoRA 微调感知量化。但之前因为种种推理问题放弃了这个idea，Apple重新研究并推广出来了。 更好的低精度恢复，AQLM，HQQ+等，继续进步number representation。加上LLM对SLM的distill和FlashAttention等等啥的，内存需求不会一味的扩大。 第二个思考：SlowFast-LLaVA视觉模型，4M-21模型，和Talaria，MMAU基准。 关于Apple与TPU的协作内容。注意到一篇《GSPMD: General and Scalable Parallelization for ML Computation Graphs》很值得关注。 它们是Apple的工作（除上面的GSPMD），但是很少人关注，其中的Talaria我认为非常值得关注。关注端到端的语音识别卷积模型等等，可见Apple intelligence准备得非常充足，的确是方方面面考虑到再发布自己的AI而不是Machine Learning。 关于OpenAI的第一个思考: OpenAI之前的两个”期货”： 一个是Sora。现在快手的Kling效果非常好，一样的DiT和Latent Space思路，而Sora还看不见踪影，只给少数人使用。 还有一个就是低延时的实时对话，现在针对低延时LLM的RTC语音服务，利用Groq，Google Gemini Flash低延时推理，加上CartesiaAI和DeepgramAI的Stream Audio API，Daily的Plipeine优化以及Pipecat的缓冲框架，做到500ms的响应。OpenAI也在iOS上的App的noise filter切到Krisp noise filter。 OpenAI的闭源GPT-4与Mistral和Llama相比在价格和大多场景下失去面向市场的应用竞争力 第二个思考： 之前提出的ToT思维树因为调用次数太多而产生的性价比太低的问题。 但现在因为GPT-4o mini、Llama 3.1 8B而得以进一步推广了。做Language Agent（ReACT,Reflexion,ToT）和WebShop、SWE-bench、SWE Agent甚至τ-Bench的被OpenAI盯上了。 做完自然、低延迟语音交互的LLM时代Speaking HCI后，之后再加上UI Action，后推广到Phyisical Agent。 这一步，Grok和Tesla准备好了没？