google/magika

구글이 지메일이랑 드라이브에서 매주 수천억 개 파일 검사할 때 쓰는 도구가 이거임. 딥러닝 기반인데 모델 용량이 몇 메가밖에 안 돼서 엄청 가볍고 빠름. 파일 타입 감지하는 정확도가 99%라는데 기존의 구식 툴들 쓰면서 고생하던 시절은 이제 끝났네. github.com/google/magika

Contains the canonical GitHub repository URL.

Google released a 1MB AI model that quickly catches malware disguised as PDFs. Magika is an open source file detection system. It doesn't trust file extensions. Instead, it reads the actual content to figure out what a file really is. That means malware disguised as a PDF gets caught. Hidden scripts inside images get flagged. Fake extensions don't fool it. It runs on a single CPU and classifies files in about 5ms. It supports 200+ file types and hits ~99% accuracy across ~100M training samples. It works as: > A Rust command line tool > A Python library via pip > JavaScript and Go bindings Google already uses it across Gmail, Drive, and Safe Browsing. Now anyone can run it locally, scan entire directories, and build it into their own security pipelines.

Matched through a repo-specific project phrase query.

Khoj 代码简读 @khoj_ai Khoj 是一款开源的个人 AI 助手应用，旨在扩展用户的数字大脑和能力，由 Khoj AI 开发并开源。 主要功能 - 可以访问和处理用户的笔记和文档 - AI 助手可以访问互联网获取实时信息 - 提供快速准确的语义搜索功能 - 可以生成个性化图像 - 具有语音理解能力 代码简读 - 在线搜索 -> 在线搜索：优先使用 @serperapi Serper API Google Search 通过 query 解析分拆后搜索，如搜索不可行则使用 @JinaAI_ Reader 的 Search 能力来搜索内容。 -> 读取网页：优先使用 @olostep 爬虫能力获取并提取网页内容，如不可行则使用 @JinaAI_ Reader 能力爬取。 github.com/khoj-ai/khoj/blob… - 语音合成 -> 语音合成：使用 @elevenlabs API 合成语音。有一个小技巧可借鉴：LLM 返回答案可能是 Markdown 格式，需要先转换为纯有效文本内容，再执行语音合成，返回语音流数据。 github.com/khoj-ai/khoj/blob… - 对话实现 -> Claude 默认使用 claude-instant-1.2，很值得参考的是 system prompt 的构建，涉及到当前时间和地点的设定，以对聊天历史记录有更准确的引用判断。（推荐更新到 Claude 3.5 或 3 最新模型） -> GPT & Whisper 默认使用 gpt-4-turbo-preview 和 Whiper，system prompt 同样有关于时间、地点和年龄的信息设定。 -> 本地模型 使用 llama_cpp 加载 @NousResearch Hermes-2-Pro-Mistral-7B-GGUF 模型，Whisper 模型也使用了本地加载模式（推荐尝试 @ollama 加载最新开源模型） -> Prompts 强烈推荐参考 prompts，关于搜索、对话、信息提取、异常状态等等，都有很完善的经过验证的 prompts。 github.com/khoj-ai/khoj/tree… - 内容处理 -> DOCX 使用 Langchain @langchain document_loaders 进行 DOCX 文件加载解析。 -> Github 对指定 Github repo，通过 Google Magika 判断文件类型后进行不同方式的文件解析，包括 repo 作者信息、库信息和文件信息等。 Magika： github.com/google/magika -> Images 对图片内容，使用 RapidOCR 进行解析和内容提取。 -> Markdown & Org & PlainText 自己编写的解析代码，大家感兴趣可以查阅。 -> Notion 使用 Notion API，结合对 NotionBlockType 的定义解析有效文本内容。 -> PDF 使用 Langchain @langchain document_loaders 进行 DOCX 文件加载解析。 github.com/khoj-ai/khoj/tree… - 对话路由控制等 对不同对话内容的处理路由，参考 routers 中的各处理 python 代码。 github.com/khoj-ai/khoj/tree… 开源项目地址： github.com/khoj-ai/khoj

Contains the canonical GitHub repository URL.

fileコマンドより賢いGoogle Magika github.com/google/magika 2年前に話題になったやつだが、また驚き屋が驚いているのか

Contains the canonical GitHub repository URL.

مشروع Magika من #قوقل - تكتشف المحتوى الحقيقي لأي ملف - تتجاهل الامتدادات المزيفة (مثل برمجيات خبيثة متنكرة كملف PDF) - تحدد البرمجيات النصية المخفية في الصور أو تنسيقات أخرى - تحلل الملفات في أجزاء من الثانية الرابط github.com/google/magika

Contains the canonical GitHub repository URL.

Google Magika in ggml github.com/ggerganov/ggml/pu…

Returned by a high-confidence repo query and contains a visible project phrase, but the exact URL, slug, or package name was not visible.

coba rename file .exe lo jadi .pdf, kirim ke email sendiri, icon-nya bakal muncul sebagai PDF. OS lo tetep percaya, ekstensi file itu cuma label yang siapapun bisa ketik. Magika dari Google — 1MB deep learning model yang baca struktur konten, bukan cuma magic bytes di awal file. 99% akurat, 5ms/file. "file" command umur 53 taun. ini pengganti pertamanya yang beneran. cara install? cukup "pip install magika"

Matched through a repo-specific project phrase query.

GitHub - google/magika: Detect file content types with deep learning github.com/google/magika

Contains the canonical GitHub repository URL.

Magika: April Hair @ Mainstore〡Taxi: maps.secondlife.com/secondli… #SecondLife #Magika #New #Release #Mainstore #slcontent #KawaiiFeed

Matched through a repo-specific project phrase query.