읽기
Multi-color highlights, margin notes, and live presence — built for deep reading sessions.
PDF
Attention is All You NeedVaswani et al. · p.42 / 156
ED
SK
+2
ED
EdwardKey insight — link to Section 5
하나로 연결된 작업 공간 더 명확하게 연구하세요.
깊이 읽고, 아이디어를 연결하고, 지식을 내 것으로 만드세요.
논문, 노트, AI를 하나의 차분한 공간에서 만나세요.
인터랙티브 제품 미리보기 · 예시 콘텐츠는 영어로 제공됩니다
Example document
Highlight Section
Translate: Workdocs enables you to translate content from multiple languages into a single target language of your choice.
Currently, we support translations in over 100 languages with fast, reliable performance.
Highlight
Copy
Translate
Ask chatbot ↘
Multiple Models Support
GPT-4.1 mini
Gemini 2.0 Flash
DeepSeek V3
Incoming Features
Search Browser
Browse and search the web
Ready
Deep Research
Advanced research tools
Incoming
WorkDocs Canvas
Visual workspace for docs
Incoming
Ask the PDF anything that you need
첫 질문부터 다음 발견까지.
Trusted by researchers from some of the best institutions in the world.
하나의 공간에서모든 것을
읽기, 노트, AI를 하나의 작업 공간에서 연결하세요.
문서 읽기 및 하이라이트
PDF를 읽으며 본문에 하이라이트, 주석, 색상 표시를 추가하세요.
깊이 있는 읽기를 위한 분할 보기, 키보드 단축키, 다채로운 하이라이트.
대체 도구
노트 작성 시스템
체크리스트, 블록, 메모를 활용해 깔끔한 노트에 아이디어를 담으세요.
노트를 원문 페이지에 연결하고 주제별로 정리하며 즉시 검색하세요.
대체 도구
AI 지식 베이스
모든 문서에 대해 자유롭게 질문하세요. 나만의 AI 연구 도우미입니다.
파일, 노트, 하이라이트를 바탕으로 맥락을 이해하고 출처를 제시하는 답변.
대체 도구
12 highlights · 4 notes
Ch. 3 of 8
AT
Attention Is All You NeedVaswani et al. · NeurIPS 2017 · p. 3
The Transformer relies entirely on self-attention to compute representations of its input and output without using sequence-aligned RNNs or convolution, enabling significantly more parallelization.
Architecture
Key claim
ME
My margin note · Ch. 22h ago · synced
Insight
Multi-head attention lets the model attend to information from different representation subspaces. Each head learns a distinct projection — together they capture syntactic and semantic patterns in parallel.
Pinned quote
Exam-worthy
p. 12“Attention is all you need — recurrence and convolutions are not required for state-of-the-art sequence transduction.”
Research — TransformersUpdated 5 min ago · 4 backlinks
Linked to PDF
Goal: understand why attention beats RNNs for long-range dependencies — prep for Friday seminar.
Read Section 3 — Model architecture
Highlight key equations (Q, K, V)
Sketch encoder-decoder diagram
Write 200-word summary in own words
Add 5 flashcards to Anki deck
STICKY NOTEPinned
Compare encoder-decoder attention vs self-attention — could be a great blog post. Reference Bahdanau (2014) as the historical anchor.
Lecture notes — Mar 12CS 224N · Stanford
Auto-synced
Prof. Tanaka emphasized that positional encoding is critical since attention has no inherent order. Sin/cos works because relative positions become linear functions of the encoding vector.
PE(pos, 2i) = sin(pos / 10000^(2i/d))
What does the paper say about scaling self-attention beyond 512 tokens, and how does it compare to Longformer's sliding window?
3 sources
My library
The Work Docs AI
Synthesis · 3 docs
StreamingVanilla self-attention has O(n²) memory and compute complexity, which makes contexts beyond 512 tokens impractical on standard GPUs. Three approaches dominate the literature:
Longformer — sliding window of 512 + global tokens → O(n)
Performer — kernel approximation with random features
FlashAttention — exact, but IO-aware tiling for speed
From your highlights: “the dot-product becomes the bottleneck above 1k tokens” — matches Vaswani §3.2.
Vaswani · p.6
Beltagy · p.3
Dao · p.2
My notes · Ch. 3
Ask anything…
당신을 위해 연구하고 학습하는 AI 도우미
The Work Docs는 학습 흐름을 이해하고 자료 정리, 논문 요약, 출처가 있는 답변 찾기를 도와줍니다.
To Read
Attention Is All You Need
NeurIPS 2017 — 12 pages
V
VaswaniBERT Pre-training
NAACL 2019 — 16 pages
D
DevlinReviewed
Drop here
Attention Is All You Need
NeurIPS 2017 — 12 pages
V
VaswaniWhat did the author say about transformers?
Vaswani et al.Author · Google Brain
Attention Is All You NeedPDF · 12 pages
My highlights — Ch. 3Note · Updated 2h ago
Summarize Paper
Generate Notes
Find Citations
Translate Document
노트 내보내기
Ask anything…
Skills
읽기 목록 정리
논문을 읽기 전, 읽는 중, 검토 완료 단계로 정리하세요.
모든 자료 통합 검색
하나의 검색창에서 저자, 논문, 내 노트를 찾아보세요.
클릭 한 번으로 AI 기능 실행
문서를 떠나지 않고 요약, 퀴즈, 번역을 실행하세요.
연구 도구를 하나로 연결하는작업 공간
모든 자료를 이해하는 챗봇, 집중을 돕는 리더, 원문으로 연결되는 노트까지 연구에 필요한 모든 것을 제공합니다.
💬
AI 챗봇
라이브러리 전체에 질문하세요. PDF, 노트, 하이라이트의 페이지별 출처와 함께 실시간 답변을 받으세요.
📓
스마트 노트
출처 페이지와 연결된 블록형 노트. 백링크, 체크리스트, 메모를 모두 검색하세요.
🖍️
강조 및 주석
여러 색 하이라이트, 여백 메모, 고정 인용문을 노트에 자동 동기화합니다.
❓
퀴즈 생성기
출시 예정어떤 챕터든 플래시카드나 객관식 퀴즈로 만드세요. 기억력과 숙련도를 확인하세요.
🔖
인용 찾기
라이브러리의 관련 구절을 찾아 인용을 노트로 끌어 놓으세요.
Summarize paper
One-click TL;DR with key claims and methods.
Translate doc
Translate any PDF into 30+ languages.
Extract figures
Pull figures, tables, and equations to notes.
Compare papers
Side-by-side compare methods and results.
Generate flashcards곧 출시
Auto-create Anki-ready cards from highlights.
Outline writer
Build paper outlines from your sources.
Define term
Inline definitions sourced from your library.
Find related
Surface related papers and notes by topic.
Export bibliography
BibTeX, RIS, or formatted APA / MLA.
Pull quotes
Extract highlighted quotes into a digest.
Knowledge recall
Resurface key facts marked weeks ago.
Smart highlight
AI suggests the lines worth highlighting.
읽기, 노트, 하이라이트로 이어지는 지식
Every paper, quote, and idea — connected into one knowledge graph. Find anything by following the links.
모든 자료 연결
PDFs, notes, highlights, and AI chats — all linked into one workspace.
체계적인 하이라이트
Page-level citations, colors, and tags organize every quote you save.
맞춤 노트북
Group papers, ideas, and drafts your way — model any research workflow.
하나의 지식 그래프
Follow the links between notes and sources. Search once, find everything.
당신과 함께 성장하도록
Whatever stage of your work — from first read to final draft — The Work Docs grows with your workflow.
AI 채팅
Ask anything across your library. Streamed answers with page-level citations every time.
Compare results in Section 4?
THE WORK DOCS
Recall improved 18% over baselineVaswani p.42, but precision dropped slightlyDevlin p.7.3 sources
Ask anything…
연구
Find related papers, cross-reference quotes, and build a citation web automatically.
SOURCE
cited by 248
92% match
78% match
쓰기
Block-style notes, AI suggestions, and drag-drop citations from every source you own.
AI
ED
SK
SavedH1
Smith 2024
💡
H2
📊
fig-3.png— Vaswani et al., p.42
Cite Devlin 2018Tab
342 words · 2 citationsSynced 2s ago
내보내기
One click to Markdown, Notion, BibTeX, Drive — formatting, links, and sources preserved.
NotesBib
Markdown.md
ReadyNotion작업 공간
SyncedDrive.docx
ReadyBibTeX.bib
24 refsSyncing 4 destinations…
학습
출시 예정Auto flashcards, quizzes, and spaced recall — track mastery and keep your streak.
7-day streak
3 / 12QUESTION
What is multi-head attention?
Answered correctly · 92%
사용자들의 이야기
문서 작업 방식을 바꾼 수천 명의 만족한 사용자와 함께하세요
영어 원문을 번역한 후기입니다.
이런 문서 리더를 오랫동안 찾고 있었어요. 간단하면서도 매우 효과적이라 계획대로 작업하는 데 도움이 됩니다. 사용한 뒤로 생산성이 훨씬 높아졌어요.
Megan Torres
신경과학 박사과정 · UCLA
문서 검색이 정말 훌륭해요. 막힘없이 매끄러운 사용 경험 덕분에 매일 이 앱을 쓰게 됩니다. 작업 방식이 완전히 달라졌어요.
James Whitfield
법학 부교수 · NYU
읽어야 할 연구 논문이 산더미인데, 놀라울 만큼 간단하면서도 집중하는 데 큰 도움이 됩니다. 정말 마음에 들어요.
Camille Rousseau
의학과 3학년 · McGill
The Work Docs를 사용하면서 예전보다 더 많은 일을 해내고 있어요. 모든 연구 논문을 한곳에 정리할 수 있어 정말 큰 도움이 됩니다.
Arjun Mehta
선임 리서치 애널리스트 · McKinsey
많은 사건 문서와 과제를 처리하는 제게 딱 필요한 도구예요. PDF 하이라이트와 주석 기능 덕분에 수많은 시간을 절약했어요.
Hannah Yoo
컴퓨터공학 및 법학 준비 과정 · Stanford University
AI 기능은 정말 획기적입니다. 문서와 대화하고 바로 요약을 받으면서 업무 흐름이 달라졌어요.
Marcus Bell
전략 컨설턴트 · Deloitte
매일 계약서를 검토합니다. The Work Docs 덕분에 긴 PDF를 손쉽게 탐색할 수 있어요. AI 요약 기능은 시간을 크게 절약해 줍니다.
Nadia Osei
주니어 변호사 · Clifford Chance
드디어 작업을 방해하지 않는 앱을 찾았어요. 깔끔하고 빠르며 검색 기능은 놀라울 만큼 강력합니다. 팀의 모든 개발자에게 추천해요.
Kenji Nakashima
소프트웨어 엔지니어 · Stripe
난해한 기술 논문을 다루는 제게 이 앱은 정말 큰 도움이 됩니다. AI 채팅 덕분에 복잡한 내용을 더 빠르게 이해할 수 있어요.
Priya Nair
머신러닝 엔지니어 · Google DeepMind
팀 전체가 실사 업무에 사용하고 있습니다. 협업이 이렇게 쉬웠던 적은 없어요. 이 작업 공간 덕분에 모두가 같은 방향으로 집중할 수 있습니다.
Lucas Ferreira
공동 창업자 및 CEO · Fundo
이런 문서 리더를 오랫동안 찾고 있었어요. 간단하면서도 매우 효과적이라 계획대로 작업하는 데 도움이 됩니다. 사용한 뒤로 생산성이 훨씬 높아졌어요.
Megan Torres
신경과학 박사과정 · UCLA
문서 검색이 정말 훌륭해요. 막힘없이 매끄러운 사용 경험 덕분에 매일 이 앱을 쓰게 됩니다. 작업 방식이 완전히 달라졌어요.
James Whitfield
법학 부교수 · NYU
읽어야 할 연구 논문이 산더미인데, 놀라울 만큼 간단하면서도 집중하는 데 큰 도움이 됩니다. 정말 마음에 들어요.
Camille Rousseau
의학과 3학년 · McGill
The Work Docs를 사용하면서 예전보다 더 많은 일을 해내고 있어요. 모든 연구 논문을 한곳에 정리할 수 있어 정말 큰 도움이 됩니다.
Arjun Mehta
선임 리서치 애널리스트 · McKinsey
많은 사건 문서와 과제를 처리하는 제게 딱 필요한 도구예요. PDF 하이라이트와 주석 기능 덕분에 수많은 시간을 절약했어요.
Hannah Yoo
컴퓨터공학 및 법학 준비 과정 · Stanford University
AI 기능은 정말 획기적입니다. 문서와 대화하고 바로 요약을 받으면서 업무 흐름이 달라졌어요.
Marcus Bell
전략 컨설턴트 · Deloitte
매일 계약서를 검토합니다. The Work Docs 덕분에 긴 PDF를 손쉽게 탐색할 수 있어요. AI 요약 기능은 시간을 크게 절약해 줍니다.
Nadia Osei
주니어 변호사 · Clifford Chance
드디어 작업을 방해하지 않는 앱을 찾았어요. 깔끔하고 빠르며 검색 기능은 놀라울 만큼 강력합니다. 팀의 모든 개발자에게 추천해요.
Kenji Nakashima
소프트웨어 엔지니어 · Stripe
난해한 기술 논문을 다루는 제게 이 앱은 정말 큰 도움이 됩니다. AI 채팅 덕분에 복잡한 내용을 더 빠르게 이해할 수 있어요.
Priya Nair
머신러닝 엔지니어 · Google DeepMind
팀 전체가 실사 업무에 사용하고 있습니다. 협업이 이렇게 쉬웠던 적은 없어요. 이 작업 공간 덕분에 모두가 같은 방향으로 집중할 수 있습니다.
Lucas Ferreira
공동 창업자 및 CEO · Fundo
AI 기능은 정말 획기적입니다. 문서와 대화하고 바로 요약을 받으면서 업무 흐름이 달라졌어요.
Marcus Bell
전략 컨설턴트 · Deloitte
매일 계약서를 검토합니다. The Work Docs 덕분에 긴 PDF를 손쉽게 탐색할 수 있어요. AI 요약 기능은 시간을 크게 절약해 줍니다.
Nadia Osei
주니어 변호사 · Clifford Chance
드디어 작업을 방해하지 않는 앱을 찾았어요. 깔끔하고 빠르며 검색 기능은 놀라울 만큼 강력합니다. 팀의 모든 개발자에게 추천해요.
Kenji Nakashima
소프트웨어 엔지니어 · Stripe
난해한 기술 논문을 다루는 제게 이 앱은 정말 큰 도움이 됩니다. AI 채팅 덕분에 복잡한 내용을 더 빠르게 이해할 수 있어요.
Priya Nair
머신러닝 엔지니어 · Google DeepMind
팀 전체가 실사 업무에 사용하고 있습니다. 협업이 이렇게 쉬웠던 적은 없어요. 이 작업 공간 덕분에 모두가 같은 방향으로 집중할 수 있습니다.
Lucas Ferreira
공동 창업자 및 CEO · Fundo
이런 문서 리더를 오랫동안 찾고 있었어요. 간단하면서도 매우 효과적이라 계획대로 작업하는 데 도움이 됩니다. 사용한 뒤로 생산성이 훨씬 높아졌어요.
Megan Torres
신경과학 박사과정 · UCLA
문서 검색이 정말 훌륭해요. 막힘없이 매끄러운 사용 경험 덕분에 매일 이 앱을 쓰게 됩니다. 작업 방식이 완전히 달라졌어요.
James Whitfield
법학 부교수 · NYU
읽어야 할 연구 논문이 산더미인데, 놀라울 만큼 간단하면서도 집중하는 데 큰 도움이 됩니다. 정말 마음에 들어요.
Camille Rousseau
의학과 3학년 · McGill
The Work Docs를 사용하면서 예전보다 더 많은 일을 해내고 있어요. 모든 연구 논문을 한곳에 정리할 수 있어 정말 큰 도움이 됩니다.
Arjun Mehta
선임 리서치 애널리스트 · McKinsey
많은 사건 문서와 과제를 처리하는 제게 딱 필요한 도구예요. PDF 하이라이트와 주석 기능 덕분에 수많은 시간을 절약했어요.
Hannah Yoo
컴퓨터공학 및 법학 준비 과정 · Stanford University
AI 기능은 정말 획기적입니다. 문서와 대화하고 바로 요약을 받으면서 업무 흐름이 달라졌어요.
Marcus Bell
전략 컨설턴트 · Deloitte
매일 계약서를 검토합니다. The Work Docs 덕분에 긴 PDF를 손쉽게 탐색할 수 있어요. AI 요약 기능은 시간을 크게 절약해 줍니다.
Nadia Osei
주니어 변호사 · Clifford Chance
드디어 작업을 방해하지 않는 앱을 찾았어요. 깔끔하고 빠르며 검색 기능은 놀라울 만큼 강력합니다. 팀의 모든 개발자에게 추천해요.
Kenji Nakashima
소프트웨어 엔지니어 · Stripe
난해한 기술 논문을 다루는 제게 이 앱은 정말 큰 도움이 됩니다. AI 채팅 덕분에 복잡한 내용을 더 빠르게 이해할 수 있어요.
Priya Nair
머신러닝 엔지니어 · Google DeepMind
팀 전체가 실사 업무에 사용하고 있습니다. 협업이 이렇게 쉬웠던 적은 없어요. 이 작업 공간 덕분에 모두가 같은 방향으로 집중할 수 있습니다.
Lucas Ferreira
공동 창업자 및 CEO · Fundo
이런 문서 리더를 오랫동안 찾고 있었어요. 간단하면서도 매우 효과적이라 계획대로 작업하는 데 도움이 됩니다. 사용한 뒤로 생산성이 훨씬 높아졌어요.
Megan Torres
신경과학 박사과정 · UCLA
문서 검색이 정말 훌륭해요. 막힘없이 매끄러운 사용 경험 덕분에 매일 이 앱을 쓰게 됩니다. 작업 방식이 완전히 달라졌어요.
James Whitfield
법학 부교수 · NYU
읽어야 할 연구 논문이 산더미인데, 놀라울 만큼 간단하면서도 집중하는 데 큰 도움이 됩니다. 정말 마음에 들어요.
Camille Rousseau
의학과 3학년 · McGill
The Work Docs를 사용하면서 예전보다 더 많은 일을 해내고 있어요. 모든 연구 논문을 한곳에 정리할 수 있어 정말 큰 도움이 됩니다.
Arjun Mehta
선임 리서치 애널리스트 · McKinsey
많은 사건 문서와 과제를 처리하는 제게 딱 필요한 도구예요. PDF 하이라이트와 주석 기능 덕분에 수많은 시간을 절약했어요.
Hannah Yoo
컴퓨터공학 및 법학 준비 과정 · Stanford University
자주 묻는 질문
궁금한 점을 해결해 드려요