Lire
Multi-color highlights, margin notes, and live presence — built for deep reading sessions.
PDF
Attention is All You NeedVaswani et al. · p.42 / 156
ED
SK
+2
ED
EdwardKey insight — link to Section 5
Votre espace de travail tout-en-un pour la recherche.
Lisez en profondeur. Reliez les idées. Appropriez-vous le savoir.
Vos articles, notes et IA, réunis dans un espace serein.
Aperçu interactif du produit · exemples en anglais
Example document
Highlight Section
Translate: Workdocs enables you to translate content from multiple languages into a single target language of your choice.
Currently, we support translations in over 100 languages with fast, reliable performance.
Highlight
Copy
Translate
Ask chatbot ↘
Multiple Models Support
GPT-4.1 mini
Gemini 2.0 Flash
DeepSeek V3
Incoming Features
Search Browser
Browse and search the web
Ready
Deep Research
Advanced research tools
Incoming
WorkDocs Canvas
Visual workspace for docs
Incoming
Ask the PDF anything that you need
De votre première question à votre prochaine découverte.
Trusted by researchers from some of the best institutions in the world.
Un espace pourtout
Vos lectures, notes et IA, réunies dans un seul espace de travail.
Lecture et surlignage de documents
Lisez vos PDF avec surlignages, annotations et marqueurs de couleur.
Vue partagée, raccourcis clavier et surlignages multicolores pour une lecture approfondie.
Remplace
Prise de notes
Notez vos idées dans un carnet épuré avec listes, blocs et pense-bêtes.
Reliez vos notes aux pages sources, classez-les par sujet et retrouvez tout instantanément.
Remplace
Base de connaissances IA
Interrogez tous vos documents avec votre assistant personnel de recherche IA.
Des réponses contextualisées avec des citations issues de vos fichiers, notes et surlignages.
Remplace
12 highlights · 4 notes
Ch. 3 of 8
AT
Attention Is All You NeedVaswani et al. · NeurIPS 2017 · p. 3
The Transformer relies entirely on self-attention to compute representations of its input and output without using sequence-aligned RNNs or convolution, enabling significantly more parallelization.
Architecture
Key claim
ME
My margin note · Ch. 22h ago · synced
Insight
Multi-head attention lets the model attend to information from different representation subspaces. Each head learns a distinct projection — together they capture syntactic and semantic patterns in parallel.
Pinned quote
Exam-worthy
p. 12“Attention is all you need — recurrence and convolutions are not required for state-of-the-art sequence transduction.”
Research — TransformersUpdated 5 min ago · 4 backlinks
Linked to PDF
Goal: understand why attention beats RNNs for long-range dependencies — prep for Friday seminar.
Read Section 3 — Model architecture
Highlight key equations (Q, K, V)
Sketch encoder-decoder diagram
Write 200-word summary in own words
Add 5 flashcards to Anki deck
STICKY NOTEPinned
Compare encoder-decoder attention vs self-attention — could be a great blog post. Reference Bahdanau (2014) as the historical anchor.
Lecture notes — Mar 12CS 224N · Stanford
Auto-synced
Prof. Tanaka emphasized that positional encoding is critical since attention has no inherent order. Sin/cos works because relative positions become linear functions of the encoding vector.
PE(pos, 2i) = sin(pos / 10000^(2i/d))
What does the paper say about scaling self-attention beyond 512 tokens, and how does it compare to Longformer's sliding window?
3 sources
My library
The Work Docs AI
Synthesis · 3 docs
StreamingVanilla self-attention has O(n²) memory and compute complexity, which makes contexts beyond 512 tokens impractical on standard GPUs. Three approaches dominate the literature:
Longformer — sliding window of 512 + global tokens → O(n)
Performer — kernel approximation with random features
FlashAttention — exact, but IO-aware tiling for speed
From your highlights: “the dot-product becomes the bottleneck above 1k tokens” — matches Vaswani §3.2.
Vaswani · p.6
Beltagy · p.3
Dao · p.2
My notes · Ch. 3
Ask anything…
Un assistant IA qui recherche et apprend pour vous
The Work Docs comprend votre façon d’étudier et vous aide à organiser les sources, résumer les articles et trouver des réponses avec citations.
To Read
Attention Is All You Need
NeurIPS 2017 — 12 pages
V
VaswaniBERT Pre-training
NAACL 2019 — 16 pages
D
DevlinReviewed
Drop here
Attention Is All You Need
NeurIPS 2017 — 12 pages
V
VaswaniWhat did the author say about transformers?
Vaswani et al.Author · Google Brain
Attention Is All You NeedPDF · 12 pages
My highlights — Ch. 3Note · Updated 2h ago
Summarize Paper
Generate Notes
Find Citations
Translate Document
Exporter les notes
Ask anything…
Skills
Organisez vos lectures
Classez vos articles : à lire, en cours et relus.
Recherchez dans toutes vos sources
Trouvez auteurs, articles et notes depuis un seul champ de recherche.
Les fonctions IA en un clic
Résumez, révisez et traduisez sans quitter le document.
Vos outils de recherche, dans un seulespace connecté
Un chat qui connaît vos sources, un lecteur pour rester concentré et des notes reliées aux pages : tout pour vos recherches.
💬
Chatbot IA
Interrogez votre bibliothèque. Réponses en direct avec citations par page des PDF, notes et surlignages.
📓
Notes intelligentes
Notes en blocs reliées aux pages sources. Liens retour, listes et pense-bêtes : tout est consultable.
🖍️
Surligner et annoter
Surlignages colorés, notes en marge et citations épinglées, synchronisés avec vos notes.
❓
Générateur de quiz
Bientôt disponibleTransformez les chapitres en fiches ou QCM. Testez votre mémoire et suivez vos acquis.
🔖
Recherche de citations
Trouvez les passages pertinents et glissez les citations dans vos notes.
Summarize paper
One-click TL;DR with key claims and methods.
Translate doc
Translate any PDF into 30+ languages.
Extract figures
Pull figures, tables, and equations to notes.
Compare papers
Side-by-side compare methods and results.
Generate flashcardsBientôt
Auto-create Anki-ready cards from highlights.
Outline writer
Build paper outlines from your sources.
Define term
Inline definitions sourced from your library.
Find related
Surface related papers and notes by topic.
Export bibliography
BibTeX, RIS, or formatted APA / MLA.
Pull quotes
Extract highlighted quotes into a digest.
Knowledge recall
Resurface key facts marked weeks ago.
Smart highlight
AI suggests the lines worth highlighting.
Nourri par vos lectures, notes et surlignages
Every paper, quote, and idea — connected into one knowledge graph. Find anything by following the links.
Toutes vos sources reliées
PDFs, notes, highlights, and AI chats — all linked into one workspace.
Surlignages structurés
Page-level citations, colors, and tags organize every quote you save.
Carnets personnalisés
Group papers, ideas, and drafts your way — model any research workflow.
Un seul graphe
Follow the links between notes and sources. Search once, find everything.
Conçu pour évoluer avec vous
Whatever stage of your work — from first read to final draft — The Work Docs grows with your workflow.
Chat IA
Ask anything across your library. Streamed answers with page-level citations every time.
Compare results in Section 4?
THE WORK DOCS
Recall improved 18% over baselineVaswani p.42, but precision dropped slightlyDevlin p.7.3 sources
Ask anything…
Rechercher
Find related papers, cross-reference quotes, and build a citation web automatically.
SOURCE
cited by 248
92% match
78% match
Écrire
Block-style notes, AI suggestions, and drag-drop citations from every source you own.
AI
ED
SK
SavedH1
Smith 2024
💡
H2
📊
fig-3.png— Vaswani et al., p.42
Cite Devlin 2018Tab
342 words · 2 citationsSynced 2s ago
Exporter
One click to Markdown, Notion, BibTeX, Drive — formatting, links, and sources preserved.
NotesBib
Markdown.md
ReadyNotionespace connecté
SyncedDrive.docx
ReadyBibTeX.bib
24 refsSyncing 4 destinations…
Apprendre
Bientôt disponibleAuto flashcards, quizzes, and spaced recall — track mastery and keep your streak.
7-day streak
3 / 12QUESTION
What is multi-head attention?
Answered correctly · 92%
Ce que disent nos utilisateurs
Rejoignez des milliers d’utilisateurs satisfaits qui ont transformé leur façon de travailler avec les documents
Avis traduits de l’anglais.
Je cherchais un lecteur de documents comme celui-ci depuis longtemps. Il est simple et extrêmement efficace pour garder le cap. Depuis que je l’utilise, je suis beaucoup plus productive.
Megan Torres
Doctorante en neurosciences · UCLA
La recherche de documents est vraiment excellente. C’est la fluidité de l’expérience qui me donne envie d’utiliser cette application chaque jour. Cela change tout.
James Whitfield
Professeur associé de droit · NYU
Avec des montagnes d’articles à lire, c’est incroyable à quel point c’est simple et combien cela m’aide à me concentrer. J’adore.
Camille Rousseau
Étudiante en troisième année de médecine · McGill
Avec The Work Docs, j’arrive à accomplir plus de choses que jamais. Tous mes articles de recherche sont organisés au même endroit : un vrai soulagement.
Arjun Mehta
Analyste de recherche senior · McKinsey
Avec tous mes dossiers et travaux de cours, c’est exactement ce qu’il me fallait. Le surlignage et les annotations PDF m’ont fait gagner un temps considérable.
Hannah Yoo
Informatique et préparation aux études de droit · Stanford University
Les fonctions d’IA sont vraiment révolutionnaires. Discuter avec mes documents et obtenir des résumés instantanés a transformé ma façon de travailler.
Marcus Bell
Consultant en stratégie · Deloitte
Je relis des contrats chaque jour. The Work Docs permet de parcourir de longs PDF sans effort. Les résumés par IA sont un gain de temps considérable.
Nadia Osei
Collaboratrice junior · Clifford Chance
Enfin une application qui ne complique pas les choses. Une interface épurée, rapide, et une recherche étonnamment puissante. Je la recommande à tous les développeurs de mon équipe.
Kenji Nakashima
Ingénieur logiciel · Stripe
Je travaille sur des articles techniques denses et cette application m’a vraiment sauvé la mise. Le chat IA m’aide à comprendre plus vite les contenus complexes.
Priya Nair
Ingénieure en apprentissage automatique · Google DeepMind
Toute notre équipe l’utilise pour les audits préalables. La collaboration n’a jamais été aussi simple. Cet espace de travail nous permet de rester alignés et concentrés.
Lucas Ferreira
Cofondateur et PDG · Fundo
Je cherchais un lecteur de documents comme celui-ci depuis longtemps. Il est simple et extrêmement efficace pour garder le cap. Depuis que je l’utilise, je suis beaucoup plus productive.
Megan Torres
Doctorante en neurosciences · UCLA
La recherche de documents est vraiment excellente. C’est la fluidité de l’expérience qui me donne envie d’utiliser cette application chaque jour. Cela change tout.
James Whitfield
Professeur associé de droit · NYU
Avec des montagnes d’articles à lire, c’est incroyable à quel point c’est simple et combien cela m’aide à me concentrer. J’adore.
Camille Rousseau
Étudiante en troisième année de médecine · McGill
Avec The Work Docs, j’arrive à accomplir plus de choses que jamais. Tous mes articles de recherche sont organisés au même endroit : un vrai soulagement.
Arjun Mehta
Analyste de recherche senior · McKinsey
Avec tous mes dossiers et travaux de cours, c’est exactement ce qu’il me fallait. Le surlignage et les annotations PDF m’ont fait gagner un temps considérable.
Hannah Yoo
Informatique et préparation aux études de droit · Stanford University
Les fonctions d’IA sont vraiment révolutionnaires. Discuter avec mes documents et obtenir des résumés instantanés a transformé ma façon de travailler.
Marcus Bell
Consultant en stratégie · Deloitte
Je relis des contrats chaque jour. The Work Docs permet de parcourir de longs PDF sans effort. Les résumés par IA sont un gain de temps considérable.
Nadia Osei
Collaboratrice junior · Clifford Chance
Enfin une application qui ne complique pas les choses. Une interface épurée, rapide, et une recherche étonnamment puissante. Je la recommande à tous les développeurs de mon équipe.
Kenji Nakashima
Ingénieur logiciel · Stripe
Je travaille sur des articles techniques denses et cette application m’a vraiment sauvé la mise. Le chat IA m’aide à comprendre plus vite les contenus complexes.
Priya Nair
Ingénieure en apprentissage automatique · Google DeepMind
Toute notre équipe l’utilise pour les audits préalables. La collaboration n’a jamais été aussi simple. Cet espace de travail nous permet de rester alignés et concentrés.
Lucas Ferreira
Cofondateur et PDG · Fundo
Les fonctions d’IA sont vraiment révolutionnaires. Discuter avec mes documents et obtenir des résumés instantanés a transformé ma façon de travailler.
Marcus Bell
Consultant en stratégie · Deloitte
Je relis des contrats chaque jour. The Work Docs permet de parcourir de longs PDF sans effort. Les résumés par IA sont un gain de temps considérable.
Nadia Osei
Collaboratrice junior · Clifford Chance
Enfin une application qui ne complique pas les choses. Une interface épurée, rapide, et une recherche étonnamment puissante. Je la recommande à tous les développeurs de mon équipe.
Kenji Nakashima
Ingénieur logiciel · Stripe
Je travaille sur des articles techniques denses et cette application m’a vraiment sauvé la mise. Le chat IA m’aide à comprendre plus vite les contenus complexes.
Priya Nair
Ingénieure en apprentissage automatique · Google DeepMind
Toute notre équipe l’utilise pour les audits préalables. La collaboration n’a jamais été aussi simple. Cet espace de travail nous permet de rester alignés et concentrés.
Lucas Ferreira
Cofondateur et PDG · Fundo
Je cherchais un lecteur de documents comme celui-ci depuis longtemps. Il est simple et extrêmement efficace pour garder le cap. Depuis que je l’utilise, je suis beaucoup plus productive.
Megan Torres
Doctorante en neurosciences · UCLA
La recherche de documents est vraiment excellente. C’est la fluidité de l’expérience qui me donne envie d’utiliser cette application chaque jour. Cela change tout.
James Whitfield
Professeur associé de droit · NYU
Avec des montagnes d’articles à lire, c’est incroyable à quel point c’est simple et combien cela m’aide à me concentrer. J’adore.
Camille Rousseau
Étudiante en troisième année de médecine · McGill
Avec The Work Docs, j’arrive à accomplir plus de choses que jamais. Tous mes articles de recherche sont organisés au même endroit : un vrai soulagement.
Arjun Mehta
Analyste de recherche senior · McKinsey
Avec tous mes dossiers et travaux de cours, c’est exactement ce qu’il me fallait. Le surlignage et les annotations PDF m’ont fait gagner un temps considérable.
Hannah Yoo
Informatique et préparation aux études de droit · Stanford University
Les fonctions d’IA sont vraiment révolutionnaires. Discuter avec mes documents et obtenir des résumés instantanés a transformé ma façon de travailler.
Marcus Bell
Consultant en stratégie · Deloitte
Je relis des contrats chaque jour. The Work Docs permet de parcourir de longs PDF sans effort. Les résumés par IA sont un gain de temps considérable.
Nadia Osei
Collaboratrice junior · Clifford Chance
Enfin une application qui ne complique pas les choses. Une interface épurée, rapide, et une recherche étonnamment puissante. Je la recommande à tous les développeurs de mon équipe.
Kenji Nakashima
Ingénieur logiciel · Stripe
Je travaille sur des articles techniques denses et cette application m’a vraiment sauvé la mise. Le chat IA m’aide à comprendre plus vite les contenus complexes.
Priya Nair
Ingénieure en apprentissage automatique · Google DeepMind
Toute notre équipe l’utilise pour les audits préalables. La collaboration n’a jamais été aussi simple. Cet espace de travail nous permet de rester alignés et concentrés.
Lucas Ferreira
Cofondateur et PDG · Fundo
Je cherchais un lecteur de documents comme celui-ci depuis longtemps. Il est simple et extrêmement efficace pour garder le cap. Depuis que je l’utilise, je suis beaucoup plus productive.
Megan Torres
Doctorante en neurosciences · UCLA
La recherche de documents est vraiment excellente. C’est la fluidité de l’expérience qui me donne envie d’utiliser cette application chaque jour. Cela change tout.
James Whitfield
Professeur associé de droit · NYU
Avec des montagnes d’articles à lire, c’est incroyable à quel point c’est simple et combien cela m’aide à me concentrer. J’adore.
Camille Rousseau
Étudiante en troisième année de médecine · McGill
Avec The Work Docs, j’arrive à accomplir plus de choses que jamais. Tous mes articles de recherche sont organisés au même endroit : un vrai soulagement.
Arjun Mehta
Analyste de recherche senior · McKinsey
Avec tous mes dossiers et travaux de cours, c’est exactement ce qu’il me fallait. Le surlignage et les annotations PDF m’ont fait gagner un temps considérable.
Hannah Yoo
Informatique et préparation aux études de droit · Stanford University
Questions fréquentes
Nous répondons à vos questions
Essayez The Work Docs
gratuitement aujourd’hui.
Apportez votre prochain article et votre curiosité.
Commencer la recherche