[#BloombergLP-bdlb-Tokenizer_Data]
= xref:BloombergLP.adoc[BloombergLP]::xref:BloombergLP/bdlb.adoc[bdlb]::Tokenizer&lowbar;Data
:relfileprefix: ../../
:mrdocs:

This component&hyphen;private class is used to hold delimiter information&period; Each `Tokenizer` object will have, as a private data member, an object of this class, and will pass the address of that member to the (private) constructor of each `TokenizerIterator` object it issues&colon; &grave; &plus;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&plus; &verbar; ,&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&period; &verbar; &verbar; ( Tokenizer&lowbar;Data ) &verbar; &verbar; &grave;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&apos;&bsol; &verbar; &verbar; &verbar; &verbar; &verbar; &verbar; ,&hyphen;&hyphen;&hyphen;&hyphen;&ast;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&period; &verbar; &verbar; &verbar; ( TokenizerIterator ) &verbar; &verbar; &verbar; &sol;&grave;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&apos; &verbar; &verbar; &verbar; &sol; &verbar; &verbar; ,&hyphen;&hyphen;&hyphen;&hyphen;&ast;&hyphen;&hyphen;o&hyphen;&period; &verbar; &verbar; ( Tokenizer ) &verbar; &verbar; &grave;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&apos; &verbar; &plus;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&hyphen;&plus; bdlb&lowbar;tokenizer &grave;

== Synopsis

Declared in `&lt;bdlb&lowbar;tokenizer&period;h&gt;`

[source,cpp,subs="verbatim,replacements,macros,-callouts"]
----
class Tokenizer&lowbar;Data;
----

== Member Functions

[cols="1,4"]
|===
| Name| Description
| xref:BloombergLP/bdlb/Tokenizer_Data/2constructor-07.adoc[`Tokenizer&lowbar;Data`]         [.small]#[constructor]#
| Constructors
| xref:BloombergLP/bdlb/Tokenizer_Data/inputType.adoc[`inputType`] 
| Return the input type of the specified `character`&colon; 0 for token, 1 for soft delimiter, 2 for hard delimiter&period;
|===



[.small]#Created with https://www.mrdocs.com[MrDocs]#
